* 국민대학교 빅데이터 분석학회 D&A Session에서 진행한 자료입니다. 웹 크롤링에 대한 기본적인 개념과 파이썬과 관련된 소스 코드를 담았습니다.
* 아래는 PPT에 포함된 크롤링 예제 코드입니다. https://drive.google.com/file/d/1ty7JLz8ccicPTrpry4dpkqCGuTclA68M/view?usp=sharing
사람들의 인터넷 의존도와 이용 시간이 지속적으로 늘어나고 있다. 즉, 인터넷 이용을 가능하게 해주는 "웹 브라우저"가 중요한 도구가 되었다는 것이며 "웹 브라우저"를 효율적으로 사용하고 관리하는 능력은 디지털 시대를 살아가는 우리에게 하나의 핵심 역량이 되었다는 것을 의미한다. 인터넷(웹 브라우저)을 효율적으로 사용하기 위해서 고려해야 될 요소들과 "크롬브라우저"를 통해 업무 시간을 단축할 방법들을 배워본다.
검색엔진 랭킹 상위 - scs(seo curation suite) 서비스 넥스트티eunpyo hong
검색 엔진 상위에 노출을 위한 가장 일반적인 방법은?
SEM, Power Blog(SNS) Marketing이지만 비용 대비 효과는 점점 낮아지고 있습니다.
SCS(SEO Curation Suite) 서비스는 시중 SEO 솔루션과 서비스와는 달리 SEO 컨설팅 영역 중 자동화 할 수 없었던 키워드 컨설팅 영역과 Off Page SEO의 검색엔진 역 로봇을 이용하여 사용자 행태를 적용하여 검색엔진 랭킹 상위로 진입 / 유지하는 마케팅 솔루션입니다.
* 국민대학교 빅데이터 분석학회 D&A Session에서 진행한 자료입니다. 웹 크롤링에 대한 기본적인 개념과 파이썬과 관련된 소스 코드를 담았습니다.
* 아래는 PPT에 포함된 크롤링 예제 코드입니다. https://drive.google.com/file/d/1ty7JLz8ccicPTrpry4dpkqCGuTclA68M/view?usp=sharing
사람들의 인터넷 의존도와 이용 시간이 지속적으로 늘어나고 있다. 즉, 인터넷 이용을 가능하게 해주는 "웹 브라우저"가 중요한 도구가 되었다는 것이며 "웹 브라우저"를 효율적으로 사용하고 관리하는 능력은 디지털 시대를 살아가는 우리에게 하나의 핵심 역량이 되었다는 것을 의미한다. 인터넷(웹 브라우저)을 효율적으로 사용하기 위해서 고려해야 될 요소들과 "크롬브라우저"를 통해 업무 시간을 단축할 방법들을 배워본다.
검색엔진 랭킹 상위 - scs(seo curation suite) 서비스 넥스트티eunpyo hong
검색 엔진 상위에 노출을 위한 가장 일반적인 방법은?
SEM, Power Blog(SNS) Marketing이지만 비용 대비 효과는 점점 낮아지고 있습니다.
SCS(SEO Curation Suite) 서비스는 시중 SEO 솔루션과 서비스와는 달리 SEO 컨설팅 영역 중 자동화 할 수 없었던 키워드 컨설팅 영역과 Off Page SEO의 검색엔진 역 로봇을 이용하여 사용자 행태를 적용하여 검색엔진 랭킹 상위로 진입 / 유지하는 마케팅 솔루션입니다.
Spring integration을 통해_살펴본_메시징_세계Wangeun Lee
[스프링캠프 2015] Spring Integration을 통해 살펴본 메시징 세계 발표자료 입니다.
예제 소스 저장소는 프리젠테이션 안에 링크 걸어놨습니다.
감사합니다.
-------------------------------------------------------------------
우리는 늘 누군가와 소통(Communication)을 합니다. 소통을 통하여 누군가에게 일을 시키기도 하고 내가 일을 받기도 합니다. 애플리케이션도 마찬가지로 이기종간의 애플리케이션끼리 데이터로 소통을 하며 할 일을 서로 분산 처리할 상황이 발생하기도 합니다.
이런 분산 처리 이전에는 소통이 전제되어야 합니다. 애플리케이션 간 소통에 대한 고민은 선구자들에 의해 Enterprise Integration Patterns로 탄생되었으며 Spring에서도 그 패턴화의 추상화 일원으로 Spring Integration을 탄생시켰습니다.
이 강연에서는 Spring Integration을 통해 애플리케이션 간에 어떻게 쉽고 편하게(?) 소통을 할 수 있게 되었는지 살펴보며 예제와 사례를 통해 Spring Integration 입문에 도움을 주고자 합니다.
CoreDot TechSeminar 2018 - Session1 Park JihunCore.Today
코어닷 기술 세미나 2018
Session #1 : 박지훈 (코어닷투데이 개발자)
파이썬을 이용해 세상에서 가장 쓸모없는 홈페이지 만들기
14:00 ~ 14:50
Python Flask로 사용자가 글을 쓰면, 마음대로 수정하고 삭제해버리는 쓸모없는 웹사이트(Useless Website)를 만들어 봅니다.
- Python라이브러리인 flask을 이용한 웹사이트 개발 과정 소개
- MongoDB를 이용해 웹사이트상에서 게시물 작성,조회,수정,삭제(CRUD) 기능 구현 실습
https://coredottoday.github.io/2018/10/15/Coredot-기술-세미나/
https://www.youtube.com/watch?v=gfbWxyz7Zeo
Spring integration을 통해_살펴본_메시징_세계Wangeun Lee
[스프링캠프 2015] Spring Integration을 통해 살펴본 메시징 세계 발표자료 입니다.
예제 소스 저장소는 프리젠테이션 안에 링크 걸어놨습니다.
감사합니다.
-------------------------------------------------------------------
우리는 늘 누군가와 소통(Communication)을 합니다. 소통을 통하여 누군가에게 일을 시키기도 하고 내가 일을 받기도 합니다. 애플리케이션도 마찬가지로 이기종간의 애플리케이션끼리 데이터로 소통을 하며 할 일을 서로 분산 처리할 상황이 발생하기도 합니다.
이런 분산 처리 이전에는 소통이 전제되어야 합니다. 애플리케이션 간 소통에 대한 고민은 선구자들에 의해 Enterprise Integration Patterns로 탄생되었으며 Spring에서도 그 패턴화의 추상화 일원으로 Spring Integration을 탄생시켰습니다.
이 강연에서는 Spring Integration을 통해 애플리케이션 간에 어떻게 쉽고 편하게(?) 소통을 할 수 있게 되었는지 살펴보며 예제와 사례를 통해 Spring Integration 입문에 도움을 주고자 합니다.
CoreDot TechSeminar 2018 - Session1 Park JihunCore.Today
코어닷 기술 세미나 2018
Session #1 : 박지훈 (코어닷투데이 개발자)
파이썬을 이용해 세상에서 가장 쓸모없는 홈페이지 만들기
14:00 ~ 14:50
Python Flask로 사용자가 글을 쓰면, 마음대로 수정하고 삭제해버리는 쓸모없는 웹사이트(Useless Website)를 만들어 봅니다.
- Python라이브러리인 flask을 이용한 웹사이트 개발 과정 소개
- MongoDB를 이용해 웹사이트상에서 게시물 작성,조회,수정,삭제(CRUD) 기능 구현 실습
https://coredottoday.github.io/2018/10/15/Coredot-기술-세미나/
https://www.youtube.com/watch?v=gfbWxyz7Zeo
18. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
HTTP에는, GET과 POST라는 메소드가 있는데
19. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
쉽게 말해서 GET은 가져오는 동작,
POST는 수행하는 동작이라고 보면 됩니다.
20. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
그리고 우리가 쓰는 웹 브라우저라는 친구들은
21. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
단순히 HTML 소스를 해석해서 웹 페이지를 그려줄 뿐입니다
표시된 화면 HTML 소스
22. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
그러므로 브라우저 주소 창에 주소를 입력하고 엔터를 치는 것은
+
23. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
주소에 핛당된 웹 서버로 GET 요청을 보내는 것과 같습니다
24. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
음… Request 모듈로
대상 사이트에 get 요청을 해서
HTML 소스를 받아오고,
BeautifulSoup로 원하는 부붂만
파싱해서 쓰면 되겠지…?
통상적인 웹 크롤러 또핚 같은 원리로,
GET 메소드를 통해 웹 페이지를 가져와서,
원하는 부붂만 뽑아 쓰는 개념입니다.
25. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
하지만 음… Request 모듈로
대상 사이트에 get 요청을 해서
HTML 소스를 받아오고,
BeautifulSoup로 원하는 부붂만
파싱해서 쓰면 되겠지…?
그럴 거 없이 우린 자체 API로
데이터 수집 되는데……?
BeautifulSoup
그게 다 삽질이었다는
것을 깨닫고……