2016 한양대학교 컴퓨터공학과 오픈소스동아리(오소리) 웹크롤링 프로젝트 기획서

1. 오소리 프로젝트 발표
웹크롤링 프로젝트 – 오픈소스동아리
2016.05.03
정조형

2. Contents
- 팀원 소개
- WHY 웹크롤링?
- 웹크롤링 아이디어
- How to 웹크롤링
- 앞으로의 일정

3. 팀원 소개
웹크롤링 프로젝트
< 멘토 >
정용은 06 컴퓨터전공
조희원 11 컴퓨터 전공
고건주 11 컴퓨터전공
김선우 11 컴퓨터전공
< 팀장 >
정조형 15 소프트웨어전공
< 팀원 >
김민섭 12 컴퓨터전공
윤영진 13 컴퓨터전공
김규민 15 정보시스템 전공
박선하 15 소프트웨어전공
박준한 15 컴퓨터전공
원준호 16 컴퓨터전공

4. 웹크롤링 프로젝트
웹 크롤링 ( web crawling ) 이란?
- 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색
- 여러 사이트에서 데이터의 최신 상태 유지를 위해 웹 크롤링을 이용
WHY 웹크롤링?

5. WHY 웹크롤링?
웹크롤링 프로젝트
- 현대 사회는 정보 경쟁이 일상화 됨
- 많은 정보의 양만큼 양질의 자료를 찾기 어려움
- 정보를 찾는데 많은 시간 소요
원하는 정보를 자동적으로 수집해주는 웹 크롤러 사용!

6. WHY 웹크롤링?
웹크롤링 프로젝트
- 웹 크롤링이 사용된 예시 : 네이버 웹툰 알림

7. 웹크롤링 아이디어
웹크롤링 프로젝트
1. 취업 사이트 - 고건주
2. 옷 세일 정보 / 고속버스 예약 가능한 표 알림 – 김규민
3. 포탈에서 각 과목마다 자료 업데이트 여부 / 강의실 대여 – 김민섭
4. 도서관 자리 - 김선우
5. 식단표 – 박선하
6. 위한 포인트 ( 게시글 조회 ) – 박준한
7. 축구경기 예정 / 결과 - 박준형
8. 네이버 실시간 검색어 - 안홍일
9. 환율 / 스팀게임할인 – 원준호
10. 네이버 웹툰 알림 - 윤영진
11. cs.hanyang.ac.kr 공지 – 정용은
12. 공모전 공지 알림 – 정조형

8. How to 웹크롤링
웹크롤링 프로젝트

9. How to 웹크롤링
웹크롤링 프로젝트

10. How to 웹크롤링
웹크롤링 프로젝트

11. How to 웹크롤링
웹크롤링 프로젝트

12. How to 웹크롤링
웹크롤링 프로젝트

13. How to 웹크롤링
웹크롤링 프로젝트
Python, Scrapy

14. How to 웹크롤링
웹크롤링 프로젝트
한양대학교 컴퓨터전공 공지사항 크롤링

15. How to 웹크롤링
웹크롤링 프로젝트
네이버 실시간 검색어 크롤링

16. How to 웹크롤링
웹크롤링 프로젝트
Service Architecture
App Server
Rest API
Crawling Server
Push Server
APNs(Apple Push Notification service)
GCM(Google Cloud Message)
Req
Res
Push
Notify
Android
iOS
App Server

17. How to 웹크롤링
웹크롤링 프로젝트
CS 공지사항
CGV 빈자리
Steam 할인
환율 알림
App

18. How to 웹크롤링
웹크롤링 프로젝트
App Server
- 가입
- 로그인
- 크롤링 알람 등록
- 크롤링 알람 해제

19. How to 웹크롤링
웹크롤링 프로젝트
Crawling Server
- 크롤링 스크립트 실행
- 스케쥴
- Push 요청

20. How to 웹크롤링
웹크롤링 프로젝트
Push Server
- APNs
Apple Push Notification
service
- GCM
Google Cloud Message

21. 앞으로의 일정
웹크롤링 프로젝트
To be continued

22. 서울특별시 성동구 왕십리로 222 Tel. 82-2-2220-0000