실무로 배우는 빅데이터 기술 확장 -16편 Nutch 설치 웹 컨텐츠를 편리하게 수집 및 처리 하는 크롤링(Crawling) 솔루션

1. 빅데이터 ~ 머신(딥)러닝
실무로 배우는 빅데이터 기술
 Nutch 설치
☆ 확장하기 – 16편 ☆
김강원

2. 너치(Nutch) 는?
웹 컨텐츠를 편리하게 수집 및 처리 하는 크롤링(Crawling) 솔루션
※ Nutch 기본 개념과 기능들은 구글링을 통해 확인 하세요!

3. 파일럿 프로젝트 확장 (1/2)
너치
(Nutch)

4. 책 106 페이지 중에서… (개정판)
크롤링 솔루션
너치(Nutch) 설치
파일럿 프로젝트 확장 (2/2)

5. 확장편 실습
크롤링 솔루션
너치(Nutch) 설치

6.  Server02 접속
Putty > Server01 SSH 접속
$ cd /home
Step-1
 너치 설치 파일 압축 해제
$ tar -xvf apache-nutch-1.9-bin.tar.gz
Step-3
 너치 설치 파일 다운로드
$ wget http://archive.apache.org/dist/nutch/1.9/apache-nutch-1.9-bin.tar.gz
Step-2

7.  너치 Http Agent 설정
$ cd /home/apache-nutch-1.9/conf
$ vi nutch-site.xml
<property>
<name>http.agent.name</name>
<value>My Nutch Spider</value>
</property>
Step-4
 너치 URL 필터 설정
$ vi regex-urlfilter.txt
+^http://*
+^https://*
Step-5

8.  루트 URL 정보 입력
$ mkdir /home/apache-nutch-1.9/urls
$ vi /home/apache-nutch-1.9/urls/seed.txt
https://blog.naver.com/javaguy
Step-6
 수집 컨텐츠 디렉토리 생성
$ mkdir /home/apache-nutch-1.9/collect
Step-7

9. 실무로 배우는 빅데이터 기술
확장하기 16편 – 너치(Nutch) 설치
[ 강의자료 ]
 동 영 상: 유튜브 www.youtube.com
 실습문서: 슬라이드쉐어 www.slideshare.net