실무로 배우는 빅데이터 기술 확장 - 17편 Nutch + Solr 활용 Nutch - 웹 컨텐츠를 편리하게 수집/처리 하는 크롤링(Crawling) 솔루션 Solr - 루신(Lucene) 기반의 검색 엔진 솔루션

1. 빅데이터 ~ 머신(딥)러닝
실무로 배우는 빅데이터 기술
 Nutch+Solr 활용
☆ 확장하기 – 17편 ☆
김강원

2. 너치(Nutch) + 솔라(Solr) 는?
웹 컨텐츠를 편리하게 수집/처리
하는 크롤링(Crawling) 솔루션
※ Nutch / Solr 기본 개념과 기능들은 구글링을 통해 확인 하세요!
루신(Lucene) 기반의
검색 엔진 솔루션

3. 파일럿 프로젝트 확장 (1/2)
너치
(Nutch)
솔라(Solr)

4. 책 108 페이지 중에서… (개정판)
너치 크롤링 및
솔라 색인/검색
파일럿 프로젝트 확장 (2/2)

5. 확장편 실습
너치 크롤링
솔라 색인/검색 활용

6.  Server02 접속
Putty > Server02 SSH 접속
$ cd /home
Step-1
 솔라 코어 인스턴스 생성
$ solrctl --zk server02.hadoop.com:2181/solr instancedir --generate /home/solr/webcrawl
$ solrctl --zk server02.hadoop.com:2181/solr instancedir --create webcrawl /home/solr/webcrawl
$ solrctl --zk server02.hadoop.com:2181/solr collection --create webcrawl
Step-2
 솔라 스키마 파일 변경
$ cp /home/apache-nutch-1.9/conf/schema-solr4.xml /home/solr/webcrawl/conf/schema.xml
$ vi /home/solr/webcrawl/conf/schema.xml
<field name="_version_" type="long" indexed="true" stored="true"/>
Step-3

7.  솔라 코어 인스턴스 반영
$ solrctl instancedir --update webcrawl /home/solr/webcrawl
CM Home > Solr > 재시작
Step-4
 크롤링 웹페이지 확인
$ vi /home/apache-nutch-1.9/urls/seed.txt
https://blog.naver.com/javaguy
Step-5
 JAVA_HOME 설정
$ export JAVA_HOME=/home/jdk1.8.0_161
Step-6

8.  크롤링 시작
$ cd /home/apache-nutch-1.9/bin
$ ./crawl /home/apache-nutch-1.9/urls /home/apache-nutch-1.9/collect
http://server01.hadoop.com:8983/solr/webcrawl_shard1_replica1 1
$ ./crawl /home/apache-nutch-1.9/urls /home/apache-nutch-1.9/collect
http://server01.hadoop.com:8983/solr/webcrawl_shard1_replica1 2
$ ./crawl /home/apache-nutch-1.9/urls /home/apache-nutch-1.9/collect
http://server01.hadoop.com:8983/solr/webcrawl_shard1_replica1 3
Step-7
 크롤링된 웹 컨텐츠를 솔라에서 검색
$ Core Selector > webcrawl_shard1_replica1 > query > common > q > content:김강원
Step-8

9. 실무로 배우는 빅데이터 기술
확장하기 17편 – 너치+솔라 활용
[ 강의자료 ]
 동 영 상: 유튜브 www.youtube.com
 실습문서: 슬라이드쉐어 www.slideshare.net