실무로 배우는 빅데이터 기술 확장 - 6편 NiFi 활용 데이터를 효율적으로 수집/적재/처리 하기위한 데이터플로우 엔진과 관리기능을 제공

1. 빅데이터 ~ 머신(딥)러닝
실무로 배우는 빅데이터 기술
 NiFi 활용
☆ 확장하기 – 6편 ☆
김강원

2. 나이파이(NiFi) 는?
데이터를 효율적으로 수집/적재/처리 하기위한
데이터플로우 엔진과 관리기능을 제공
※ NiFi의 기본 개념과 기능들은 구글링을 통해 확인 하세요!

3. 파일럿 프로젝트 확장 (1/2)
나이파이
(NiFi)

4. 책 109 페이지 중에서… (개정판)
NiFi 활용
파일럿 프로젝트 확장 (2/2)

5. 확장편 실습
NiFi 활용 로그수집

6.  NiFi 실행
Putty로 Server02 접속
$ cd /home/nifi-1.5.0/bin
$ ./nifi.sh start
URL: http://server02.hadoop.com:8080/nifi/
Step-1
 로그파일 수집 프로세서 생성
NiFi Flow > Processor > GetFile > Add
Step-2
 GetFile 프로세서 속성 설정
Input Directory : /home/pilot-pjt/working/car-batch-log/
Polling Interval : 10 sec
Step-3

7.  로그파일 하둡 적재 프로세서 생성
NiFi Flow > Processor > PutHDFS > Add
Step-4
 PutHDFS 프로세서 속성 설정
Hadoop Configuration Resources: /etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
Directory: hdfs://server01.hadoop.com:8020/pilot-pjt/nifi-collect
Step-5
 GetFile과 PutHDFS 프로세서 연결
GetFile  PutHDFS 프로세서로 Connection Queue 생성 및 연결
Step-6

8.  NiFi Flow 실행
Operator > Start
Step-7
 로그 제너레이터 파일 생성
Server02 접속
$ cd /home/pilot-pjt/working
$ java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain
20180101 10 &
Step-8
 로그 생성 확인 및 이동
$ tail -f /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20180101.txt
$ mv /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20180101.txt /home/pilot-
pjt/working/car-batch-log/
Step-9

9.  NiFi 모니터링
Nifi Flow
PutHDFS > View Data Provenance > View Datails > Content
Step-10
 적재된 로그파일 확인
URL: http://server02.hadoop.com:8888
파일브라우져 > /pilot-pjt/nifi-collect//
Step-11

10. 실무로 배우는 빅데이터 기술
확장하기 6편 – NiFi 활용
[ 강의자료 ]
 동 영 상: 유튜브 www.youtube.com
 실습문서: 슬라이드쉐어 www.slideshare.net