실무로 배우는 빅데이터 기술 확장 - 1편 피그(Pig) 활용 pig - 하둡의 대용량 데이터셋을 절차적으로 구조화 하면서, 효율적인 데이터 탐색/처리/분석 기능을 제공하는 하둡 에코시스템

1. 빅데이터 ~ 머신(딥)러닝
실무로 배우는 빅데이터 기술
 피그(Pig) 활용
☆ 확장하기 - 1편 ☆
김강원

2. 피그(Pig) 는?
하둡의 대용량 데이터셋을 절차적으로 구조화 하면서,
효율적인 데이터 탐색/처리/분석 기능을 제공하는 하둡 에코시스템
※ Pig의 기본 개념과 기능들은 구글링을 통해 확인 하세요!

3. 파일럿 프로젝트 확장 (1/2)
피그(Pig)

4. 책 220 페이지 중에서…(개정판)
Pig 활용
파일럿 프로젝트 확장 (2/2)

5. 확장편 실습
Pig 활용

6.  Server01에 접속
Step-1
 pig 그런트 실행
$ pig
Step-2
 HDFS 데이터 로드
grunt > records = LOAD '/pilot-pjt/collect/car-master/CarMaster.txt' USING PigStorage('|') AS
(car_num:chararray, sex:chararray, age:int, marriage:chararray, region:chararray, job:chararray,
car_capacity:int, car_year:int, car_model:chararray);
Step-3

7.  필터 적용
grunt > filtered_records = FILTER records BY age >= 18;
Step-4
 실행 및 결과 보기
$ DUMP filtered_records;
Step-5
 필터링된 결과 저장
grunt > STORE filtered_records into '/pilot-pjt/collect/pig/car-master/CarMasterOver18' USING
PigStorage(',');
Step-6

8.  저장된 결과 확인
grunt > cat /pilot-pjt/collect/pig/car-master/CarMasterOver18
Step-7
 Pig 종료
$ quit
Step-8
 Hue에서 데이터 확인
http://server02.hadoop.com:8888
Step-9

9. 실무로 배우는 빅데이터 기술
확장하기 1편 - Pig 활용
[ 강의자료 ]
 동 영 상: 유튜브 www.youtube.com
 실습문서: 슬라이드쉐어 www.slideshare.net