하둡 스파크 시스템에대한 개괄

1. 빅데이터의
실시간 분석을 위한
Hadoop & Spark

2. What is BigData
대 용량의 데이터에서  (실시간)상관관계 도출  서비스 창출

3. Big data is Too big…
대용량 서버(Scale-up) vs 일반 PC 여러개(Scale-out)
기존 관계형 데이터베이스
분산형 데이터베이스

4. Intro to Hadoop
High-Availability Distributed Object-Oriented Platform
Java Based
Opened from 2011~ by Apache Group (from Yahoo)

6. Step 1/4 : Collecting & Distributing Data
Flume
설정한 복수의 서버 주소로
데이터 분산 저장

7. Step 2/4 : Data Storage
HDFS: Hadoop file system
YARN: Yet Another Resource Negotiator, 연결된 서버 간 자원 관리
Saving data Through Map /
Reduce based Data
Compression

8. Step 3/4 : Data Search
HIVE : HiveQL based Search engine (SQL 과 유사)

9. Step 4a/4 : Data Classification
Mahout: 분산 처리용 기계학습 라이브러리

10. Step 4b/4 : Data Classification
TONY(Tensorflow on YARN)+ Distributed Tensorflow
Work in progress

11. Hadoop OR Spark?
Hadoop and Spark Comparison (DISK vs RAM)
Fast (x10)
Real-time process
Expensive Cost
Easy (One Package)
Slow
Batch based process
Inexpensive Cost
Hard (Many Packages)
데이터 특성에 따른 Ecosystem 선택 필요

13. Hadoop made easy by…
[DEMO]
Cloudera
Oozie
Hue
Hadoop Web Monitoring