Spark로 시작하는 빅데이터라는 주제로 사내세미나 진행했던 자료입니다. Spark를 활용한다면 그 동작구조를 명확하게 이해해야 된다고 생각합니다.

1. /34
Spark로알아보는
빅데이터처리
@Hadoop@SPARK@분석@BigData
1

2. /34!2
김정규
regular
Len
https://github.com/LenKIM
@Daou S/W Labs

3. /34
Index
A. 빅데이터를 처리하는 프로세스는 무엇인가?
B. 스파크는 빅데이터 플랫폼에서 어떤 역할을 하는가?
C. 스파크의 동작원리는?
D. 그리고, 스파크의 핵심은?
E. 프로젝트에서 Spark는 어떻게 사용되었나?
!3

4. /34!4
A.BigData를처리하는프로세스는무엇일까?

5. /34!5
100 MB/s
2 TB
A. BigData를 처리하는 프로세스는 무엇인가?
3.5 hours

6. /34!6
A. BigData를 처리하는 프로세스는 무엇인가?
100 MB/s
2 TB
30 min

7. /34!7
A. BigData를 처리하는 프로세스는 무엇인가?

8. /34!8
분산 저장 시스템 가자~
A. BigData를 처리하는 프로세스는 무엇인가?

9. /34!9
A. BigData를 처리하는 프로세스는 무엇인가?
: 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에
서 동작하는 분산 응용 프로그램을 지원하는
프리웨어 자바 소프트웨어 프레임워크

10. /34!10
A. BigData를 처리하는 프로세스는 무엇인가?
Hadoop은, 2개 이상의 노드를 하나의 저장소처럼
활용하여 특정 연산을 처리 할 수 있도록 하는 것

11. /34!11
NodeHardware Node Node Node Node Node
Storage HDFS - Hadoop Distributed File System
A. BigData를 처리하는 프로세스는 무엇인가?

12. /34!12
NodeHardware Node Node Node Node Node
Storage HDFS - Hadoop Distributed File System
YARN
Resource
Manager
Processing
A. BigData를 처리하는 프로세스는 무엇인가?

13. /34!13
NodeHardware Node Node Node Node Node
Storage HDFS - Hadoop Distributed File System
YARN
Resource
Manager
Processing
A. BigData를 처리하는 프로세스는 무엇인가?
Job

14. /34!14
NodeHardware Node Node Node Node Node
Storage HDFS - Hadoop Distributed File System
YARN
Resource
Manager
Processing
A. BigData를 처리하는 프로세스는 무엇인가?
Job

15. /34!15
NodeHardware Node Node Node Node Node
Storage HDFS - Hadoop Distributed File System
YARN
Resource
Manager
Processing
A. BigData를 처리하는 프로세스는 무엇인가?
Job Job

16. /34!16
NodeHardware Node Node Node Node Node
Storage HDFS - Hadoop Distributed File System
YARN
Resource
Manager
Processing
A. BigData를 처리하는 프로세스는 무엇인가?
Job
[일반적인 Hadoop의 MapReduce의 구조 그림]
Job
그렇다면 Spark 라는 것은 왜 필요한걸까?

17. /34!17
B. Spark는 빅데이터 플랫폼에서 어떤 역할을 하는가?

18. /34!18
B. Spark는 빅데이터 플랫폼에서 어떤 역할을 하는가?
Nod Nod Nod Nod Nod Nod
HDFS - Hadoop Distributed File
YARN
Nod Nod Nod Nod Nod Nod
HDFS - Hadoop Distributed File
YARN
Nod Nod Nod Nod Nod Nod
HDFS - Hadoop Distributed File
YARN
DISK로부터 쓰기
DISK로부터 읽기
Iteration 2
DISK로부터 읽기
Iteration 1
Input
DISK로부터 쓰기
빈번한 File i/o는 데이터가 커질 수록 더 큰 latency(지연) 발생

19. /34!19
B. Spark는 빅데이터 플랫폼에서 어떤 역할을 하는가?
DISK로부터 쓰기
DISK로부터 읽기
Iteration 2
DISK로부터 읽기
Iteration 1
Input
DISK로부터 쓰기
Input
Iteration 1 Iteration 2
In-memory Computation. no need to read/write to file
Latency 지연 평가
=

20. /34!20
NodeHardware Node Node Node Node Node
Storage HDFS - Hadoop Distributed File System
YARN
Resource
Manager
Processing …
B. Spark는 빅데이터 플랫폼에서 어떤 역할을 하는가?
얼마나 차이가 나는걸까?

21. /34!21
B. Spark는 빅데이터 플랫폼에서 어떤 역할을 하는가?
Spark
SQL
Spark
Streaming
MLlib
(Machine
learning)
Apache Spark
GraphX
(graph)

22. /34!22
C. Spark의 동작원리는?
Action !

23. /34!23
C. 스파크의 동작원리는?
Job
Main RDDs
변경할 수 없는 형태의 분산된 객체들의모음RDDs 는

24. /34!24
C. 스파크의 동작원리는?
Job
Main RDDs
Stage Stage Stage
Shuffle은 각 클러스터의 데이터들의 정렬을 재정렬 할 때 발생

25. /34!25
C. 스파크의 동작원리는?
Job
Main RDDs
Stage Stage Stage
Task Task
TaskTask
Task Task Task Task
TaskTask
Task Task Task Task
TaskTask
Task Task
그렇다면, JOB은 언제,어떻게 발생될까?

26. /34!26
C. 스파크의 동작원리는?
Driver
Executor Executor Executor Executor
Architecture
Cluster
Manager

27. /34!27
C. 스파크의 동작원리는?
Driver
Executor Executor Executor Executor
Cluster
Manager
실행계획(DAG) / Stage / Task
Main
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Task Task
Architecture
실행계획(DAG) / Stage / Task

28. /34!28
C. 스파크의 동작원리는?
work flow
rdd.filter
.map
rdd.groupBy
.map
rdd.sortByKey
.count
filter
map
Stage 1
groupBy
map
Stage 2
SortBykeyStage 3
태스크

29. /34!29
D. 그래서 Spark의 핵심은?
work
rdd.filter
.map
rdd.groupBy
.map
rdd.sortByKey
.count
filter
map
Stage 1
groupBy
map
Stage 2
SortBykeyStage 3
태스크
Latency 지연 평가 장애 내구성

30. /34!30
D. 그래서 Spark의 핵심은?
work
rdd.filter
.map
rdd.groupBy
.map
rdd.sortByKey
.count
filter
map
Stage 1
groupBy
map
Stage 2
SortBykeyStage 3
태스크
Broken
장애 내구성

31. /34!31
D. 그래서 Spark의 핵심은?
work
rdd.filter
.map
rdd.groupBy
.map
rdd.sortByKey
.count
filter
map
Stage 1
groupBy
map
Stage 2
SortByke
y
Stage 3
태스크
Broken
lineage
A
B
C
Lineage을 보고 판단하여 부분 Recovery
장애 내구성

32. /34!32
D. 그래서 Spark의 핵심은?
work
rdd.filter
.map
rdd.groupBy
.map
rdd.sortByKey
.count
filter
map
Stage 1
groupBy
map
Stage 2
SortByke
y
Stage 3
태스크
lineage
A
B
C
장애 내구성
Lineage을 보고 판단하여 부분 Recovery

33. /34!33
E. 프로젝트에서는 어떻게 사용되었나?

34. /34!34
E. 프로젝트에서 Spark는 어떻게 사용되었나?
회사별로 API 분석
웹 페이지 각각 고유 방문수
웹 페이지를 이용하는 유저 분석
데이터 전처리 후 제플린을 활용하여 시각화