제 2회 데이터야놀자에 Lighting Tak로 발표했던 내용입니다. - 클러스터 통합 및 활용에 관한 간단한 Summary입니다.

1. 0
Multi tenant hadoop Cluster
: Cluster 통합에 대한 논의
SK 주식회사 C&C
Bigdata Engineer
최상연

2. 1
1
클러스터 통합?
- 처음에는 큰 데이터에만 만족했던 hadoop…
- 이제는 다양한 요구사항에 따라 확장이 필요하다!

3. 2
1
클러스터 통합?
- 게다가 hadoop 및 다른 Eco system은 끊임없는 발전 중..

4. 3
1
클러스터 통합?
- 빠른 version up은 많은 유저의 요구사항을 만족 시킬 수 있지만..
- 구축 시기마다 다른 클러스터와 데이터 중복 , 운영 이원화를 발생시킨
다.

5. 4
2
Multi tenant Cluster
- 그렇다면 클러스터 구성방안은?
- 아래처럼 크게 3가지로 구성 가능 ( ex) clodera )

6. 5
2
Multi tenant Cluster
- 결론은… 독립 클러스터이냐 통합 클러스터는 어느 정도 장단점이 있음

7. 6
2
Multi tenant Cluster
- Multi-Tenacy Architecture

8. 7
3
실제 구축 방안
- 실제 구성안을 바탕으로.. 추상화
- Ex) 만약.. 각각 네임노드만 같이 활용할 수 있다면..
- 각 2대 x 3 => 6대
-  4대를 더 활용할 수 있으며 데이터 중복을 피할수도 있다.

9. 8
3
실제 구축 방안
- 실제 구성안을 바탕으로.. 추상화

10. 9
3
실제 구축 방안
- 실제 구성안을 바탕으로.. 추상화

11. 10
3
실제 구축 방안
- Yarn을 활용하면 자원 최적화를 할 수 있을거야!
Yarn을 활용한 자원 최적화 !!
(1) Queue sheduler
(2) yarn node label
생각만큼.. 잘될까..?
(1) 이기종의 Server Spec
(2) Network 구성
(3) 물적 분할이 아닌 S/W share
(4) 서로 다른 프로그램의 충돌
 이론만큼 쉽지 않은 운영방식!

12. 11
클러스터 통합?분리?
- 클러스터 분리는 영향도를 최소화/ 독립된 자원 수행 가능
- 하지만 여러 단점도 발생4

13. 12
5
결론
- 결국 Cluseter 구성은 어떻게…?

14. 13
EOF