데이터 엔지니어링 프로젝트를 진행한 하둡메이트 팀에서는 아래와 같은 프로젝트를 진행했습니다. 하둡 설정 고도화 및 맵리듀스 모니터링 17기 김상홍 국민대학교 컴퓨터공학 17기 이정현 서울과학기술대학교ITM

1. 하둡 클러스터 설정 고도화
및 맵리듀스 모니터링
1 7 기 엔 지 니 어 링 김 상 홍
1 7 기 엔 지 니 어 링 이 정 현
제
1
6
회
B
O
A
Z
컨
퍼
런
스

2. 하둡 클러스터 설정 고도화
및 맵리듀스 모니터링
제 1 6 회 B O A Z 컨 퍼 런 스
하둡 메이트
이정현
서울과학기술대학교 ITM전공
김상홍
국민대학교 컴퓨터공학과

3. 기존 리소스매니저 웹서버의 단점
기존 리소스매니저에서 제공해주는 웹서버에서는 한 눈에 확인이 어려움
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링
특정 애플리케이션에 대한 태스크들 상태 정보
초기 목표

4. 초기 목표
기존 리소스매니저 웹서버의 단점
기존 리소스매니저에서 제공해주는 웹서버에서는 한 눈에 확인이 어려움
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링
맵태스크 진행 상황 리듀스태스크 진행 상황

5. 초기 목표
기존 리소스매니저 웹서버의 단점
기존 리소스매니저에서 제공해주는 웹서버에서는 한 눈에 확인이 어려움
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링
리듀스태스크 진행 상황
제공되지 않는 정보
임시(Shuffled) 데이터의 크기

6. 초기 목표
1. 맵리듀스 프로그램의 주요 지표 중 하나인 임시데이터의 크기 모니터링
2. 노드별 태스크 할당 상태 모니터링
3. 맵태스크와 리듀스태스크 진행 상황을 시각적으로 표현
4. 디버깅을 위한 출력 로그 통합 확인 페이지
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링

7. 클러스터 설정
라즈베리파이(8대) 하둡 클러스터
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링
라즈베리파이 3B 전체 메모리 = 1GB
• 노드 매니저, 데이터 노드 등
• 기타 시스템 관리 대몬들
• 컨테이너 할당 최소 메모리 크기 = 1GB
요구사항
하둡 대몬 프로세스들만 띄워도 부담

8. 클러스터 설정
개인 장비(3대)로 구성
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링
각종 환경변수(*.sh) / 클러스터 속성값(*.xml) 설정

9. 클러스터 설정
EMR, CDH
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링
EMR ( /etc/hadoop/conf) CDH ( /etc/hadoop/conf)
getConf().getProps().list(System.out)

10. 맵리듀스 프로그래밍 모델

11. 코드 구현 / 실습
하둡 API
맵리듀스 프로그래밍 모델

12. 클러스터 잡 제출 과정
맵리듀스 프로그래밍 모델

13. 드라이버 프로세스
맵리듀스 프로그래밍 모델

14. 모니터링 지표 수집
모니터링 지표 수집

15. 모니터링 지표 수집

16. 한계
1. 시스템 메트릭 모니터링 부담
2. 맵리듀스 기술 활성도 낮음
3. 사실상 개인적 필요
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링

17. 목표 변경
설정 고도화 / 케이스 스터디
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링

18. HA란?
위키백과
고가용성(高可用性, HA, High Availability)이란 서버와 네트워크,
프로그램 등의 정보 시스템이 상당히 오랜 기간 동안 지속적으로 정
상 운영이 가능한 성질을 말한다. 고(高)가용성이란 "가용성이 높다"
는 뜻으로서, "절대 고장 나지 않음"을 의미한다.
HA란?

19. 네임노드 HA 구성

20. NFS
NFS 사용

21. 하둡 클러스터
하둡 클러스터

22. hdfs-site.xml
hdfs-site.xml
네임서비스 식별자
네임서비스에 들어갈 네임노드 목록
각 네임노드별 rpc/http 주소

23. hdfs-site.xml
공유 스토리지(nfs)
Fencing Method
hdfs-site.xml

24. 기존 SPOF 상태의 네임노드
HA 구성된 네임서비스
core-site.xml

25. hdfs haadmin
[Standby]
h01
[Standby]
h02
[DN]
h01
[DN]
h02
[DN]
h03

26. Active NN 수동 설정
[Active]
h01
[Standby]
h02
[DN]
h01
[DN]
h02
[DN]
h03

27. Active NN 을 종료시키면?
Active NN을 종료시키면?
[Active]
h01
[Standby]
h02
[DN]
h01
[DN]
h02
[DN]
h03
? ? ?

28. Active NN 수동 설정
[Active]
h01
[Active]
h02
[DN]
h01
[DN]
h02
[DN]
h03

29. 고가용성 테스트
[Standby]
h01
[Active]
h02
[DN]
h01
[DN]
h02
[DN]
h03

30. 관리자 대신 주키퍼가 감시
자동 장애 대응 with zookeeper

31. 주키퍼 클러스터
zoo.cfg
주키퍼 클러스터

32. 수동조작 X
hdfs-site.xml
주키퍼 엔드포인트

33. [h01 네임노드] – Active로 선출
[h02 네임노드] – Standby로 선출
Active NN election

34. 네임노드 1번 강제종료 시 관리자가 수동으로 설정
주키퍼 설정 이전에는?

35. 주키퍼 설정 이후에는?
네임노드 1번 강제종료 시 주키퍼가 자동으로 Active Namenode 재선출
주키퍼 설정 이후에는?

36. 기타
• DN 동적 추가 / 제거
• 리소스매니저 HA 구성
• 클러스터 무중단 RM 이전
하 둡 클 러 스 터 설 정 고 도 화 및 맵 리 듀 스 모 니 터 링

37. THANK YOU
THANK YOU
THANK YOU
하 둡 클 러 스 터 설 정 고 도 화
및 맵 리 듀 스 모 니 터 링