네이버 오픈소스 세미나 - Performance does matter 2019.07.11

4. ♥

6.  다양한 서버를 효율적으로 사용할 수 없다!

7. 혼합하여 성능과 비용을 조절

8. WarmCold Hot

10. Hot

18. [주의] 하둡 에코시스템의 자체 설정중에 Heterogeneous Storage 설정과 관련된 옵션이 있는지 검토
- EX) HBase의 WAL(Write-ahead-log)옵션

20. vs

28. 비용 증가

29. - HDD 디스크 사용률 50% 전후, SSD 디스크 사용률 90% 이상
- 불균형 때문에 HDFS의 balancer를 항시 동작시켰습니다.
- balancer를 계속 동작시켜도 hbase의 major compaction이 동작될때마다 불균형이 재발생.
- locality가 높을수록 네트워크를 사용하지 않고 local에서 데이터를 빠르게 read/write 할 수 있음
- 3~4일 소요

30. 데이터 처리 속도를 유지하면서 문제를 해결하기 위해, 기존 HDD 서버를 모두 SSD 서버로 교체하면 해결될 수 있겠지만
HDD에 비해 SSD 비용이 매우 높아 전면 서버 교체는 무리(고비용)
Heterogeneous Storage를 발견
=> 비용을 대폭 낮춰 서비스 기능
=> 더불어 불균형 없애고, 데이터 처리 속도 향상
앞으로도 높은 처리 속도가 필요한 데이터 사이즈 만큼만
SSD 서버를 증설하고 나머지 데이터에 대해서는 가격이 싼 HDD 서버를 투입할 수 있게 되었습니다.

32. 효과 : 비용
• 매월 최소 3200만원 절약(AWS EC2 서버 구성 기준)

33. 효과 : 속도 개선
•hbase의 data locality 상승(0~40% -> 100%)으로 데이터 처리 속도 증가
•major compaction 시간 50% 개선(3~4일 -> 1~2일)

34. 문제 해결
•디스크 사용 불균형 해결 - 'One_SSD' policy 를 적용하여 ssd 서버의 최대 디스크 사용률을 제어
•불균형으로 인해 datanode 비정상 동작 가능성을 줄임

36. • 시간 : 발견, 적용
• 리더 / 개발자 / 운영자
• 인덱싱
• Naver Hello World 기고