Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[네이버오픈소스세미나] 비용 효율화 : Pinpoint의 Heterogeneous Storage 적용 - 정민우

2,915 views

Published on

네이버 오픈소스 세미나 - Performance does matter
2019.07.11

Published in: Engineering
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/yxufevpm } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/yxufevpm } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/yxufevpm } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/yxufevpm } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/yxufevpm } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/yxufevpm } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

[네이버오픈소스세미나] 비용 효율화 : Pinpoint의 Heterogeneous Storage 적용 - 정민우

  1. 1. ♥
  2. 2.  다양한 서버를 효율적으로 사용할 수 없다!
  3. 3. 혼합하여 성능과 비용을 조절
  4. 4. WarmCold Hot
  5. 5. Hot
  6. 6. [주의] 하둡 에코시스템의 자체 설정중에 Heterogeneous Storage 설정과 관련된 옵션이 있는지 검토 - EX) HBase의 WAL(Write-ahead-log)옵션
  7. 7. vs
  8. 8. 비용 증가
  9. 9. - HDD 디스크 사용률 50% 전후, SSD 디스크 사용률 90% 이상 - 불균형 때문에 HDFS의 balancer를 항시 동작시켰습니다. - balancer를 계속 동작시켜도 hbase의 major compaction이 동작될때마다 불균형이 재발생. - locality가 높을수록 네트워크를 사용하지 않고 local에서 데이터를 빠르게 read/write 할 수 있음 - 3~4일 소요
  10. 10. 데이터 처리 속도를 유지하면서 문제를 해결하기 위해, 기존 HDD 서버를 모두 SSD 서버로 교체하면 해결될 수 있겠지만 HDD에 비해 SSD 비용이 매우 높아 전면 서버 교체는 무리(고비용) Heterogeneous Storage를 발견 => 비용을 대폭 낮춰 서비스 기능 => 더불어 불균형 없애고, 데이터 처리 속도 향상 앞으로도 높은 처리 속도가 필요한 데이터 사이즈 만큼만 SSD 서버를 증설하고 나머지 데이터에 대해서는 가격이 싼 HDD 서버를 투입할 수 있게 되었습니다.
  11. 11. 효과 : 비용 • 매월 최소 3200만원 절약(AWS EC2 서버 구성 기준)
  12. 12. 효과 : 속도 개선 •hbase의 data locality 상승(0~40% -> 100%)으로 데이터 처리 속도 증가 •major compaction 시간 50% 개선(3~4일 -> 1~2일)
  13. 13. 문제 해결 •디스크 사용 불균형 해결 - 'One_SSD' policy 를 적용하여 ssd 서버의 최대 디스크 사용률을 제어 •불균형으로 인해 datanode 비정상 동작 가능성을 줄임
  14. 14. • 시간 : 발견, 적용 • 리더 / 개발자 / 운영자 • 인덱싱 • Naver Hello World 기고

×