SlideShare a Scribd company logo
1 of 11
TokuDB use case
S/W engineer
Soohyun Park
Who am i?
❏ 현재 CDNetworks 한국 법인 R&D Center 소
속.
❏ Migration 전문 DBA…
극한 환경 전문 DBA…
❏ The problem will exist because it can solve.
Agenda
1. Migration 결과
2. Why TokuDB?
3. TokuDB Problems
4. Why InnoDB & TokuDB mixed?
5. Questions?
Migration 결과
현재 InnoDB & TokuDB mixed.
2014년 1월부터 ~ 현재까지 서비스 중.
Why TokuDB?
Physical Data 증가에 따른 문제
❏ Disk I/O 증가에 따른 시스템 Load 증가.
❏ Response time 증가
❏ Replication Slave Lag
❏ Backup & Recovery
Why TokuDB?
Compression
Ratio
(InnoDB none base)
InnoDB
None 1 : 1
KEY_BLOCK_SIZE=8 1 : 0.5 (50%)
KEY_BLOCK_SIZE=4 1 : 0.4 (40%) Response time 저하
Archive default
1 : 0.05 (5%)
Only Insert.
index not support.
TokuDB
ZLIB 1 : 0.1 (10%) CPU 사용량 증가
LZMA 1 : 0.09 (9%) CPU 사용량 증가
Why TokuDB?
❏ Disk 부하 감소
Volume 감소, I/O 감소
❏ Wrtie 성능 증가
❏ Replication Slave Lag 해소.
❏ Backup
slave snapshot을 이용해서 빠른 복구 가능.
TokuDB Problems
❏ 압축으로 인한 CPU 부하 증가.
❏ 메모리 사용에 대한 의문???
❏ 압축으로 인한 Data size 착시 현상…
❏ 모니터링 문제…
Why InnoDB & TokuDB mixed?
❏ Got error 22 from storage engine
TEXT, LONGBLOB Column이 같이 존재하는
테이블 중에서 발생.
❏ TokuDB ignores foreign key declarations.
❏ Fractal Tree® Index의 메모리 사용???
CDNetworks TokuDB Engine User Case
CDNetworks TokuDB Engine User Case

More Related Content

Similar to CDNetworks TokuDB Engine User Case

Ndc14 분산 서버 구축의 ABC
Ndc14 분산 서버 구축의 ABCNdc14 분산 서버 구축의 ABC
Ndc14 분산 서버 구축의 ABCHo Gyu Lee
 
PyCon2020 NLP beginner's BERT challenge
PyCon2020 NLP beginner's BERT challengePyCon2020 NLP beginner's BERT challenge
PyCon2020 NLP beginner's BERT challengeYoongi Kim
 
[215]네이버콘텐츠통계서비스소개 김기영
[215]네이버콘텐츠통계서비스소개 김기영[215]네이버콘텐츠통계서비스소개 김기영
[215]네이버콘텐츠통계서비스소개 김기영NAVER D2
 
IT 서비스 개발 15년 _ IT service 15 years
IT 서비스 개발 15년 _ IT service 15 yearsIT 서비스 개발 15년 _ IT service 15 years
IT 서비스 개발 15년 _ IT service 15 years연지 김
 
Hadoop engineering v1.0 for dataconference.io
Hadoop engineering v1.0 for dataconference.ioHadoop engineering v1.0 for dataconference.io
Hadoop engineering v1.0 for dataconference.iodaumkakao
 
131 deview 2013 yobi-채수원
131 deview 2013 yobi-채수원131 deview 2013 yobi-채수원
131 deview 2013 yobi-채수원NAVER D2
 
2021년 3월 27일 개발자 이야기
2021년 3월 27일 개발자 이야기2021년 3월 27일 개발자 이야기
2021년 3월 27일 개발자 이야기Jay Park
 
DevOps는 원격근무를 추구하면 안되는 걸까?
DevOps는 원격근무를 추구하면 안되는 걸까?DevOps는 원격근무를 추구하면 안되는 걸까?
DevOps는 원격근무를 추구하면 안되는 걸까?Jesang Yoon
 
Hadoop cluster os_tuning_v1.0_20170106_mobile
Hadoop cluster os_tuning_v1.0_20170106_mobileHadoop cluster os_tuning_v1.0_20170106_mobile
Hadoop cluster os_tuning_v1.0_20170106_mobile상연 최
 
Java와 go 간의 병렬 프로그램 성능 비교
Java와 go 간의 병렬 프로그램 성능 비교Java와 go 간의 병렬 프로그램 성능 비교
Java와 go 간의 병렬 프로그램 성능 비교Daniel Lim
 
Quest주요솔루션소개
Quest주요솔루션소개Quest주요솔루션소개
Quest주요솔루션소개ysahn88
 
Chap1. 개발환경구성 3주차 20130329
Chap1. 개발환경구성 3주차 20130329Chap1. 개발환경구성 3주차 20130329
Chap1. 개발환경구성 3주차 20130329광명 우
 
멸종하는 공룡이 되지 않으려면
멸종하는 공룡이 되지 않으려면멸종하는 공룡이 되지 않으려면
멸종하는 공룡이 되지 않으려면Byeongsu Kang
 
NET 최선단 기술에 의한 고성능 웹 애플리케이션
NET 최선단 기술에 의한 고성능 웹 애플리케이션NET 최선단 기술에 의한 고성능 웹 애플리케이션
NET 최선단 기술에 의한 고성능 웹 애플리케이션흥배 최
 
Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...
Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...
Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...hoondong kim
 
Celery의 빛과 그림자
Celery의 빛과 그림자Celery의 빛과 그림자
Celery의 빛과 그림자Minyoung Jeong
 
Chap1. 개발환경구성 3주차 20130329
Chap1. 개발환경구성 3주차 20130329Chap1. 개발환경구성 3주차 20130329
Chap1. 개발환경구성 3주차 20130329광명 우
 

Similar to CDNetworks TokuDB Engine User Case (20)

Ndc14 분산 서버 구축의 ABC
Ndc14 분산 서버 구축의 ABCNdc14 분산 서버 구축의 ABC
Ndc14 분산 서버 구축의 ABC
 
PyCon2020 NLP beginner's BERT challenge
PyCon2020 NLP beginner's BERT challengePyCon2020 NLP beginner's BERT challenge
PyCon2020 NLP beginner's BERT challenge
 
[215]네이버콘텐츠통계서비스소개 김기영
[215]네이버콘텐츠통계서비스소개 김기영[215]네이버콘텐츠통계서비스소개 김기영
[215]네이버콘텐츠통계서비스소개 김기영
 
IT 서비스 개발 15년 _ IT service 15 years
IT 서비스 개발 15년 _ IT service 15 yearsIT 서비스 개발 15년 _ IT service 15 years
IT 서비스 개발 15년 _ IT service 15 years
 
Hadoop engineering v1.0 for dataconference.io
Hadoop engineering v1.0 for dataconference.ioHadoop engineering v1.0 for dataconference.io
Hadoop engineering v1.0 for dataconference.io
 
131 deview 2013 yobi-채수원
131 deview 2013 yobi-채수원131 deview 2013 yobi-채수원
131 deview 2013 yobi-채수원
 
2021년 3월 27일 개발자 이야기
2021년 3월 27일 개발자 이야기2021년 3월 27일 개발자 이야기
2021년 3월 27일 개발자 이야기
 
steeleye Replication
steeleye Replication steeleye Replication
steeleye Replication
 
Aws로 ci하기 안기욱
Aws로 ci하기 안기욱Aws로 ci하기 안기욱
Aws로 ci하기 안기욱
 
DevOps는 원격근무를 추구하면 안되는 걸까?
DevOps는 원격근무를 추구하면 안되는 걸까?DevOps는 원격근무를 추구하면 안되는 걸까?
DevOps는 원격근무를 추구하면 안되는 걸까?
 
Hadoop cluster os_tuning_v1.0_20170106_mobile
Hadoop cluster os_tuning_v1.0_20170106_mobileHadoop cluster os_tuning_v1.0_20170106_mobile
Hadoop cluster os_tuning_v1.0_20170106_mobile
 
Java와 go 간의 병렬 프로그램 성능 비교
Java와 go 간의 병렬 프로그램 성능 비교Java와 go 간의 병렬 프로그램 성능 비교
Java와 go 간의 병렬 프로그램 성능 비교
 
Quest주요솔루션소개
Quest주요솔루션소개Quest주요솔루션소개
Quest주요솔루션소개
 
Chap1. 개발환경구성 3주차 20130329
Chap1. 개발환경구성 3주차 20130329Chap1. 개발환경구성 3주차 20130329
Chap1. 개발환경구성 3주차 20130329
 
멸종하는 공룡이 되지 않으려면
멸종하는 공룡이 되지 않으려면멸종하는 공룡이 되지 않으려면
멸종하는 공룡이 되지 않으려면
 
NET 최선단 기술에 의한 고성능 웹 애플리케이션
NET 최선단 기술에 의한 고성능 웹 애플리케이션NET 최선단 기술에 의한 고성능 웹 애플리케이션
NET 최선단 기술에 의한 고성능 웹 애플리케이션
 
TBB 소개
TBB 소개TBB 소개
TBB 소개
 
Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...
Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...
Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...
 
Celery의 빛과 그림자
Celery의 빛과 그림자Celery의 빛과 그림자
Celery의 빛과 그림자
 
Chap1. 개발환경구성 3주차 20130329
Chap1. 개발환경구성 3주차 20130329Chap1. 개발환경구성 3주차 20130329
Chap1. 개발환경구성 3주차 20130329
 

CDNetworks TokuDB Engine User Case

  • 1. TokuDB use case S/W engineer Soohyun Park
  • 2. Who am i? ❏ 현재 CDNetworks 한국 법인 R&D Center 소 속. ❏ Migration 전문 DBA… 극한 환경 전문 DBA… ❏ The problem will exist because it can solve.
  • 3. Agenda 1. Migration 결과 2. Why TokuDB? 3. TokuDB Problems 4. Why InnoDB & TokuDB mixed? 5. Questions?
  • 4. Migration 결과 현재 InnoDB & TokuDB mixed. 2014년 1월부터 ~ 현재까지 서비스 중.
  • 5. Why TokuDB? Physical Data 증가에 따른 문제 ❏ Disk I/O 증가에 따른 시스템 Load 증가. ❏ Response time 증가 ❏ Replication Slave Lag ❏ Backup & Recovery
  • 6. Why TokuDB? Compression Ratio (InnoDB none base) InnoDB None 1 : 1 KEY_BLOCK_SIZE=8 1 : 0.5 (50%) KEY_BLOCK_SIZE=4 1 : 0.4 (40%) Response time 저하 Archive default 1 : 0.05 (5%) Only Insert. index not support. TokuDB ZLIB 1 : 0.1 (10%) CPU 사용량 증가 LZMA 1 : 0.09 (9%) CPU 사용량 증가
  • 7. Why TokuDB? ❏ Disk 부하 감소 Volume 감소, I/O 감소 ❏ Wrtie 성능 증가 ❏ Replication Slave Lag 해소. ❏ Backup slave snapshot을 이용해서 빠른 복구 가능.
  • 8. TokuDB Problems ❏ 압축으로 인한 CPU 부하 증가. ❏ 메모리 사용에 대한 의문??? ❏ 압축으로 인한 Data size 착시 현상… ❏ 모니터링 문제…
  • 9. Why InnoDB & TokuDB mixed? ❏ Got error 22 from storage engine TEXT, LONGBLOB Column이 같이 존재하는 테이블 중에서 발생. ❏ TokuDB ignores foreign key declarations. ❏ Fractal Tree® Index의 메모리 사용???