산동네 게임 DBA 이야기 (어썸피스 홍병기 님) 중요 Configuration 튜닝시 가장중요한건 ? 최소점검시간으로 IDC or Cloud 이전 평소확인해야할것들 NoSQL 에 대해 장애경험 및 조치 CPU 가 100% 가까울때 긴급조치? OS 메모리 관리의 중요성 샤딩안하고 DML 성능 높이기 ? 샤딩적용은 ? 효율적인 로그관리요령 백업 및 복구 통계 및 머신러닝 회사에서 벌어지는 일들 DBA 피드백 괜찮은 DBA ?

1. 산동네 게임DBA
홍병기

2. 자기소개
차(茶)를 즐기는 DBA

3. 자기소개
어썸피스 직원

4. 자기소개
MariaDB 한국 사용자 모임 운영자

5. 관심사 ? 차 ?

6. 회사에서 무슨업무를 하나요 ?
주요업무 : 좀비고등학교 DBA

7. 회사에서 무슨업무를 하나요 ?
주요업무 : AWS, GCP 와 사내 인프라 관리

8. 회사에서 주로 무슨업무를 하나요 ?
그외 : 사내 HR용 비인공지능 봇(파이썬 공부하다 만듬. 출퇴근, 휴가, 증명서, 장비
관리 등등)

9. 회사에서 무슨업무를 하나요 ?
그그외 : PC 수리

10. 회사에서 주로 무슨업무를 하나요 ?
그그그외 : 산업기능요원관리업무(병역특례관리)

11. 산동네 DBA 인 이유 ?
회사가 관악산 근처에 있습니다. 등산객들을 자주 볼수 있습니다.

12. 제품 ?
좀비고등학교

13. 오늘 발표할 내용
지난 5년간 좀비고등학교 DBA 업무를 하며 배운것들

14. 오늘 발표할 내용
- 중요 Configuration
- 튜닝시 가장중요한건 ?
- 최소점검시간으로 IDC or Cloud 이
전
- 평소확인해야할것들
- NoSQL 에 대해
- 장애경험 및 조치
- CPU 가 100% 가까울때 긴급조치?
- OS 메모리 관리의 중요성
- 샤딩안하고 DML 성능 높이기 ?
- 샤딩적용은 ?
- 효율적인 로그관리요령
- 백업 및 복구
- 통계 및 머신러닝
- 회사에서 벌어지는 일들
- DBA 피드백
- 괜찮은 DBA ?

15. 오늘 발표할 내용
어려운문제를 깊이 파기보다는 공감하는 자리

16. 사용중인 데이터베이스는 ?
MariaDB & MySQL

17. 디비의 부하는 어느정도인가요 ?
DML/s : 5,000~6,000
Queries/s : 약 30,000

18. Topology 가 궁금합니다.
Game Server
DB Master
Redis
DB Slave 2
DB Slave 1
DB Slave 3
(External)
DW

19. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (1)

20. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (1)
Innodb_flush_log_at_trx_commit
참고 : https://mariadb.com/kb/en/library/innodb-system-
variables/#innodb_flush_log_at_trx_commit

21. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (1)
Innodb_flush_log_at_trx_commit
Buffer Pool Log Buffer OS Cash/ Buffer
0
1
2
메모리 영역 디스크 영역
DMLTable
DMLTable
DMLTable
Transaction (Commit/ Rollback)
Transaction (Commit/ Rollback)
Transaction (Commit/ Rollback)
매 1초마다 Write OS Cash & Flush DIsk
매 1초마다 Flush DIsk

22. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (1)
Innodb_flush_log_at_trx_commit
Buffer Pool Log Buffer OS Cash/ Buffer
0
1
2
메모리 영역 디스크 영역
DMLTable
DMLTable
DMLTable
Transaction (Commit/ Rollback)
Transaction (Commit/ Rollback)
Transaction (Commit/ Rollback)
매 1초마다 Write OS Cash & Flush DIsk
매 1초마다 Flush DIsk
Durability

23. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (1)
Innodb_flush_log_at_trx_commit
Buffer Pool Log Buffer OS Cash/ Buffer
0
1
2
메모리 영역 디스크 영역
DMLTable
DMLTable
DMLTable
Transaction (Commit/ Rollback)
Transaction (Commit/ Rollback)
Transaction (Commit/ Rollback)
매 1초마다 Write OS Cash & Flush DIsk
매 1초마다 Flush DIsk
Better Performance
Better Performance

24. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (1)
Innodb_flush_log_at_trx_commit
1초 쯤이야.. 그정도는 괜찮지 않아 ?

25. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (1)
Innodb_flush_log_at_trx_commit
1초 쯤이야.. 그정도는 괜찮지 않아 ?
너무나 큰 디스크 성능차이

26. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (2)
Sync_binlog
참고 : https://mariadb.com/kb/en/library/binary-log/

27. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (2)
sync_binlog
평소엔 몰랐는데 DISK 부하가 많을땐 0 옵션이 많은 도움.

28. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (2)
sync_binlog
Sync_bin !=1 이 아닌경우 Master 가 Crash 되면 Slave 는 반드시 재구축해줘야함.

29. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (3)
Innodb_buffer_pool_size 와 Innodb_buffer_pool_instances
참고 : https://mariadb.com/kb/en/library/xtradbinnodb-buffer-pool/

30. MariaDB 의 중요한 옵션은 무엇이고 왜 그런가요 ? (3)
Innodb_buffer_pool_size 와 Innodb_buffer_pool_instances
5,000 file IO /s 10 file IO /s메모리에서 읽게

31. 옵션외에 성능 튜닝시 가장 중요한건 뭔가요 ?

32. 옵션외에 성능 튜닝시 가장 중요한건 뭔가요 ?
선택도라고 생각합니다.

33. 옵션외에 성능 튜닝시 가장 중요한건 뭔가요 ?

34. 옵션외에 성능 튜닝시 가장 중요한건 뭔가요 ?

35. 라이브 상황에서 최소 점검시간만 갖고 물리적으로 다른곳
으로 디비를 이전하고 싶습니다. 어떻게 하면되나요 ?

36. 라이브 상황에서 최소 점검시간만 갖고 물리적으로 다른곳
으로 디비를 이전하고 싶습니다. 어떻게 하면되나요 ?
Mariabackup or Innobackupex 를 활용 복제구성후 이전
Master Slave복제구성 Master Slave -> Master

37. 평소 확인해야 할것 무엇이 있나요 ?

38. 평소 확인해야 할것 무엇이 있나요 ?
Error Log

39. 평소 확인해야 할것 무엇이 있나요 ?
Dead Lock

40. 평소 확인해야 할것 무엇이 있나요 ?
Slave Status

41. 평소 확인해야 할것 무엇이 있나요 ?
Table Condition
레코드수, Auto increment 값, 데이터타입, 통계업데이트상태

42. 평소 확인해야 할것 무엇이 있나요 ?
올바른 Config 값들.
값이 변경되지 않게 시스템 점검

43. 평소 확인해야 할것 무엇이 있나요 ?
Backup
1차 백업, 2차 백업, 복구방안 등등

44. 평소 확인해야 할것 무엇이 있나요 ?
Disk Usage

45. 평소 확인해야 할것 무엇이 있나요 ?
메모리 누수

46. 평소 확인해야 할것 무엇이 있나요 ?
Errors and Warnings

47. NoSQL 은 고려해 본적없으신가요 ?

48. NoSQL 은 고려해 본적없으신가요 ?

49. NoSQL 은 고려해 본적없으신가요 ?
NoSQL 도입하는데 많이 고민했습니다.

50. NoSQL 은 고려해 본적없으신가요 ?
주변 지인들이 NoSQL 을 도입후 퇴근 못한다는 소식을 많이 들었습니다.

51. NoSQL 은 고려해 본적없으신가요 ?
추후 인수인계도 고려해야함(충분한 엔지니어풀).
서브스크립션 구매해서 사용해도 되지만 서포트가능한 엔지니어들이 대부분 외국
에서 원격으로 진행

52. 장애 경험 및 조치에 대해서 들어보고 싶습니다.

53. 장애 경험 및 조치에 대해서 들어보고 싶습니다.
Corruption

54. 장애 경험 및 조치에 대해서 들어보고 싶습니다.
Deadlock

55. 부하가 몰릴때 CPU 를 낮출 조치

56. 부하가 몰릴때 CPU 를 낮출 조치
Didn’t expect that...

57. 부하가 몰릴때 CPU 를 낮출 조치
SELECT * FROM INFORMATION_SCHEMA.PROCESSLIST WHERE
COMMAND != 'Sleep'

58. 부하가 몰릴때 CPU 를 낮출 조치
Slow_query_log 를 확인

59. 부하가 몰릴때 CPU 를 낮출 조치
Performance Schema 적극활용

60. 부하가 몰릴때 CPU 를 낮출 조치
mysql> TRUNCATE TABLE performance_schema.events_statements_summary_by_digest;
mysql>
SELECT IF(LENGTH(DIGEST_TEXT) > 64, CONCAT(LEFT(DIGEST_TEXT, 30), ' ... '
, RIGHT(DIGEST_TEXT, 30)), DIGEST_TEXT) AS query,
IF(SUM_NO_GOOD_INDEX_USED > 0 OR SUM_NO_INDEX_USED > 0, '*', '') AS full_scan, COUNT_STAR AS exec_count,
SUM_ERRORS AS err_count,
SUM_WARNINGS AS warn_count,SEC_TO_TIME(SUM_TIMER_WAIT/1000000000000) AS exec_time_total
, SEC_TO_TIME(MAX_TIMER_WAIT/1000000000000) AS exec_time_max
, (AVG_TIMER_WAIT/1000000000) AS exec_time_avg_ms, SUM_ROWS_SENT AS rows_sent,
ROUND(SUM_ROWS_SENT / COUNT_STAR) AS rows_sent_avg, SUM_ROWS_EXAMINED AS rows_scanned,DIGEST AS digest
FROM performance_schema.events_statements_summary_by_digest ORDER BY SUM_TIMER_WAIT DESC LIMIT 20;
참고 : http://www.markleith.co.uk/2012/07/04/mysql-performance-schema-statement-digests/

61. 부하가 몰릴때 CPU 를 낮출 조치
Stop Slave

62. OS 메모리 관리 주의사항

63. OS 메모리 관리 주의사항
OS 가 적절히 여유있게 사용가능한 메모리 영역을 남겨놔야함.

64. OS 메모리 관리 주의사항
공포의 OOM Kill

65. OS 메모리 관리 주의사항
Free

66. OS 메모리 관리 주의사항
MariaDB (MySQL) 에서 메모리 누수여부를 지속적으로 탐지

67. OS 메모리 관리 주의사항
OS 가 적절히 여유있게 사용가능한 메모리 영역을 남겨놔야함.

68. OS 메모리 관리 주의사항
Swappiness 를 이용 적절한 스왑비율 유지

69. 샤딩안하고 DML 을 스케일업할 방법 ?

70. 샤딩안하고 DML 을 스케일업할 방법 ?
하드웨어 스케일업 (성능좋은 SSD)

71. 샤딩안하고 DML 을 스케일업할 방법 ?
올바른 선택도(Selectivity)로 디자인된 테이블 인덱스
Secondary Index 1개 추가시마다 DML 속도는 1.3~2배 가까이 느려짐

72. 샤딩안하고 DML 을 스케일업할 방법 ?
최적화된 쿼리
개발자의 내공

73. 샤딩안하고 DML 을 스케일업할 방법 ?
물리서버에 최적화된 Configuration - 한번에 1개만 변경
서비스 환경에 맞춰 변경 - 어느정도 모니터링 시간필수

74. 샤딩은 ?
수평샤딩을 하기전에 수직샤딩을 먼저 고려

75. Topology 가 궁금합니다. 다시보기 !
Game Server
DB Master
Redis
DB Slave 2
DB Slave 1
DB Slave 3
(External)
DW

76. 샤딩은 ?
수직샤딩으로 감당이 안될것 같을때 수평샤딩을 고려 ?

77. 샤딩은 ?
수평샤딩은 유지보수비용이 매우 높음. (서버개발도 그에 맞춰서 해야함)

78. 샤딩안하고 DML 을 스케일업할 상용제품 ?
To be continue (제이콥님)
?

79. 로그관리 요령

80. 로그관리 요령
파티션 테이블로 관리 ?
통테이블 ?
NoSQL ?

81. 로그관리 요령
Innodb Engine 이외에 압축률이 높은 다른 엔진을 고려

82. 로그관리 요령
가능하면 별도의 디비에 둬서 Write 를 분산하는걸 추천하며 Monthly 혹은 Daily
로
Table 을 생성해서 언제든 Drop 시켜 용량도 간단히 확보할수 있는 형태를 추천

83. 백업 및 복구

84. 백업 및 복구
논리백업과 물리백업 ?

85. 백업 및 복구
Mysqldump, Mariadbbackup(Innobackupex)

86. 백업 및 복구
Log-bin 옵션(바이너리로그)

87. 통계 및 머신러닝

88. 통계 및 머신러닝
1. Adhoc - Query 로 결과 도출
2. Scheduled Table (새벽시간 or 1시간 간격)
3. Hadoop
4. Hadoop Ecosystems
5. Columnstore

89. 통계 및 머신러닝
우연히 스터디 할수 있는 기회가 주어짐.
시맨틱, 자연어, 의미분석, 머신러닝.

90. 통계 및 머신러닝
Pointwise mutual information
참고 : https://en.wikipedia.org/wiki/Pointwise_mutual_information

91. 통계 및 머신러닝
Word vectors from PMI
참고 : https://www.kaggle.com/gabrielaltay/word-vectors-from-pmi-matrix

92. 통계 및 머신러닝

93. 통계 및 머신러닝

94. 통계 및 머신러닝

95. 통계 및 머신러닝
용도에 맞게 사용하는것이지만 왠만한건 컬럼스토어로 충분히 처리가능

96. 통계 및 머신러닝
MariaDB Columnstore
Vs
Google Bigquery

97. 통계 및 머신러닝
MariaDB Columnstore
Vs
Google Bigquery
1TB(10억건) PMI 구현
컬럼스토어가 더 빨랐
음

98. 통계 및 머신러닝 (대기업 홈쇼핑 반품사유 자동
분류)
까슬거려,따가워,좀무거워,간지러워,졸려,가렵네,헐떡거려,화끈거려,어벙해 cl_310
--------------------cl-------------------------
디자인과재질,색상과재질,색상과디자인,옷감재질,옷재질,상품재질,재질과색상,디자인과색상,제질,바지핏,사
이즈와디자인,사이즈와색상,색감,색깔,향,원단재질,다자인,소재와핏,재질과디자인,사이즈와재질,어깨라인,디
쟌,버건디색상,재질과핏,김치냉장고와규격,가죽질,인형,실물디자인,구성품,상품구성,모습,옷감등품질 cl_35
실물,실제상품,실제색상,실제디자인,달리색상,달리재질,목라인,달리디자인,달리옷,실물색상,전체기장 cl_546
--------------------cl-------------------------
딸,아들,신랑,남편,지인,선물받는분,선물받을사람 cl_241
동생,딸아이,아이,어머님께 cl_273
--------------------cl-------------------------
바지통,소매통,팔통,다리통,종아리부분,바지폭,몸통,허벅지부분,엉덩이부분,힙,발볼,발목부분,신청힙,힙부분,
암홀부분,옷품,바지품,요청힙,어깨품,종아리쪽,제발볼,그부분 cl_175
--------------------cl-------------------------
사진과색상,화면과색상,화면과느낌,사진과느낌,사진과디자인,화면과실물,방송과색상,방송과이미지,화면과실
제색상,사진과실재색상 cl_156
생각하고,화면과좀,방송하고,화면상과,화면과조금,화면과달리,사진과좀 cl_261

99. 통계 및 머신러닝 (대기업 홈쇼핑 반품사유 자동
분류)
--------------------cl-------------------------
다른사이트,타사이트,다른곳,타홈쇼핑,다른부분,타쇼핑몰,타싸이트,더저렴한곳,이번상품들 cl_86
방송이미지,책자,보기,이미지,카다로그,화면이미지,광고,방송볼때,침대사이즈,TV-에서볼때
--------------------cl------------------------
디자인,색상,색,핏 cl_500
스타일,스탈,카멜색 cl_524
--------------------cl-------------------------
아버지,어머니,엄마,부모님,어머님,아빠,언니,조카,와이프,아기,친구,어른들,간절기용 cl_112
아버님,친정엄마,시어머니 cl_605
--------------------cl-------------------------
사이즈선택,색상선택,색상주문,옵션선택,사이즈판단,사이즈주문,사이즈기재,쇼호스트방송 cl_26
보정력,커버력,쿠션감,스판,스판성,세정력,머리결,머릿결,상품정보 cl_134
양,용량,효능,촉촉함 cl_288
기종,옵션 cl_785
사이즈신청,사이즈측정 cl_1119

100. 통계 및 머신러닝 (대기업 전자회사 유사고객찾
기)

101. 통계 및 머신러닝 (맛집 다면적 분석)
요약해줘
음식에 대한 얘기들
요약해줘
분위기에 대한 얘기들

102. 통계 및 머신러닝
시멘틱 자연어관련 추가문의 : space@quryon.com

103. 회사에서 벌어지는 일들-1
디비 접속이 안됩니다.

104. 회사에서 벌어지는 일들-2
이거 라이브로 가능할까요 ?

105. 회사에서 벌어지는 일들-2
이거 라이브로 가능할까요 ?
“50만명에게 아이템 지급이 가능할까요 ? “
“지난 한달간 접속했던 유저들에게 잘못지급된 아이템을 회수하고 그에 대한 보상
이 점검없이 가능할까요 ? “

106. 회사에서 벌어지는 일들-3
새벽전화

107. 회사에서 벌어지는 일들-4
리포팅 요청

108. DBA 피드백 -1
개발자들에게 피드백 제공
“그건 디비 문제가 아닌것으로 보입니다. 증거제시“
“현재 디비는 컨디션이 좋습니다.”
“푸시를 날리면 안될것 같습니다.”
“쿼리가 느립니다. 튜닝 가능할까요 ? “

109. DBA 피드백 -2
라이브 서비스중 버그로인한 여러가지 유형의 유저보상
개발팀 - 게임운영팀 - DBA 간의 빠른 커뮤니케이션

110. DBA 피드백 -3
권한관리 - 누가 어떤걸 변경했는지 모두 알고 있어야함.
Update, Insert, Delete 는 가능하면 DBA 가 수행하는 것도 방법

111. DBA 피드백 -4
다양한 리포팅
실시간, Ad-hoc, 통계

112. 제가 만나본 괜찮은 선배 DBA

113. 제가 만나본 괜찮은 선배 DBA의 좋았던점.
겸손함

114. 제가 만나본 괜찮은 선배 DBA의 좋았던점.
커뮤니케이션 능력

115. 제가 만나본 괜찮은 선배 DBA의 좋았던점.
경험 및 지식

116. 제가 만나본 괜찮은 선배 DBA의 좋았던점
겸손함> 커뮤니케이션능력 > 경험 및 지식

117. Generalist or Specialist ?

118. Generalist or Specialist ?
나는 모르는것에
크게 연연하지 않
아.
중요한거 4~5가
지면 충분해

119. 페이스북 그룹소개 - MariaDB 한국사용자모임
https://www.facebook.com/groups/mariadbkorea

120. 페이스북 그룹소개 - MariaDB 한국사용자모임
https://www.facebook.com/groups/mariadbkorea
Sponsored by

121. 페이스북 그룹소개 - MariaDB 한국사용자모임
https://www.facebook.com/groups/mariadbkorea
마리아디비 한국지사의 적극적인 지원
MariaDB Exclusive 세미나 진행
MariaDB 대규모 컨퍼런스 커뮤니티 부스지원

122. 페이스북 그룹소개 - MariaDB 한국사용자모임

123. 감사합니다.
홍병기
Facebook MariaDB : https://www.facebook.com/groups/mariadbkorea/
Linkedin : https://www.linkedin.com/in/byungkeehong/
Email : byungkeehong@hotmail.com