db tech showcase 2013 Tokyo での発表資料です。 Clustrixによる社内データベースクラウド環境の提供 - Clustrixの導入からこれまでの運用実績 - 社内データベースクラウド環境の提供 - Clustrix運用の裏話

1. Clustrixによる
社内データベースクラウド環境の提供
2013/11/14
野田 啓介
楽天株式会社
Data Store Platform Group
Global Infrastructure Development Department, Rakuten, Inc.
http://www.rakuten.co.jp/

2. 自己紹介
野田 啓介
Data Store Platform Group
Global Infrastructure Development
Department
Rakuten, Inc.
Role : DBA
2

3. 楽天株式会社 概要
Founded: February 7, 1997
IPO:
April 19, 2000 (JASDAQ Stock Exchange)
Office:
Rakuten Tower (Tokyo, Japan)
Employees: 9,311 (as of Dec. 2012)
Market Cap: JPY ¥890 Billion or US$10.2 Billion (as of Jan 4, 2013)
3

4. 楽天グループ（国内）の主なサービス
E-Commerce
Portal and Media
Securities
Banking
Ｔｒａｖｅｌ
Telecommunications
Credit Card
Professional Sports
E-money
4

5. 楽天は海外展開へ
5

6. 海外M&Aを含む成長戦略
2010年からグローバル展開が急加速
EC事業では、現在までに世界13カ国・地域に、
すべてのサービスを含めると世界25カ国・地域に
In 2012
In 2011
In 2010
In 2009
In 2008
In 2005
出資
2005
2012
6

7. Agenda
1. Clustrixの導入からこれまでの運用実績
2. 社内データベースクラウド環境の提供
3. Clustrix運用の裏話
7

8. Agenda
1. Clustrixの導入からこれまでの運用実績
2. 社内データベースクラウド環境の提供
3. Clustrix運用の裏話
8

9. Agenda
1. Clustrixの導入からこれまでの運用実績
• Clustrixとは？（導入までの経緯）
9

10. 弊社MySQL環境の課題
×
×
×
×
×
Manual sharding
Manual server management
Long lead time
Offline maintenance
90% of CPU is NOT used!
……
……
……
Application servers
Master DB servers
DB
DB
BD
Slave DB servers
DB
BD
BD
BD
BD
BD
BD
BD
BD
BD
DB
BD
BD
BD
BD
BD
BD
10

11. 弊社MySQL環境の課題
×
×
×
×
×
Manual sharding
Manual server management
Long lead time
Offline maintenance
90% of CPU is NOT used!
We need a
new database platform
for “As a Service”!
……
……
……
Application servers
Master DB servers
DB
DB
BD
Slave DB servers
DB
BD
BD
BD
BD
BD
BD
BD
BD
BD
DB
BD
BD
BD
BD
BD
BD
11

12. Clustrixとは？
Appliance product
•
•
•
•
•
MySQL Highly compatible
Data Distributed, Scalable
ACID guarantee, No data loss
Automatic Fault Tolerance
Uses SSD and Infiniband
12

13. Clustrixとは？ ～運用上のメリット～
 No manual sharding
• Automatic data distribution
 No manual fault tolerance
• Automatic!
• VIP access
APP
 Online Schema Change
 No Fragmentation
• Layer tree
Scalable
Server1
Data3
Server2
Data1
Server3
Data2
ServerX
DataY
Data1
Data2
Data3
DataZ
No Sharding
13

14. Agenda
1. Clustrixの導入からこれまでの運用実績
• システム構成
14

15. システム構成
本番環境
Replication
Application
Access
VIP
VIP
Cluster1
(PRO/BCP-Cluster)
DB
Cluster2
(PRO/BCP-Cluster)
DB
DB
DB
DB
DB
DB
DB
DB
Backup
Monitoring
NFS
GlusterFS
15

16. システム構成
検証環境
ステージング環境
Single node cluster
VIP
Cluster
DB
DB
DB
プライベートクラウド環境
DB
DB
DB
開発環境
Single node cluster
DB
DB
DB
DB
DB
DB
プライベートクラウド環境
16

17. （新）システム構成
Application
本番環境
(2013/11~)
VIP
Replication
Access
SLB
BCP
VIP
Non
BCP
PRO-Cluster
DB
DB
DB
DB
DB
DB
VIP
PRO-Cluster
DB
DB
DB
VIP
BCP-Cluster
DB
DB
DB
DB
DB
DB
17

18. Agenda
1. Clustrixの導入からこれまでの運用実績
• 運用実績
18

19. 運用実績
データベース数
Cluster2
Cluster1
データサイズ(GB)
Cluster2
Cluster1
19

20. 運用実績
パフォーマンスについて
Ads management platform
Time
500
450
400
350
300
250
200
150
100
50
0
x 10
x 50
x 9.8
IA+SSD
SPARK+DMX
Clustrix
Select Count Like Search 2000 of IN +
(50million (4milion rows, GroupBY
rows)
13GB)
20

21. 運用実績
パフォーマンスについて
Rakuten Super Point Management
Time
14
12
10
x 5.5
8
IA+HDD
Clustrix
6
4
x 75
x 37
x 5.1
2
0
レポート① レポート② レポート③ レポート④
21

22. 運用実績
HW障害時の自動復旧
Cluster1
Cluster2
約60秒で復旧！
22

23. 運用実績
ノード追加（３ノード）
Cluster1
Cluster2
約45秒×3
23

24. 運用実績
Online Schema Change
約3分で完了
セール開始！
Cluster1
Cluster2
24

25. １章まとめ 〜課題は解決されたのか？〜
 Manual sharding
 解決！
 Manual server management
 多数の物理サーバーの削減ができた
 解決！
 Long lead time
 DB作成は即時可能！（2章でお話します）
 解決！
 Offline maintenance
 解決！
 90% of CPU is NOT used!
 複数の物理サーバーを集約し、効率化できた
 解決！
25

26. Agenda
1. Clustrixの導入からこれまでの運用実績
2. 社内データベースクラウド環境の提供
3. Clustrix運用の裏話
26

27. なぜデータベースクラウド？
クラウドといえば・・・
- 早い（すぐ使える）
- 安い
- 旨い（速い、簡単etc）
データベースインフラにも
求められている
27

28. 過去のデータベース利用までのステップ
Operators
Developer
Request チケット発行
設計MTG キックオフ
設計MTG
• Too many human to
human workflows
• Too many approvals.
• Too many meetings.
• Too many documents.
テーブル作成依頼
SQLレビュー
スキーマレビュー
テスト
複雑
ステークホルダー多い
申請書たくさん
DB作成
...
28

29. Clustrixによるクラウド化の実現
 早い（すぐ使える）
 構築されたクラスターにDB作成するだけ
 安い
 利用サイズにより課金（スモールスタート
しやすい）
 旨い（速い、簡単etc）
 パフォーマンスよし
 セルフマネージメントで自由に
 API提供
29

30. Demo
セルフマネージメントツール
1. データベース利用状況閲覧
2. バックアップ＆リストア
3. 権限管理
• 権限情報閲覧
• 権限の追加/削除/編集
4. API提供
30

31. クラウド化とDevOpsとの関連性
DevOpsとは
Dev(Application開発)
と
Ops(運用)
がうまく連携し業務の効率化する開発の考え方
Opsには早い、安い、旨いが求められる
データベース
クラウド化
DevOps推進
31

32. 楽天のDevOpsのかたちのひとつ
Developer
RPaaS
rpaas push myapp
コマンド1発
Grab a coffee
32

33. Demo
プライベートPaaS（RPaaS）からDB作成
1. アプリケーションの作成
2. Login PaaS
• rpaas login
3. アプリケーションのデプロイ
• rpaas push
33

34. ２章まとめ
Clustrix
＋
セルフマネージメントツール
データベースクラウド
DevOps推進
Clustrix
＋
セルフマネージメントツール
＋
API提供
＋
RPaaS
究極のDevOps
34

35. Agenda
1. Clustrixの導入からこれまでの運用実績
2. 社内データベースクラウド環境の提供
3. Clustrix運用の裏話
35

36. Clustrix運用の裏話
運用の裏話
• がんばったこと
• KPI見える化
• 各種監視
36

37. Clustrix運用の裏話
37

38. Clustrix運用の裏話
運用の裏話
• 苦労したこと
• 運用人数
• テーブル数の上限？
• Clustrix ≠ MySQL
• 共有環境ならではの‥
38

39. Clustrix運用の裏話
運用の裏話
• よかったこと
• パフォーマンス
• 管理の統合
• No Fragmentationでエコ
• 最高のサポート!
39

40. Clustrix運用の裏話
運用の裏話
• 今後のClustrixに期待すること
• リソース制御
• ローリングアップグレード
• グローバルでの勢力拡大!
40

41. 最後に
Clustrixにご興味持っていただけた方
まずはこちらから
AWS
http://www.clustrix.com/company/partners/
ソフトウェアフリートライアル
http://www.clustrix.com/free-trial/
41

42. Thank you!
42