Your SlideShare is downloading. ×
0
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Clustrixによる社内データベースクラウド環境の提供
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Clustrixによる社内データベースクラウド環境の提供

1,172

Published on

db tech showcase 2013 Tokyo での発表資料です。 …

db tech showcase 2013 Tokyo での発表資料です。
Clustrixによる社内データベースクラウド環境の提供
- Clustrixの導入からこれまでの運用実績
- 社内データベースクラウド環境の提供
- Clustrix運用の裏話

0 Comments
7 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,172
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
18
Comments
0
Likes
7
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Clustrixによる 社内データベースクラウド環境の提供 2013/11/14 野田 啓介 楽天株式会社 Data Store Platform Group Global Infrastructure Development Department, Rakuten, Inc. http://www.rakuten.co.jp/
  • 2. 自己紹介 野田 啓介 Data Store Platform Group Global Infrastructure Development Department Rakuten, Inc. Role : DBA 2
  • 3. 楽天株式会社 概要 Founded: February 7, 1997 IPO: April 19, 2000 (JASDAQ Stock Exchange) Office: Rakuten Tower (Tokyo, Japan) Employees: 9,311 (as of Dec. 2012) Market Cap: JPY ¥890 Billion or US$10.2 Billion (as of Jan 4, 2013) 3
  • 4. 楽天グループ(国内)の主なサービス E-Commerce Portal and Media Securities Banking Travel Telecommunications Credit Card Professional Sports E-money 4
  • 5. 楽天は海外展開へ 5
  • 6. 海外M&Aを含む成長戦略 2010年からグローバル展開が急加速 EC事業では、現在までに世界13カ国・地域に、 すべてのサービスを含めると世界25カ国・地域に In 2012 In 2011 In 2010 In 2009 In 2008 In 2005 出資 2005 2012 6
  • 7. Agenda 1. Clustrixの導入からこれまでの運用実績 2. 社内データベースクラウド環境の提供 3. Clustrix運用の裏話 7
  • 8. Agenda 1. Clustrixの導入からこれまでの運用実績 2. 社内データベースクラウド環境の提供 3. Clustrix運用の裏話 8
  • 9. Agenda 1. Clustrixの導入からこれまでの運用実績 • Clustrixとは?(導入までの経緯) 9
  • 10. 弊社MySQL環境の課題 × × × × × Manual sharding Manual server management Long lead time Offline maintenance 90% of CPU is NOT used! …… …… …… Application servers Master DB servers DB DB BD Slave DB servers DB BD BD BD BD BD BD BD BD BD DB BD BD BD BD BD BD 10
  • 11. 弊社MySQL環境の課題 × × × × × Manual sharding Manual server management Long lead time Offline maintenance 90% of CPU is NOT used! We need a new database platform for “As a Service”! …… …… …… Application servers Master DB servers DB DB BD Slave DB servers DB BD BD BD BD BD BD BD BD BD DB BD BD BD BD BD BD 11
  • 12. Clustrixとは? Appliance product • • • • • MySQL Highly compatible Data Distributed, Scalable ACID guarantee, No data loss Automatic Fault Tolerance Uses SSD and Infiniband 12
  • 13. Clustrixとは? ~運用上のメリット~  No manual sharding • Automatic data distribution  No manual fault tolerance • Automatic! • VIP access APP  Online Schema Change  No Fragmentation • Layer tree Scalable Server1 Data3 Server2 Data1 Server3 Data2 ServerX DataY Data1 Data2 Data3 DataZ No Sharding 13
  • 14. Agenda 1. Clustrixの導入からこれまでの運用実績 • システム構成 14
  • 15. システム構成 本番環境 Replication Application Access VIP VIP Cluster1 (PRO/BCP-Cluster) DB Cluster2 (PRO/BCP-Cluster) DB DB DB DB DB DB DB DB Backup Monitoring NFS GlusterFS 15
  • 16. システム構成 検証環境 ステージング環境 Single node cluster VIP Cluster DB DB DB プライベートクラウド環境 DB DB DB 開発環境 Single node cluster DB DB DB DB DB DB プライベートクラウド環境 16
  • 17. (新)システム構成 Application 本番環境 (2013/11~) VIP Replication Access SLB BCP VIP Non BCP PRO-Cluster DB DB DB DB DB DB VIP PRO-Cluster DB DB DB VIP BCP-Cluster DB DB DB DB DB DB 17
  • 18. Agenda 1. Clustrixの導入からこれまでの運用実績 • 運用実績 18
  • 19. 運用実績 データベース数 Cluster2 Cluster1 データサイズ(GB) Cluster2 Cluster1 19
  • 20. 運用実績 パフォーマンスについて Ads management platform Time 500 450 400 350 300 250 200 150 100 50 0 x 10 x 50 x 9.8 IA+SSD SPARK+DMX Clustrix Select Count Like Search 2000 of IN + (50million (4milion rows, GroupBY rows) 13GB) 20
  • 21. 運用実績 パフォーマンスについて Rakuten Super Point Management Time 14 12 10 x 5.5 8 IA+HDD Clustrix 6 4 x 75 x 37 x 5.1 2 0 レポート① レポート② レポート③ レポート④ 21
  • 22. 運用実績 HW障害時の自動復旧 Cluster1 Cluster2 約60秒で復旧! 22
  • 23. 運用実績 ノード追加(3ノード) Cluster1 Cluster2 約45秒×3 23
  • 24. 運用実績 Online Schema Change 約3分で完了 セール開始! Cluster1 Cluster2 24
  • 25. 1章まとめ 〜課題は解決されたのか?〜  Manual sharding  解決!  Manual server management  多数の物理サーバーの削減ができた  解決!  Long lead time  DB作成は即時可能!(2章でお話します)  解決!  Offline maintenance  解決!  90% of CPU is NOT used!  複数の物理サーバーを集約し、効率化できた  解決! 25
  • 26. Agenda 1. Clustrixの導入からこれまでの運用実績 2. 社内データベースクラウド環境の提供 3. Clustrix運用の裏話 26
  • 27. なぜデータベースクラウド? クラウドといえば・・・ - 早い(すぐ使える) - 安い - 旨い(速い、簡単etc) データベースインフラにも 求められている 27
  • 28. 過去のデータベース利用までのステップ Operators Developer Request チケット発行 設計MTG キックオフ 設計MTG • Too many human to human workflows • Too many approvals. • Too many meetings. • Too many documents. テーブル作成依頼 SQLレビュー スキーマレビュー テスト 複雑 ステークホルダー多い 申請書たくさん DB作成 ... 28
  • 29. Clustrixによるクラウド化の実現  早い(すぐ使える)  構築されたクラスターにDB作成するだけ  安い  利用サイズにより課金(スモールスタート しやすい)  旨い(速い、簡単etc)  パフォーマンスよし  セルフマネージメントで自由に  API提供 29
  • 30. Demo セルフマネージメントツール 1. データベース利用状況閲覧 2. バックアップ&リストア 3. 権限管理 • 権限情報閲覧 • 権限の追加/削除/編集 4. API提供 30
  • 31. クラウド化とDevOpsとの関連性 DevOpsとは Dev(Application開発) と Ops(運用) がうまく連携し業務の効率化する開発の考え方 Opsには早い、安い、旨いが求められる データベース クラウド化 DevOps推進 31
  • 32. 楽天のDevOpsのかたちのひとつ Developer RPaaS rpaas push myapp コマンド1発 Grab a coffee 32
  • 33. Demo プライベートPaaS(RPaaS)からDB作成 1. アプリケーションの作成 2. Login PaaS • rpaas login 3. アプリケーションのデプロイ • rpaas push 33
  • 34. 2章まとめ Clustrix + セルフマネージメントツール データベースクラウド DevOps推進 Clustrix + セルフマネージメントツール + API提供 + RPaaS 究極のDevOps 34
  • 35. Agenda 1. Clustrixの導入からこれまでの運用実績 2. 社内データベースクラウド環境の提供 3. Clustrix運用の裏話 35
  • 36. Clustrix運用の裏話 運用の裏話 • がんばったこと • KPI見える化 • 各種監視 36
  • 37. Clustrix運用の裏話 37
  • 38. Clustrix運用の裏話 運用の裏話 • 苦労したこと • 運用人数 • テーブル数の上限? • Clustrix ≠ MySQL • 共有環境ならではの‥ 38
  • 39. Clustrix運用の裏話 運用の裏話 • よかったこと • パフォーマンス • 管理の統合 • No Fragmentationでエコ • 最高のサポート! 39
  • 40. Clustrix運用の裏話 運用の裏話 • 今後のClustrixに期待すること • リソース制御 • ローリングアップグレード • グローバルでの勢力拡大! 40
  • 41. 最後に Clustrixにご興味持っていただけた方 まずはこちらから AWS http://www.clustrix.com/company/partners/ ソフトウェアフリートライアル http://www.clustrix.com/free-trial/ 41
  • 42. Thank you! 42

×