Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

MySQL Fabric with OpenStack Nova

1,209 views

Published on

MySQL Cluster and DRBD for OpenStack Repository.
MySQL Fabric co-work with OpenStack Nova.

Published in: Software
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

MySQL Fabric with OpenStack Nova

  1. 1. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | OpenStack最新情報セミナー OpenStackにおける、MySQLの活用 - OpenStackリポジトリ、DBサービス基盤としてのMySQL 2015/02/18 Shinya Sugiyama / 杉山真也 MySQL Principal Sales Consult, MySQL Global Business Unit
  2. 2. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。 また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。 以下の事項は、マテリアルやコード、機能を提供することをコミットメントするものではない為、 購買決定を行う際の判断材料になさらないで下さい。 オラクル製品に関して記載されている機能の開発、リリースおよび時期については、 弊社の裁量により決定されます。 SAFE HARBOR STATEMENT 2
  3. 3. Oracle confidential|3 Agenda 2 OpenStackのリポジトリとしてのMySQL 3 OpenStackにおけるDatabaseのAuto Scale 4 参考情報:OracleによるOpenStackのサポート - OpenStackリポジトリーとしてのMySQL - MySQL可用性とスケール(DRBD, MySQL Cluster) - OpenStackにおけるDBaaS (Trove)概要 - MySQL Fabric機能ご紹介 - MySQL FabricによるDatabaseの自動プロビジョニング 1 MySQL概要 - Community Edition (GPL) / Commercial Edition (Commercial)
  4. 4. Oracle confidential|4 The world's most popular open source database 世界で最も普及しているオープンソース データベース
  5. 5. Oracle confidential|5 Theworld'smostpopularopensourcedatabase  http://db-engines.com/en/ データベースソフトウェアの普及度や人気を、 インターネット上の求人情報や職務経歴上の経験、 および検索エンジンやSNSにおける情報量を元に毎月作成し公開。 例) DB-Enginesによる調査結果 5.5以降に修正されたバグの合計: 2010/12/15のMySQL 5.5 GA以降~ (2014/10) 8259
  6. 6. Oracle confidential|6 MySQL: From the Web to the Cloud Web Enterprise Embedded Cloud WebScaleSQL(MySQL branch) - Alibaba, Facebook, Google, LinkedIn, and Twitter
  7. 7. Oracle confidential|7 MySQLのコミュニティ版と商用版  コミュニティ版ソフトウェアはGPLでソースコードも公開し提供  商用版は、付加価値として技術サポートや管理機能、拡張機能を有償で提供 • MySQL Community Server • MySQL Cluster • MySQL GUI管理ツール • MySQLコネクタ (JDBC, ODBC, etc.) • ドキュメント • フォーラム Community Edition (GPL) •Standard Edition •Enterprise Edition •MySQL Cluster Carrier Grade Edition • 商用ライセンス (組み込み用) • プロフェッショナルサービス - トレーニング、コンサルティング、サポート Commercial Edition 参照:MySQL Downloads OpenStack環境においては、Community Editionが多く使われていますが、 Commercial Editionをご利用頂く事でツールやサポートも利用可能です。
  8. 8. Oracle confidential|8 拡張機能 サポート •拡張性 •高可用性 •セキュリティ •監査 •暗号化 •技術サポート •コンサルティングサポート •オラクル製品との 動作保証 MySQL Enterprise Edition のサービスカテゴリー 8 管理ツール •監視 •バックアップ •開発サポート •管理全般 •マイグレーション 詳細:MySQL Editions http://www-jp.mysql.com/products/
  9. 9. Oracle confidential|9 MySQL Enterprise Edition MySQL Enterprise Monitor 複数サーバの一括管理、クエリ性能分析 MySQL Enterprise Backup 高速なオンラインバックアップ、ポイントインタイムリカバリ MySQL Enterprise Scalability Thread Poolプラグインによる性能拡張性の向上 MySQL Enterprise Security LDAPやActive Directoryとの外部認証と統合管理 MySQL Enterprise Audit ユーザ処理の監査、Oracle DBと同じツールで管理可能 MySQL Enterprise Encryption 非対称暗号化(公開鍵暗号)の業界標準機能を提供 Oracle Enterprise Manager for MySQL Oracle Enterprise ManagerからMySQLを統合管理 Oracle Premier Support 24x365, インシデント無制限、コンサルティングサポート MySQL Enterprise Edition管理ツールと拡張機能概要
  10. 10. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | OpenStackのリポジトリ―として
  11. 11. Oracle confidential|11 OpenStackは大規模・マルチテナントクラウド環境への導入を目的とした オープンソース・クラウド・オペレーティングシステムです。 OpenStackはコンピュート・ストレージ・ネットワーク・アイデンティティ管理・ オーケストレーション等を提供する分散サービス群で構成されています。 OpenStackとは?
  12. 12. Oracle confidential|12 OpenStack Survey Top 5 Workloads 1. Web Services 2. QA Testing Environment 3. Databases 4. Up to the user 5. Continuous integration/Automated 6. Enterprise Applications 7. Benchmarks/Stress Testing 8. Management and Monitoring 9. Storage/Backup 10. Research 参照:OpenStack User Survey Insights: November 2014
  13. 13. Oracle confidential|13 参照:OpenStack User Survey Insights: November 2014 November 3, 2014 MySQLはOpenStackにおいても, 最も利用されているデータベースです。 OpenStack Survey
  14. 14. Oracle confidential|14 ■ MySQL stores OpenStack persistent data. Critical to Operation of OpenStack 抜粋: OpenStack.org MySQL in OpenStack
  15. 15. Oracle confidential|15 管理情報リポジトリDB(可用性) OpenStackは可用性、性能、拡張性、管理性、コスト最適化を必要とします。 MySQLは、管理情報リポジトリDBとして広く利用されています。 Keystone 認証 Nova IaaS (例:EC2) Cinder ブロックストレージ Glance VMイメージ管理 Neutron 仮想ネットワーク管理 これらのデータはOpenStackの管理に必要なメタデータの為, サービスをコントロールする上で、非常に重要なデータと なっています。また、安定したサービスを継続的に提供する為に、 リポジトリーの可用性構成も非常に重要な構成要素の一つです。 可用性
  16. 16. Oracle confidential|16 管理情報リポジトリDB (拡張性) 基本的に、構成管理用のリポジトリとしての役割 がメインなので、大規模なシステムを管理しない 限りは、それ程大きなデータベース負荷は発生し ない事が想定されます。しかし、keystoneのように、 データベースに継続的にアクセストークンを蓄積し 続けるケースもあるので、データ量が多くなっても、 処理が重たくならないようにするか、定期的に削 除するなどの運用を検討する必要があります。 また、Ceilometer等を利用して課金の為などに、 メータリング情報を収集する場合は、規模によって はインサートや参照に性能課題が発生する可能 性があります。 ※Table Partitioningも選択肢として検討 拡張性
  17. 17. Oracle confidential|17 $ nova list +--------------------------------------+--------------------+------------+--------------- +-----------------+-------------------------------+ | ID | Name | Status | Task State | PowerState | Networks | +--------------------------------------+--------------------+------------+--------------- +-----------------+-------------------------------+ | 05682b91-81a1-464c-8f40-8 | demo-ins1 | ACTIVE | - | Running | demo-net=192.168.1.3 | +--------------------------------------+--------------------+------------+--------------- +-----------------+-------------------------------+ MySQLリポジトリの可用性と拡張性 DRBD MySQL Cluster
  18. 18. Oracle confidential|18 Clustering Mode Auto-Failover Failover Time Scale-out Active/Passive Yes Secs+ No MySQL Cloud Controller: High Availability/Scalability
  19. 19. Oracle confidential|19 参照:Highly available MySQL http://docs.openstack.org/high-availability-guide/content/s-mysql.html OpenStack HAマニュアル に詳細が記載されています
  20. 20. Oracle confidential|20 Configuring MySQL for HA on OpenStack Using DRBD, Pacemaker, Corosync MySQLを使用するようにDRBDを設定 DRBDのデータディレクトリを使用するようにMySQLを構成 Clusterノード間で共通のVIPを利用するように設定 MySQLはVIPでListenするように設定 OpenStack関連サービスはMySQLに設定されたVIPに接続 ※ システム障害発生時は、VIPに紐づいたノード間でフェイルオーバー ※ 拡張は、基本的にサーバーのスケールアップで対応 sql_connection = mysql://glancedbadmin:<password>@192.168.42.101/glance
  21. 21. Oracle confidential|21 High Availability with DRBD  分散ストレージを利用するため、共有ディスクやSAN不要  同期レプリケーションによってデータを失うリスクを回避  オープンソースで実績の多いソリューション Oracle Linux + DRBD Stack - Oracle認定構成:フルスタックサポート - Oracle Linux Unbreakable Enterprise Kernel R2にDRBDが統合 - Oracle Linux 6.2以上で使用可能 - クラスタリングとフェイルオーバーにて、PacemakerとCorosyncを使用 - 追加機能として、MySQL DTrace probesを利用可能
  22. 22. Oracle confidential|22 Clustering Mode Auto-Failover Failover Time Scale-out Multi-Master Yes < 1 Sec Yes MySQL Cloud Controller: High Availability/Scalability
  23. 23. Oracle confidential|23 MySQL Clusterとは? • MySQLとは開発ツリーの異なる別製品 • 共有ディスクを使わずに、アクティブ-アクティブのクラスタ構成が組める • 元々はSQLを使わないデータベースだったが、MySQLと統合されSQLも 使えるようになった(NoSQL(KVS)とSQLの両方が使えるデータベース) • 各テーブルのストレージエンジンを選択する事が出来る(InnoDB or NDB) • SQL, NoSQL共にACID処理可能なインメモリーデータベース 適したシステム • 高可用性が求められるシステム • 同時多発的に大量のトランザクションが発生するシステム • 読込み処理だけでなく、書込み処理に対しても拡張性が求められるシステム 参照:MySQL Cluster Evaluation Guide
  24. 24. Oracle confidential|24 MySQL Cluster の特徴 • 自動シャーディング、マルチマスタ • ACIDトランザクション、OLTPとリアルタイム分析 参照更新性能の 高い拡張性 • シェアードナッシング、単一障害点無し • 自動復旧、オンラインメンテナンス 99.999% の可用性 • インメモリ処理に最適化+ディスク併用可能 • 低レイテンシリアルタイム • キー・バリュー型+複雑なリレーショナルな処理 •SQL+Memcached+JavaScript+Java+HTTP/REST&C++ SQL + NoSQL • オープンソース+商用版運用支援ツール • 特殊なハードウェア不要、管理監視ツール群、サポート低コスト
  25. 25. Oracle confidential|25 Who’s Using MySQL Cluster?
  26. 26. Oracle confidential|26 導入事例: 携帯電話ネットワーク HLR / HSS 課金, 認証, VLR 認証, 追跡接続 サービス, 課金 位置情報 の更新 プリペイ& ポストペイ課金 • 大量の書き込みトランザクション • 3ms未満のデータベースレスポンス • 停止時間 & トランザクション消失 = ビジネスの損失 MySQL Cluster in Action: http://bit.ly/oRI5tF
  27. 27. Oracle confidential|27 導入事例: 航空機管制システム • 米国海軍航空母艦 • 包括的航空機運用管制システム • メンテナンス記録 • 燃料搭載量管理 • 気象状況 • 飛行甲板管理 • システム要件 • 単一障害点無し • 完全な冗長性 • 小さなフットプリント & 過酷な利用環境で の利用 • 4台のMySQL Clusterノード Linux およびWindows MySQL User Conference Session: http://bit.ly/ogeid3
  28. 28. Oracle confidential|28 MySQL Cluster アーキテクチャ データ・ノード ノード・グループ1 F1 F3 F3 F1 ノード1ノード2 ノード・グールプ 2 F2 F4 F4 F2 ノード3ノード4 アプリケーション・ノード RESTJPA 管理ノード 管理ノード
  29. 29. Oracle confidential|29 自動シャーディングによる高可用性  アプリケーションに影響なし – アプリケーション層でのシャーディング・ロジックは不要 – 主キーの全てまたは1部のハッシュをベースとしてパーティショニング – 各ノードが1つのパーティションの主フラグメントを格納し、他のノードがそのバックアップを格納  フェイルオーバー、アップグレード、スケールアウト時も処理を継続可能  アプリケーションを1シャードだけ使用するトランザクションに制限する必要なし T1
  30. 30. Oracle confidential|30 MySQL Cluster - Extreme Resilience (耐障害性)
  31. 31. Oracle confidential|31 スケジュールメンテナンスの対応 • クラスターのスケール(ノードの追加 & 削除) • テーブルの再分割 • OSのアップグレードやパッチの適用 • MySQL Clusterのアップグレードやパッチの適用 • バックアップ • リアルタイムでのオンラインスキーマ変更 オンラインオペレーション
  32. 32. Oracle confidential|32  シェアード・ナッシング型”疑似”同期レプリケーション  更新はマルチ・マスタ型でどこでも可能 – 矛盾の検知と解決(トランザクションのロールバック – “Optimistic State Machine” レプリケーション  グループメンバーの管理と障害検知を自動化 – サーバのフェールオーバー不要 – 構成の拡張/縮小の柔軟性 – 単一障害点無し – 自動再構成  既存構成との統合 – InnoDB – GTIDベースのレプリケーション – PERFORMANCE_SCHEMA Upcoming … MySQL 5.7: グループレプリケーション Application MySQL Masters Replication Plugin API MySQL Server Group Comms (Corosync) http://labs.mysql.com/
  33. 33. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | OpenStackにおける、Databaseの Auto Scale and Provisioning
  34. 34. Oracle confidential|34 Auto Scale ? アクセス急増 ※ 一定条件,トリガー定義 Auto Scale 自動拡張により,アクセス処理を分散
  35. 35. Oracle confidential|35 DBaaS in OpenStack TroveはOpenStack上で”Database as a Service”を実現する為のコンポーネントです。 RDBMSだけでなくNoSQLにも対応しDBのスケールアウトを柔軟にサポート。 Icehouse ~ (2014-4-17) 抜粋:https://wiki.openstack.org/wiki/Trove#Mission_Statement
  36. 36. Oracle confidential|36 MySQL & OpenStack Trove  Database as a ServiceをOpenStackで提供  複数データベースインスタンスのプロビジョニングと管理  Single Tenant Database in Compute (Nova) Instance  ユーザー/データベースの管理  REST APIで全て管理する事が可能 • インスタンスの準備 • 複製作成 • インスタンスのサイズ変更 • ユーザーとDBの追加と権限の管理 • データベースのバックアップを管理 • データベース設定変更 (Group) Community Edition Only
  37. 37. Oracle confidential|37 Provisioning by Trove $ trove create 名前 2 --size=2 --databases DBNAME ¥ --users USER:PASSWORD --datastore_version mysql-5.6 --datastore mysql $ mysql -u root -p mysql> CREATE DATABASE trove; mysql> GRANT ALL PRIVILEGES ON trove.* TO trove@'localhost' IDENTIFIED BY 'TROVE_DBPASS'; mysql> GRANT ALL PRIVILEGES ON trove.* TO trove@'%' IDENTIFIED BY 'TROVE_DBPASS' +----+--------+-------------+-------------------------+--------+-------------+------+ | id | name | datastore | datastore_version | status | flavor_id | size | +----+--------+-------------+-------------------------+--------+-------------+------+ Trove用管理DB TroveによるDBインスタンス作成 Troveは標準でMySQLに対応。 詳細:https://wiki.openstack.org/wiki/Trove Community Edition Only
  38. 38. Oracle confidential|38 Clustering Mode Auto-Failover Failover Time Scale-out Master + Slaves Yes Secs Yes High Availability/Scalability/Auto Scale & Provisioning HA及びScale可能なシステム構成でOpenStack Controller用DBにも利用可能ですが,データベース接続を MySQL Fabricコネクターを使うように変更する必要がある為、Fabric概要とNovaとの連携を中心にご紹介させて頂きます。
  39. 39. Oracle confidential|39 MySQL Fabricとは?  MySQLサーバー群を管理する 統合型のフレームワーク  高可用性(HA)とデータ・シャーディング による拡張性を実現する事が可能  OpenStack Novaとの連携  MySQL Utilitiesの一部として提供 (2014-05-27 ver.1.4.3~) – GTIDモードによるレプリケーション 機能を活用している (MySQL 5.6.5以降で使用可能) MySQL Fabric Connector Application Read-slaves SQL Master group Read-slaves Master group参照: MySQL Fabric の特徴と利点 http://www-jp.mysql.com/products/enterprise/fabric/features.html Master Slave コネクター 管理
  40. 40. Oracle confidential|40 MySQL Utilities - Fabric Scale-out using Sharding / Automatically Change Master  「フェールオーバー」と通信経路の 自動再構成による高可用性  「シャーディング」による拡張性  対応コネクタ – Python (Fabric 1.4) – Java (Fabric 1.4) – PHP (Fabric 1.4) – .NET (Fabric 1.5) – C (lab)  アプリケーションでの分割キー – Range または Hash – シャード再構成も可能 – シャード全体の更新も可能 Cache Connection 参照:Using Connector/Python with MySQL Fabric
  41. 41. Oracle confidential|41 High-Availability Group Concept  抽象概念 – サーバーセット – サーバー属性  コネクター属性 – 接続情報 – モード:読み取り専用、読み書き – 重み付け: 負荷分散  管理属性 – 状態:サーバの状態/役割 State: Primary Mode: Read-Write Host: server-1.example.com server_uuid address status mode weight ------------------------------------------------ ------------------- ----------------- ---------------- ---------- 83f2dd4f-46a1-11e4-94c4-e82aea9348c9 localhost:13007 SECONDARY READ_ONLY 1.0 8426dd92-46a1-11e4-94c4-e82aea9348c9 localhost:13008 PRIMARY READ_WRITE 1.0 Master 書き込み Slave 読み込み 重み付け
  42. 42. Oracle confidential|42 MySQL Replication & MySQL Fabric HA  MySQLのレプリケーションは、HAグループで使用される初期実装です – PRIMARY = レプリケーションのマスターは全ての書き込みを受け取る Failover & how this effects failover 1) Fabricがマスターにおける障害を検知 2) スレーブからマスター候補を選択しマスターに昇格します 3) 変更を更新し状況を保存 4) ファブリック対応のコネクタに状態変化をプッシュ
  43. 43. Oracle confidential|43 MySQL Fabric 基本機能Short Demo Short Demonstration 63300 63301 63302 63303 1) Fabricグループ構成の確認 mysqlfabric group lookup_servers global 2) FabricグループにSlaveの追加 (対応例:参照増加) mysqlfabric group add global 127.0.0.1:63304 mysqlfabric group add global 127.0.0.1:63305 3) 特定のSlaveをマスターに昇格 (対応例:メンテナンス) mysqlfabric group promote global --slave_id=xxx 4) 疑似障害と可用性確認 (対応例:マスター障害) kill <pid>
  44. 44. Oracle confidential|44 MySQL Fabricによる書き込みのスケールアウト
  45. 45. Oracle confidential|45 Sharding with Fabric  書き込みスケーラビリティ より多くの書き込みを処理することが可能  大規模なデータセット 大き過ぎるデータベース/単一サーバーに収まらないデータ  性能改善 小さなインデックスサイズ/ワーキングセットに分割 UID 1-299 UID 300-599 キー範囲分割 UID 600-899 UID 900-1199 UID 1200-1499 ………………Single Master in each HA Group.
  46. 46. Oracle confidential|46 Connector API: Shard Specific Query  Provide tables in query – Property: tables – Fabric will compute map conn.set_property(tables=['employees.employees','employees.titles'],key=emp_no) cur = conn.cursor() cur.execute("INSERT INTO employees VALUES(%s,%s,%s)",(emp_no,first_name,last_name)) cur.execute("INSERT INTO titles(emp_no, title, from_date)" “ VALUES (%s, %s, CURDATE())",(emp_no, 'Intern')); conn.commit()  Provide sharding key – Property: key – Fabric will compute shard ここでは、employeesとtitlesテーブルが対象 Keyは, emp_no
  47. 47. Oracle confidential|47 Connector API: Global Update  Provide tables in query – Property: tables – Fabric will compute map – (Likely to not be needed) conn.set_property(tables=['employees.titles'], scope='GLOBAL') cur = conn.cursor() cur.execute("ALTER TABLE employees.titles ADD nickname VARCHAR(64)")  Set global scope – Property: scope – Query goes to global group 範囲の指定
  48. 48. Oracle confidential|48 Short Demonstration MySQL Fabric 書き込みSharding Short Demo 1) Fabricグループ構成の確認 2) FabricにSharding Groupを追加 (対応例:データ増加による遅延) mysqlfabric group create shard# mysqlfabric group add shard# サーバー mysqlfabric sharding add_table 1 test.employees emp_no mysqlfabric sharding add_shard 1 shard1/1,shard2/300 3) Fabricグループ構成の確認 # shard1 (Server:63304,63305,63306) # shard2 (Server:63307,63308,63309) 300以上 mysqlfabric dump sharding_information mysqlfabric group lookup_servers グループ名 4) 書き込みデータの分散状況確認 1~299 300~
  49. 49. Oracle confidential|49 Provisioning by MySQL Fabric with Nova MySQL Fabricは、OpenStackなどのクラウドフレームワークと連携し、 ベアメタル及び仮想環境においてMySQL導入の自動化をサポートします。 また、柔軟にMySQLを準備しスケールアウトさせる事を可能にします。 新規サーバー利用開始時には、透過的にMySQLとレプリケーションを設定します。 参照負荷増加 参照処理の増加 書き込み処理増加 書き込み増・高負荷 サーバー障害発生時 グループ内サーバー障害発生時 問題: 参照処理の高負荷状態 によるレスポンス遅延 対応: 参照サーバーをコマンド 1つで動的に追加 問題: 書き込みデータ増加による、 全体的な処理遅延の発生 対応: テーブルの書き込みデータを 複数サーバーにシャーディング 問題: サーバー障害による、 サービス停止と機会損失 対応: スレーブサーバーをマスターへ 自動的に昇格
  50. 50. Oracle confidential|50 mysqlfabricコマンド [admin@Fabric01 ~]$ mysqlfabric help provider register provider register provider_id username password url [--tenant=NONE] [--provider_type=OPENSTACK] [--default_image=NONE] [--default_flavor=NONE] [--extra=NONE] [--synchronous] Register a provider. [admin@Fabric01 ~]$ mysqlfabric help server create server create provider_id [--image=NONE] [--flavor=NONE] [--number_machines=1] [--availability_zone=NONE] [--key_name=NONE] [--security_groups=NONE] [--private_network=NONE] [--public_network=NONE] [--userdata=NONE] [--swap=NONE] [--scheduler_hints=NONE] [--meta=NONE] [--datastore=NONE] [--datastore_version=NONE] [--size=NONE] [--databases=NONE] [--users=NONE] [--configuration=NONE] [--security=NONE] [--skip_store] [--wait_spawning] [--synchronous] Create a virtual machine instance: プロバイダー, APIアドレス, ユーザー,パスワード等の登録 登録済みプロバーダーから, イメージ指定したプロビジョニング等 ※ コマンド実行には、OpenStack コマンドラインクライアントのインストールが必要です。
  51. 51. Oracle confidential|51 サーバーとMySQLのプロビジョニング 1. OpenStack Nova APIをCALL - サーバー準備 2. Slaveクローンの作成 3. レプリケーションの自動設定 4. カスタム操作を実行 51 Server Provisioning – NovaとFabricの連携 ------------------------------------------ ※他のフレームワークは対応中(OpenStack Trove, AWS,…) ※ MySQLインストール済みイメージを予め作成し,Nova APIをCall後に, mysqlfabric group add コマンドでサーバー追加する事も可。 ※ Docker等の利用も選択肢の一つ。 > mysqlfabric provider register my_stack mats xyzzy http://example.net:5000/v2.0/ my_project --provider_type=OPENSTACK > mysqlfabric server create my_stack --image name=”Oracle Linux 7 amd64” --flavor name=m1.small --userdata=mysql-oracle-linux-init > mysqlfabric server list my_stack
  52. 52. Oracle confidential|52 MySQL Fabric Resources  Download and try http://dev.mysql.com/downloads/fabric/  Documentation http://dev.mysql.com/doc/mysql-utilities/en/fabric.html  MySQL Fabric on the web http://www-jp.mysql.com/products/enterprise/fabric.html  Forum (MySQL Fabric, Sharding, HA, Utilities) http://forums.mysql.com/list.php?144  Tutorial: MySQL Fabric - adding High Availability and Scaling to MySQL http://www.clusterdb.com/mysql-fabric/mysql-fabric-adding-high-availability-and- scaling-to-mysql  MySQL Fabric-A Guide to Managing MySQL High Availability and Scaling Out http://www.mysql.com/why-mysql/white-papers/mysql-fabric-product-guide  Webinar Replays (HA,Sharding,Java) http://www.mysql.com/news-and-events/on-demand-webinars/#en-20-41  MySQL Fabric – adding Scaling to MySQL http://www.clusterdb.com/mysql-fabric/mysql-fabric-add-scaling-to-mysql 52
  53. 53. Oracle confidential|53 まとめ OpenStackリポジトリーデータベースの可用性構成として、 DRBD + MySQL, MySQL Cluster MySQL Clusterは、OpenStackリポジトリーデータベースの 書き込みデータ増加に対応可能なシャーティングをサポート MySQL Fabricは可用性・シャーディングをサポートし、 OpenStack Novaと連携し、MySQLのAuto Scaleをサポート 1 2 3
  54. 54. Oracle confidential|54 有難うございました
  55. 55. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 参考情報:OracleによるOpenStackのサポート
  56. 56. Oracle confidential|56 OpenStack Foundation Platinum Members (8) Gold Members (19) Corporate Sponsors (63) Supporting Organizations (248) and more … and more … and more … A much wider ecosystem …
  57. 57. Oracle confidential|57 OPENSTACKに拡張された Oracleエンタープライズ・エンジニアリング  MySQL Enterprise Editionとの統合が高スケーラビリティ・安全性・アップ タイムの最大化を実現  エンタープライズ級ストレージの実現を容易にする ZFS Storage Appliance向けCinderプラグインを提供  Oracleとサードパーティ・ハードウェアの両方で動作可能  最高レベルの性能と信頼性を実現するオラクル・エンジニアド・システムが Oracle LinuxとOracle VMを強化 「Oracle OpenStack for Oracle Linux and VM」がOpenStack Cloudの優位性を実現 57
  58. 58. Oracle confidential|58 Oracle OpenStack for Oracle Linux & VM 提供開始 Press Release: 2014 10 08 • Oracle Linux と Oracle VMによるOpenStackクラウド本番環境の構築と管理  高速、信頼性、スケーラブル、安全性  Linux, Windows, Solaris上で本番環境のワークロードを実現 • 無料ダウンロードおよび利用可能 • 「Oracle Linux and Oracle VM Premier Subscription」 「Oracle Premier Support for Systems」が追加費用なしでサポートサービス提供 • OpenStackリリースIcehouseベースで以下を提供 Image service Glance Block Storage service Cinder Identity service Keystone Object Storage service Swift Network service Neutron OpenStack Dashboard Horizon Compute service Nova 58
  59. 59. Oracle confidential|59 OracleがOpenStackクラウドの全パーツをサポート可能 Control nodeCompute node 1Compute node n VM VM VM VM VM VM Repository 59 Oracle Linux関連情報 http://www.oracle.com/jp/technologies/linux/overview/
  60. 60. Oracle confidential|60 MySQL Enterprise Editionを利用した場合 開発 • MySQL Workbench - スキーマデザイン • コンサルティングサポート ‐ 開発段階における MySQL構成のアドバイス 導入 • MySQL Enterprise Monitor (POC) - 負荷試験 • MySQL Workbench - DB移行 運用 • MySQL Enterprise Monitor - パフォーマンス管理 - Monitor/Alert • Enterprise Backup - 可用性の向上 • サポート 24x365対応、無制限 開発段階における、データベースデザインツールとドキュメント保存及び納品。 導入段階における、パフォーマンスの確認と可視化による、アプリケーション構成の最適化と確認。 運用段階における、サービスレベルの安定化と機会損失削減をサポート。
  61. 61. Oracle confidential|61 開発フェーズ DBドキュメント出力,データモデルの検証 Design • Workbench Review • コンサルティングサポート Out Put • ドキュメント作成 (納品物) • リモート・トラブル・シューティング • レプリケーション・レビュー • パーティショニング・レビュー • スキーマ・レビュー • クエリー・レビュー • パフォーマンス・チューニング • ...and more
  62. 62. Oracle confidential|62 導入フェーズ Enterprise Query Analyzer DB Migration Tool Best Practice Advisors Design • 最終レビュー Review • POC (本番若しくは、本番同等環境) Out Put • 導入&リリース • 負荷試験 (Benchmark) • 冗長化試験 (Replication, Cluster,その他) • Slow Log確認 • パフォーマンス確認(Enterprise Monitor) • DB設定確認(Advisor) ...and more
  63. 63. Oracle confidential|63 運用フェーズ 計画改善 実行評価 MySQL Enterprise Monitor - Monitoring Dashboard - Enterprise Query Analyzer - Enterprise Replication - Best Practice Advisors - Backup Monitoring MySQL Enterprise Backup 80x Backup to S3 コンサルティングサポート MySQL Utilities
  64. 64. Oracle confidential|64 その他、運用サポート MySQL Enterprise Security LDAPやWindows Active Directoryとの外部認証と統合管理 MySQL Enterprise Audit ユーザ処理の監査、Oracle DBと同じツールで管理可能 MySQL Enterprise Encryption 非対称暗号化(公開鍵暗号)の業界標準機能を提供 24x7x365 インシデント対応無制限, コンサルティングサポート, 様々なオプションとツールが利用可能に 問題 相談 時間構成 障害 回答・サポート
  65. 65. Oracle confidential|65 DevOps Agility • スケールと管理の自動化 • 柔軟で高速なバックアップ TCO • ダウンタイム(機会損失)回避 • 生産性の向上 • ROIの最適化をサポート Performance • パフォーマンスと拡張性 • モニタリング・チューニング Customer Satisfaction • MySQL導入の最適化 • サービスパフォーマンス • サービス可用性 Risks • セキュリティ,コンプライアンス • MySQLチームからのサポート Peace of Mind • 保険としての保守 • 必要な時に迅速なサポート • ビジネス・クリティカルな環境において、最高レベルのMySQLスケーラビリティ、セキュリティ、信頼性、 アップタイムを 実現し、ビジネス・クリティカルな環境においてリスクとコストを削減 MySQL Enterprise Edition効果
  66. 66. Oracle confidential|66 Get Started Today! MySQL Enterprise Edition Trial Contact a MySQL Sales Rep http://edelivery.oracle.com/ [MySQL お問い合わせ窓口] 電話: 0120-065556 【受付時間】 平日 9:00-12:00/13:00-18:00 (祝日及び年末年始休業日を除きます) メール:MySQL-Sales_jp_grp@oracle.com URL: http://www.mysql.com/about/contact/ Oracle Software Delivery Cloud 30日間トライアル 製品パックを選択:“MySQL Database” 製品マニュアル: http://dev.mysql.com/doc/index-enterprise.html 事例紹介:http://www.mysql.com/why-mysql/case-studies/#ja-5-0 MySQL Editions詳細 http://www-jp.mysql.com/products/
  67. 67. Oracle confidential|67 MySQL関連情報 ■ MySQL Cluster 7.4.3 RCリリース [2015-01-22] http://dev.mysql.com/downloads/cluster/7.4.html ■ MySQL 5.7.5 DMRリリース [2014-09-25] A character-based ngram full-text parser that supports Chinese, Japanese, and Korean (CJK), and a word-based MeCab parser plugin that supports Japanese were introduced in MySQL 5.7.6, for use with InnoDB tables. http://dev.mysql.com/doc/refman/5.7/en/full-text-plugins.html ■ MySQL for Oracle DBA(Webinar) http://www.mysql.com/products/enterprise/em.html ■ Oracle‘s MySQL image Coming Soon on Docker Hub Registry [2015/2] https://blogs.oracle.com/MySQL/entry/oracle_s_mysql_image_coming

×