Recommended
Recommended
More Related Content
Similar to 20231111_YugabyteDB-on-k8s.pdf
Similar to 20231111_YugabyteDB-on-k8s.pdf (20)
More from Masaki Yamakawa
More from Masaki Yamakawa (12)
Recently uploaded
Recently uploaded (9)
20231111_YugabyteDB-on-k8s.pdf
- 1. YugabyteDB on k8s JJUG CCC 2023 Fall 2023/11/11(Sat) 0
- 2. 自己紹介 山河 征紀 ウルシステムズ株式会社 ITコンサルタント 分野 ： 金融系（証券・FX） 技術系なら何でも 得技 ：インメモリー処理 分散処理 その他：Apache Geodeコミッター 1
- 9. データベース技術はCloud Native…？ 8 ✓ DB構築に時間がかかる ✓ パッチ適用のためにデータベースの停止が必要 DB構築・運用 ✓ 書き込みはNoSQL、読み込みは非同期連携したRDBへ ✓ スケーラビリティのためにアプリ側でデータを分割・分散 性能対策 障害対策 アプリ・DB設計 ✓ リードレプリカは、レプリカラグがあるため考慮が必要 ✓ 最大でサイジングするため、ほとんどの時間はリソース使 用料がスカスカ ✓ 障害時の設計が複雑、実際に上手くいくかは分からない
- 11. 2. YugabyteDB 10
- 12. YugabyteDBとは？ 11 ◼RDBとNoSQLの双方の特性を併せもつ分散データベース RDB NoSQL YugabyteDB SQL ○ × ○ ACIDトランザクション ○ × ○ 可用性 × ○ ○ スケーラビリティ × ○ ○ データベース比較 SQL ACIDトランザクション RDB 可用性 スケーラビリティ トレードオフを排除 NoSQL a a 分散データベース
- 15. Cloud Native Database 14 ◼YugabyteDBならCloud Nativeに対応できる ✓スケーラブルであること ✓障害が発生しても自動で復旧できること ✓クラウドのような柔軟性の高い環境で動作すること ✓管理および可観測性があること
- 17. YugabyteDBアーキテクチャー 16 ◼2つのレイヤーでそれぞれの長所を活かすアーキテクチャー https://docs.yugabyte.com/preview/architecture/layered-architecture/ ストレージレイヤー ⚫ スケーラビリティや高可用性を実現 ⚫ RocksDBの一貫性を強化 クエリーレイヤー ⚫ クエリーを処理 ⚫ PostgreSQLのAPIをそのまま使えるよう にすることで大幅なアプリの変更は不要
- 18. スケールするPostgreSQLはどのように実現されているのか？ 17 ◼クエリーレイヤーはPostgreSQLそのものを再利用してい るので高い互換性がある PostgreSQL クエリーレイヤーは PostgreSQLモジュールを拡張 DocDB DocDB DocDB Postmaster Rewriter Executor Planner Optimizer SQL Client 拡張 拡張 拡張 PostgreSQL WAL Writer … BC Writer Postmaster Rewriter Executor Planner Optimizer Disk SQL Client PostgreSQLアーキテクチャー YugabyteDBアーキテクチャー ストレージレイヤーは DocDBに置換
- 19. YugabyteDBの使い方いろいろ 18 ◼簡単に始めるならマネージドサービスがおすすめ セルフホストDBaaS マネージドDBaaS Open Source YugabyteDB YugabyteDB Anywhere YugabyteDB Managed https://cloud.yugabyte.com 以下を指定するだけで数分でYugabyteDB構築が完了 • YugabyteDBのバージョン • 対象のクラウドサービスとリージョン（AWS、Azure、GCP） • クラスター構成（ノード数、スペック） ※マーケットプレイスからの購入も可能
- 21. YugabyteDB JDBC Smart driver 20 ◼クライアントサイドロードバランシングができるSmart Driverがおすすめ ⚫ クライアント側で接続先を意識しなくて良い ⚫ 複数の接続先を理解してクライアント側で負荷分散できる ⚫ 接続先がダウンした場合でも生きているノードへ接続する driver: com.yugabyte.Driver url: jdbc:yugabytedb://yb-tserver-1:5433/yugabyte 複数指定することも可能 yb-tserver-1:5433,yb-tserver-2:5433
- 22. Spring Data YugabyteDB 21 ◼Spring Data JPAのYugabyteDB版 ⚫ YugabyteDB 分散SQLトランザクションマネージャー対応 ⚫ フォロワーリードのサポート ⚫ YugabyteDBクラスター認識 ⚫ 地理的パーティショニング時のトポロジー認識 ⚫ 行レベルの地理的パーティション認識
- 23. 3. YugabyteDB on k8s 22
- 24. なぜk8sを使うのか？ 23 ◼Cloud Nativeはこれからのビジネスに必須 Building Cloud Native Applications on Kubernetes アジリティ スケーラビリティ 容易な変更 自動化 高可用性 リソース最適化
- 25. ◼現在はアプリとDBが分離されて考えられており、システム 全体で考えた場合にDBが足を引っ張っている アプリとDBの分離の弊害 24 APP#1 APP#2 APP#3 アプリケーションレイヤー データベースレイヤー スケーラビリティ 可用性 ポータビリティ ◎ スケールアウト/アップ可能 ◎ マルチAZ/マルチリージョン/ マルチクラウド ◎ Any △ スケールアップのみ、ダウンライムあり △ マルチAZ/マルチリージョン、 フェイルオーバー時間が長い × マネージドDBの場合難しい
- 27. YugabyteDB on k8s構築方法 26 ◼Helm chartがあるのでインストールは簡単 # Chartリポジトリ追加 helm repo add yugabytedb https://charts.yugabyte.com helm repo update # YugabyteDBインストール helm install yb-cluster yugabytedb/yugabyte --version 2.19.3 --wait
- 28. 3. YugabyteDB on k8s メリット 27
- 30. ①k8s上への構築が容易 29 ◼k8sによりインフラレイヤーの実行環境は意識しなくて良い 何れのk8s環境でも先述のHelm chartでインストール可能 StorageClassとL/Bの部分はクラウドベンダー固有のサービスと連携するためオーバーライド 個々人の開発環境 クラウドの乗り換えが容易 （ポータビリティが高い） マルチクラウド対応も可能 テスト環境/本番環境 テスト/本番環境 移行 各種k8s環境構築方法 helm install yb-cluster yugabytedb/yugabyte --version 2.19.3 --wait
- 35. ②障害に強い、自動復旧もできる 34 ◼データ冗長化（レプリケーション）の仕組み ⚫ tabletと呼ばれるシャーディングの単位でレプリケーション id … … 1 2 3 4 … … tablet3 tablet2 tablet1 テーブル tablet
- 36. ②障害に強い、自動復旧もできる 35 ◼データ冗長化（レプリケーション）の仕組み ⚫ YB-Tserverは1つ以上のtabletを持ち、tablet間はRaftコンセン サスによりレプリケーションが行われる ⚫ 設定されたコピー数（Replication Factor）分、各ノードにコ ピーされる 各タブレットの中でリーダーが選ばれる リーダーはnodeやzoneなどを意識して自動的に分散 Node#1 Node#2 Node#3 tablet2 leader tablet1 leader tablet1 follower tablet1 follower tablet2 follower tablet2 follower レプリケーション レプリケーション レプリケーション レプリケーション
- 38. ③アップデート時も無停止で対応 37 ◼アップデートもHelmコマンドで簡単に実行 Chart v1 Pod Pod Pod V1 Chart v1 Pod Pod Pod V1 Chart v2 V2 Chart v2 Pod Pod Pod V2 # YugabyteDBローリングアップデート helm upgrade yb-cluster yugabytedb/yugabyte --set Image.tag=2.20.0 --wait YB-TserverとYB-MasterのPodを 段階的にv1→v2に変更
- 40. ④スケールが容易、スモールスタートが可能 39 ◼k8sのスケーリングの機能を使うことで、オンライン中に無 停止でスケールできる ⚫ k8s上にアプリとDBを乗せることで、スケーラビリティの設計 が柔軟に Pod Pod Pod Podの数を増加 （スケールアウト） Podのリソース使用量を増加 （スケールアップ） HPA （Horizonal Pod Autoscaler） VPA （Vertical Pod Autoscaler）
- 41. ④スケールが容易、スモールスタートが可能 40 ◼Podの増減に伴うデータ（tablet）のリバランスは自動で行 われる ◼リバランスのチューニングも出来る ⚫ Range Shardingよりtabletへの分散が見込めるHash Sharding を採用 ⚫ リバランス時の転送レート ⚫ ユーザー定義データ配置ポリシー Node#1 table1 tablet 1 tablet 2 tablet 3 Node#1 table1 tablet 1 tablet 3 Node#2 table1 tablet 2 スケールアウト
- 42. ⑤負荷に応じた自動サイジングによるコスト最適化 41 ◼K8sのオートスケーリングを使用することで結果的に無駄 なコストがなくなる ⚫ HPA、VPA、Cluster Autoscaler ⚫ APPと同じk8s上にのることでリソースを有効活用 ⚫ マネージドデータベース利用時のサイジングは高額になりがち APP APP APP APP APP APP APP
- 44. 3. YugabyteDB on k8s おまけ 43
- 46. デプロイパターン 45 ◼要件に応じて性能と可用性/一貫性のバランスをとる必要が ある ● 読み取りメインのレプリカをデプロ イし、低レイテンシーを実現 ● 更新系処理はマスタにアクセス ● プライマリのデータをそのまま複製 ● Placementと呼ばれる物理的な地 域のグループを作成 ● Placementグループでデータ共有 ● クラスタは一つ ● クラスタ間でテーブルを共有 ● レプリケーションは非同期 ● 単方向もしくは双方向 ● リージョンやクラウドを 跨いだクラスタ構成 ● 強い一貫性を保つ ● リージョン間レイテンシー が発生 東京 大阪 ストレッチクラスター （同期） xClusterレプリケーション （レプリカへは非同期） Geoパーティション （同期） リードレプリカ （非同期）
- 48. 4. まとめ 47
- 49. まとめ 48 ビジネスにアジリティを持たせるためにはCloud Native 化が必須 Cloud Native実現のためにk8sが活用されている YugabyteDBはCloud Native DatabaseでRDBと NoSQLの特性をあわせもつ新しいデータベース 真のCloud Nativeを実現するにはk8s上でYugabyteDB を動かすと良い