© 2023 NTT DATA Group Corporation
詳説探究!
Cloud Native Databaseの
現在地点
(CloudNative Days Tokyo 2023)
2023/12/11
株式会社NTTデータグループ
小林 隆浩
© 2023 NTT DATA Group Corporation 3
「Cloud Native Storageが拓く DB on K8sの未来」
⚫ CNDT2019でのセッション。
⚫ 正直、ちょっと早すぎたかも知れない。
⚫ しかし、当時考えていた
+ = ∞
は、実現しつつある。
© 2023 NTT DATA Group Corporation 4
4年の変化 - クラウドの更なる隆盛 -
⚫ 体感的にもオンプレミスは減少、クラウド
への移行ケースを多々見る状況。
⚫ DBaaS側の制約(バージョンやメンテナ
ンス時間など)が緩和されてきた。
⚫ この流れは今後も続いていくと思われる。
© 2023 NTT DATA Group Corporation 5
ストレージ
プライマリ リードレプリカ
シャードグループ
• Auroraをベースにクラスター内に
シャードグループを追加。
• 従来のシングルWriterを超えて、
書込みも水平スケールが可能。
• Auroraの最大128TBという制限も
超えて構成が可能な模様。
データアクセス
シャード①
データアクセス
シャード②
データアクセス
シャード③
トランザクションルータ
2023年のデータベースのトレンド - Managed Sharding -
⚫ Aurora Limitless Databaseが登場 ※2023/12時点でプレビュー
© 2023 NTT DATA Group Corporation 6
各クラウドのDBaaSの展開状況
プライマリ スタンバイ
レプリケーション
プライマリ リードレプリカ
RDSタイプ マルチライター/ハイパースケール
トランザクションルータ
(コーディネータ)
...
シャード
分散ストレージ 分散ストレージ
Auroraタイプ
⚫ 主要クラウドが、ハイパースケールなデータベースまでフルラインアップ。
© 2023 NTT DATA Group Corporation 7
“クラウドネイティブ”なデータベースは実現したのか?
⚫ これまでのポイントはアジリティ/高い可用性/水平スケーラビリティ
⚫ 小さな単位で非機能要件を選択できる反面、上昇する管理負荷を抑える必要がある。
【モノリシックなシステム構成】 【クラウドネイティブなシステム構成】
共有DB
アプリケーション マイクロサービス化されたアプリケーション
分割されたDB
(論理/物理)
© 2023 NTT DATA Group Corporation 8
クラウドネイティブではなく、”特定クラウド”・ネイティブになっていませんか?
⚫ 3年前はこんな感じ。
⚫ ↑は継続性の視点だが、ビジネス拡大の視点も重要。
⚫ 開発したサービスはどのクラウドにリリースする?
⚫ AWSだけ?Google Cloudも?Azureは?
⚫ SaaSなどでは収益に関わる大きな選択に。
© 2023 NTT DATA Group Corporation 9
⚫ サービスのポータビリティを決めるのは、DBaaSの選択次第(かも知れない)
マルチクラウドに展開する能力=ポータビリティ
自社DC
①シングルクラウド ②ハイブリッドクラウド
サービス
③(狭義の)マルチクラウド ④クロスクラウド
© 2023 NTT DATA Group Corporation 10
クラウドベンダーによるDBaaSの問題点
⚫ 同じDBMSでも、最適化の結果、サービス間の差異は大きくなる。
【A社のDBaaS】
ラック/電源
ハードウェア
OS
バックアップ/HA/スケール
DBMS
アプリケーション
Kubernetes (オーケストレータ)
VM/コンテナ
• Devは、同じDBならOK
• Opsから見ると、
- 作りこんだIaC
- モニタリング
- チューニング
など、クラウド毎に機能が異なる。
• IaaSレイヤの最適化の結果、
ポータビリティが一部失われる。
【G社のDBaaS】
ラック/電源
ハードウェア
OS
バックアップ/HA/スケール
DBMS
アプリケーション
Kubernetes (オーケストレータ)
VM/コンテナ
© 2023 NTT DATA Group Corporation 11
(参考)RDSのOptimized ReadsとDedicated Log Volumes
⚫ IaaSレベルからPostgreSQL用の最適化を施している。
⚫ どちらもチューニングでは一般的な「IOの分離」、他クラウドも同様の最適化を行っている。
NVMe SSD
(ローカルディスク)
RDSインスタンス EBSボリューム
通常テーブルを配置
(機能非利用時は一時領域もWALもここ)
WALを出力
ソートなどの
一時領域
Optimized Reads Dedicated Log Volumes
© 2023 NTT DATA Group Corporation 12
【X社のDBaaS @AWS】
データベースでもポータビリティを高める工夫とは
⚫ クラウド間の差異を吸収可能なDBaaSの選択も視野に入れる。
ラック/電源
ハードウェア
OS
アプリケーション
Kubernetes (オーケストレータ)
VM/コンテナ
ラック/電源
ハードウェア
OS
アプリケーション • その他ベンダーは物理レイヤに
手が届きづらい。
• on Kubernetesで開発された
DBaaSでは、クラウド間の
ポータビリティが確保される。
• これはベンダーのサービス開発
効率だけでなく、 Opsの効率も
向上させる。
【X社のDBaaS @GoogleCloud】
ラック/電源
ハードウェア
アプリケーション
Kubernetes (オーケストレータ)
VM/コンテナ
OS
OS
バックアップ/HA/スケール
DBMS
バックアップ/HA/スケール
DBMS
© 2023 NTT DATA Group Corporation 13
いつの間にか、DB on Kubernetesを使っているかも?
⚫ DBベンダーが近年提供するDBaaSは ”Kubernetes Inside”
DBaaS 提供 DBMS K8s
対応クラウド
AWS Google Azure
BigAnimal EDB PG 利用 〇 〇 〇
Tembo Cloud Tembo PG (利用) 〇 - -
Neon Neon PG互換 (利用) - - -
YugabyteDB Managed Yugabyte PG互換 利用 〇 〇 〇
TiDB Cloud PingCAP MySQL互換 利用 〇 〇 -
….
© 2023 NTT DATA Group Corporation 14
EDB Big Animal
⚫ EDBが提供するPostgreSQL as a Service
⚫ PostgreSQLとEDB Postgres Advanced Server(EPAS)を選択可能
⚫ EPASではEDB Postgres Distributedを利用し、高い可用性/メンテナンス性を実現
https://www.enterprisedb.com/blog/what-database-service-dbaas-tutorial-how-use-managed-database-service-postgresql
Kubernetes、そして
PostgreSQL Operatorを
利用して、各クラウドに
サービスを展開
© 2023 NTT DATA Group Corporation 15
OSSでもポータビリティ重視のDBaaSを構築可能に
⚫ 一例として、プライベートDBaaSを標榜するPercona Everest
⚫ Kubernetesを前提に、マルチクラウドなDBaaSの構築と運用を支援するツール群となっている。
Percona Everest
AWS Google Cloud オンプレミス
KubernetesにOperatorを
インストール。
構成管理・監視等の
ツールを提供する。
© 2023 NTT DATA Group Corporation 16
• 大きな課題はKaaSが存在しなかったこと。
• PGaaSだけでなく、IaaSにKubernetesを
構築・管理する仕組みが必要に。
(メンバーは のプロフェッショナル)
NTTデータもPGaaSに取り組む
PGaaS(仮)
プライベートクラウドA プライベートクラウドB
PGO
OpenEBS
Prometheus…
⚫ グループ内のプライベートクラウドに展開するためのPGaaSを開発中。
⚫ PGO(PostgreSQL Operator)などを利用し、ポータブルなプライベートDBaaSを提供予定。
© 2023 NTT DATA Group Corporation 17
Workload Cluster
(Standby Region)
DB on KubernetesとMulti-Cluster Orchestrator @KubeCon
⚫ データベース+Elotl NovaやKarmadaのセッションが参考になる。
YBDB
Multi-Cluster
Orchestrator
Workload Cluster
(Region-A)
Nova
Agnet
Workload Cluster
(Region-B)
Workload Cluster
(Region-C)
Monitoring
YBDB
Nova
Agnet
YBDB
Nova
Agnet
YBDB
Nova
Agnet
【Elotl Novaの利用イメージ】
障害を検知すると、
別クラスターにワークロードを
デプロイし、Istioで経路を切り替え。
© 2023 NTT DATA Group Corporation 18
(参考)クロスクラウドは今後どうなっていくのか
https://atmarkit.itmedia.co.jp/ait/articles/2311/20/news081.html
SQL Server
Azure Google Cloud
SQL Server
Google Cloud Cross-Cloud Network
同期更新
⚫ 金融でクロスクラウドに挑戦する事例もある。
© 2023 NTT DATA Group Corporation 19
高速インターコネクトがあれば、マルチクラウドDBaaSは可能?
⚫ Google Cloudでもパーツは揃いつつある。
⚫ どのクラウドでも稼働するAlloyDB Omniと、高速接続のCross-Cloud InterConnect
AlloyDB
Google Cloud
AlloyDB Omni
AWS
Cross-Cloud InterConnect
現状でAlloyDB Omniの
Kubernetes Operatorは
GAではないが、登場すれば
こうした構成も実現の可能
性がある。
© 2023 NTT DATA Group Corporation 20
まとめ
2
© 2023 NTT DATA Group Corporation 21
あなたのデータベースはクラウドネイティブですか?
⚫ クラウドベンダーのDBaaSは2023年、更に強化された。
⚫ その他DBaaSも百花繚乱、新しく登場したものはKubernetes Inside
⚫ マルチクラウドなビジネス拡大を考えると、DBaaSにもDevOps両面の
ポータビリティが求められる時代になる。
今後は、データベースを選ぶ際に、
「マルチクラウドにおけるポータビリティ」
という観点も加えよう。
詳説探究!Cloud Native Databaseの現在地点(CloudNative Days Tokyo 2023 発表資料)

詳説探究!Cloud Native Databaseの現在地点(CloudNative Days Tokyo 2023 発表資料)

  • 1.
    © 2023 NTTDATA Group Corporation 詳説探究! Cloud Native Databaseの 現在地点 (CloudNative Days Tokyo 2023) 2023/12/11 株式会社NTTデータグループ 小林 隆浩
  • 2.
    © 2023 NTTDATA Group Corporation 3 「Cloud Native Storageが拓く DB on K8sの未来」 ⚫ CNDT2019でのセッション。 ⚫ 正直、ちょっと早すぎたかも知れない。 ⚫ しかし、当時考えていた + = ∞ は、実現しつつある。
  • 3.
    © 2023 NTTDATA Group Corporation 4 4年の変化 - クラウドの更なる隆盛 - ⚫ 体感的にもオンプレミスは減少、クラウド への移行ケースを多々見る状況。 ⚫ DBaaS側の制約(バージョンやメンテナ ンス時間など)が緩和されてきた。 ⚫ この流れは今後も続いていくと思われる。
  • 4.
    © 2023 NTTDATA Group Corporation 5 ストレージ プライマリ リードレプリカ シャードグループ • Auroraをベースにクラスター内に シャードグループを追加。 • 従来のシングルWriterを超えて、 書込みも水平スケールが可能。 • Auroraの最大128TBという制限も 超えて構成が可能な模様。 データアクセス シャード① データアクセス シャード② データアクセス シャード③ トランザクションルータ 2023年のデータベースのトレンド - Managed Sharding - ⚫ Aurora Limitless Databaseが登場 ※2023/12時点でプレビュー
  • 5.
    © 2023 NTTDATA Group Corporation 6 各クラウドのDBaaSの展開状況 プライマリ スタンバイ レプリケーション プライマリ リードレプリカ RDSタイプ マルチライター/ハイパースケール トランザクションルータ (コーディネータ) ... シャード 分散ストレージ 分散ストレージ Auroraタイプ ⚫ 主要クラウドが、ハイパースケールなデータベースまでフルラインアップ。
  • 6.
    © 2023 NTTDATA Group Corporation 7 “クラウドネイティブ”なデータベースは実現したのか? ⚫ これまでのポイントはアジリティ/高い可用性/水平スケーラビリティ ⚫ 小さな単位で非機能要件を選択できる反面、上昇する管理負荷を抑える必要がある。 【モノリシックなシステム構成】 【クラウドネイティブなシステム構成】 共有DB アプリケーション マイクロサービス化されたアプリケーション 分割されたDB (論理/物理)
  • 7.
    © 2023 NTTDATA Group Corporation 8 クラウドネイティブではなく、”特定クラウド”・ネイティブになっていませんか? ⚫ 3年前はこんな感じ。 ⚫ ↑は継続性の視点だが、ビジネス拡大の視点も重要。 ⚫ 開発したサービスはどのクラウドにリリースする? ⚫ AWSだけ?Google Cloudも?Azureは? ⚫ SaaSなどでは収益に関わる大きな選択に。
  • 8.
    © 2023 NTTDATA Group Corporation 9 ⚫ サービスのポータビリティを決めるのは、DBaaSの選択次第(かも知れない) マルチクラウドに展開する能力=ポータビリティ 自社DC ①シングルクラウド ②ハイブリッドクラウド サービス ③(狭義の)マルチクラウド ④クロスクラウド
  • 9.
    © 2023 NTTDATA Group Corporation 10 クラウドベンダーによるDBaaSの問題点 ⚫ 同じDBMSでも、最適化の結果、サービス間の差異は大きくなる。 【A社のDBaaS】 ラック/電源 ハードウェア OS バックアップ/HA/スケール DBMS アプリケーション Kubernetes (オーケストレータ) VM/コンテナ • Devは、同じDBならOK • Opsから見ると、 - 作りこんだIaC - モニタリング - チューニング など、クラウド毎に機能が異なる。 • IaaSレイヤの最適化の結果、 ポータビリティが一部失われる。 【G社のDBaaS】 ラック/電源 ハードウェア OS バックアップ/HA/スケール DBMS アプリケーション Kubernetes (オーケストレータ) VM/コンテナ
  • 10.
    © 2023 NTTDATA Group Corporation 11 (参考)RDSのOptimized ReadsとDedicated Log Volumes ⚫ IaaSレベルからPostgreSQL用の最適化を施している。 ⚫ どちらもチューニングでは一般的な「IOの分離」、他クラウドも同様の最適化を行っている。 NVMe SSD (ローカルディスク) RDSインスタンス EBSボリューム 通常テーブルを配置 (機能非利用時は一時領域もWALもここ) WALを出力 ソートなどの 一時領域 Optimized Reads Dedicated Log Volumes
  • 11.
    © 2023 NTTDATA Group Corporation 12 【X社のDBaaS @AWS】 データベースでもポータビリティを高める工夫とは ⚫ クラウド間の差異を吸収可能なDBaaSの選択も視野に入れる。 ラック/電源 ハードウェア OS アプリケーション Kubernetes (オーケストレータ) VM/コンテナ ラック/電源 ハードウェア OS アプリケーション • その他ベンダーは物理レイヤに 手が届きづらい。 • on Kubernetesで開発された DBaaSでは、クラウド間の ポータビリティが確保される。 • これはベンダーのサービス開発 効率だけでなく、 Opsの効率も 向上させる。 【X社のDBaaS @GoogleCloud】 ラック/電源 ハードウェア アプリケーション Kubernetes (オーケストレータ) VM/コンテナ OS OS バックアップ/HA/スケール DBMS バックアップ/HA/スケール DBMS
  • 12.
    © 2023 NTTDATA Group Corporation 13 いつの間にか、DB on Kubernetesを使っているかも? ⚫ DBベンダーが近年提供するDBaaSは ”Kubernetes Inside” DBaaS 提供 DBMS K8s 対応クラウド AWS Google Azure BigAnimal EDB PG 利用 〇 〇 〇 Tembo Cloud Tembo PG (利用) 〇 - - Neon Neon PG互換 (利用) - - - YugabyteDB Managed Yugabyte PG互換 利用 〇 〇 〇 TiDB Cloud PingCAP MySQL互換 利用 〇 〇 - ….
  • 13.
    © 2023 NTTDATA Group Corporation 14 EDB Big Animal ⚫ EDBが提供するPostgreSQL as a Service ⚫ PostgreSQLとEDB Postgres Advanced Server(EPAS)を選択可能 ⚫ EPASではEDB Postgres Distributedを利用し、高い可用性/メンテナンス性を実現 https://www.enterprisedb.com/blog/what-database-service-dbaas-tutorial-how-use-managed-database-service-postgresql Kubernetes、そして PostgreSQL Operatorを 利用して、各クラウドに サービスを展開
  • 14.
    © 2023 NTTDATA Group Corporation 15 OSSでもポータビリティ重視のDBaaSを構築可能に ⚫ 一例として、プライベートDBaaSを標榜するPercona Everest ⚫ Kubernetesを前提に、マルチクラウドなDBaaSの構築と運用を支援するツール群となっている。 Percona Everest AWS Google Cloud オンプレミス KubernetesにOperatorを インストール。 構成管理・監視等の ツールを提供する。
  • 15.
    © 2023 NTTDATA Group Corporation 16 • 大きな課題はKaaSが存在しなかったこと。 • PGaaSだけでなく、IaaSにKubernetesを 構築・管理する仕組みが必要に。 (メンバーは のプロフェッショナル) NTTデータもPGaaSに取り組む PGaaS(仮) プライベートクラウドA プライベートクラウドB PGO OpenEBS Prometheus… ⚫ グループ内のプライベートクラウドに展開するためのPGaaSを開発中。 ⚫ PGO(PostgreSQL Operator)などを利用し、ポータブルなプライベートDBaaSを提供予定。
  • 16.
    © 2023 NTTDATA Group Corporation 17 Workload Cluster (Standby Region) DB on KubernetesとMulti-Cluster Orchestrator @KubeCon ⚫ データベース+Elotl NovaやKarmadaのセッションが参考になる。 YBDB Multi-Cluster Orchestrator Workload Cluster (Region-A) Nova Agnet Workload Cluster (Region-B) Workload Cluster (Region-C) Monitoring YBDB Nova Agnet YBDB Nova Agnet YBDB Nova Agnet 【Elotl Novaの利用イメージ】 障害を検知すると、 別クラスターにワークロードを デプロイし、Istioで経路を切り替え。
  • 17.
    © 2023 NTTDATA Group Corporation 18 (参考)クロスクラウドは今後どうなっていくのか https://atmarkit.itmedia.co.jp/ait/articles/2311/20/news081.html SQL Server Azure Google Cloud SQL Server Google Cloud Cross-Cloud Network 同期更新 ⚫ 金融でクロスクラウドに挑戦する事例もある。
  • 18.
    © 2023 NTTDATA Group Corporation 19 高速インターコネクトがあれば、マルチクラウドDBaaSは可能? ⚫ Google Cloudでもパーツは揃いつつある。 ⚫ どのクラウドでも稼働するAlloyDB Omniと、高速接続のCross-Cloud InterConnect AlloyDB Google Cloud AlloyDB Omni AWS Cross-Cloud InterConnect 現状でAlloyDB Omniの Kubernetes Operatorは GAではないが、登場すれば こうした構成も実現の可能 性がある。
  • 19.
    © 2023 NTTDATA Group Corporation 20 まとめ 2
  • 20.
    © 2023 NTTDATA Group Corporation 21 あなたのデータベースはクラウドネイティブですか? ⚫ クラウドベンダーのDBaaSは2023年、更に強化された。 ⚫ その他DBaaSも百花繚乱、新しく登場したものはKubernetes Inside ⚫ マルチクラウドなビジネス拡大を考えると、DBaaSにもDevOps両面の ポータビリティが求められる時代になる。 今後は、データベースを選ぶ際に、 「マルチクラウドにおけるポータビリティ」 という観点も加えよう。