Azure Cosmos DB のキホンと使いドコロ
•
20 likes•11,249 views
2018年6月6日に日本マイクロソフト株式会社主催で実施されたウェビナー"クラウドネイティブなアプリケーションを実現する「Azure Cosmos DB」のキホンと使いドコロ"で発表した資料です。
More Related Content
What's hot
What's hot (20)
Similar to Azure Cosmos DB のキホンと使いドコロ
Similar to Azure Cosmos DB のキホンと使いドコロ (20)
More from Kazuyuki Miyake
Recently uploaded
Recently uploaded (16)
Azure Cosmos DB のキホンと使いドコロ
- 1. クラウドネイティブなアプリケーションを実現する 「Azure Cosmos DB」の キホンと使いドコロ 三宅 和之（Kazuyuki Miyake） Microsoft MVP
- 7. SQL MongoDB Table API Turnkey global distribution Elastic scale out of storage & throughput Guaranteed low latency at the 99th percentile Comprehensive SLAs Five well-defined consistency models Azure Cosmos DB DocumentColumn-family Key-value Graph A globally distributed, massively scalable, multi-model database service 出典 https://channel9.msdn.com/Events/Build/2018/BRK3319
- 8. ﹣ ﹣ ﹣ 参考: A technical overview of Azure Cosmos DB https://azure.microsoft.com/en-us/blog/a-technical-overview-of-azure-cosmos-db/
- 9. System Topology Resource Manager Language Runtime(s) Hosts Query Processor RSM Index Manager Bw-tree++/ LLAMA++ Log Manager IO Manager Resource Governor Transport Database engine Admission control … … Planet Earth Azure regions Datacenters Stamps Fault domains Cluster Machine Replica Database engine Container Various agents 出典 https://channel9.msdn.com/Events/Build/2018/BRK3319
- 12. Azure Cosmos DB ﹣ Document型 Graph型 Column Family型 • SQL API (旧DocumentDB API) • MongoDB API • Gremlin API• Table API Key-Value型 • Apache Cassandra API（プレビュー）
- 13. RDBスキーマ NoSQLドキュメント • 関連データの埋め込み • 非正規化
- 14. ﹣ ﹣ ﹣ ﹣
- 16. ﹣ ﹣ ﹣ ﹣
- 18. 西日本 東日本 書き込みリージョン （プライマリ） 読み取りリージョン （セカンダリ） Azure Cosmos DB App Service 1 App Service 2 Azure Traffic Manager Readは近くの読み取りリージョンから Readは近くの読み取りリージョンから Writeは 書き込みリージョンへ グローバル分散 レプリケーション
- 20. ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ https://www.documentdb.com/capacityplanner 参考: Azure Cosmos DB の要求ユニット https://docs.microsoft.com/ja-jp/azure/cosmos-db/request-units % IOPS% CPU% Memory
- 21. 参考: Azure Cosmos DB での予約されたスループット上限の超過 https://docs.microsoft.com/ja-jp/azure/cosmos-db/request-units#RequestRateTooLarge
- 27. ﹣ ﹣ ﹣
- 28. ﹣ CRUDパターン
- 29. CQRSパターン
- 30. Azure Cosmos DB Azure Database for MySQL Web App Azure Functions Change Feed ク ラ イ ア ン ト コマンド クエリ Write Read Publish 書き込みデータストア 他システムなど 読み取りデータストア
- 31. Azure Cosmos DB Triggerを使ったAzure Functionの実行フロー ﹣
- 33. ﹣ ﹣
- 35. ﹣ ﹣
- 36. ﹣
- 37. センサーデータ・ クリックストリームetc スピードレイヤー データインジェスト Azure Cosmos DB Azure Stream Analytics Azure Event Hubs Hot Path Cold Path 確定データ Azure Data Lake Store Power BI Azure Functions Change Feed バッチレイヤー + （サービスレイヤー） Azure Databricks 速報データ 低レイテンシを生かす スピードレイヤーの一次データストアとしてCosmos DBを配置
- 39. ﹣
- 41. ﹣ ﹣
- 42. メッセージ Function App キュー Azure Storage - Queue monitor 処理実行基盤 App Service データストア Cosmos DB Application Insights テレメトリ Azure Monitor monitor
- 43. .NET SQL Database App Service Web App / API App / Mobile App （Windows） ASP.NET アプリ Cosmos DB SQL API （Documet型） マスタ系データ （読み取り） トランザクション系データ （更新、読み取り） Node.js App Service Web App / API App / （Linux） Node.js アプリ （Express） Cosmos DB MongoDB API （Documet型） マスタ系データ （読み取り） トランザクション系データ （更新、読み取り） Azure Database for MySQL
- 45. Easy out-of-the-box bulk operation functionality Supports bulk import and update Auto handles congestion control + transient errors 10x client-side performance improvement Easily scale-out clients across more VMs Available starting with .NET and Java 複数ドキュメントの入出力に有効。 移行シナリオ以外にも十分適用可能。 .NET SDKは.NET Coreには未対応。
- 46. Remove friction for OSS NoSQL APIs Provision RU/sec shared across containers Mix containers with dedicated throughput and containers with shared throughput Elastically scale provisioned throughput for a set of containers at any time 「50,000RU」以上から利用可能のため大規 模データベース向き
- 47. Perfect for Intelligent Cloud and Intelligent Edge Applications Write scalability around the world Low latency writes around the world 99.999% High Availability around the world Well-defined consistency models Comprehensive conflict management 新規にCosmos DBアカウントを作成すると プレビュー申込ボタンが表示される （2018年5月末時点）
- 48. Try Azure Cosmos DB for free! https://azure.microsoft.com/ja-jp/try/cosmosdb/
- 50. ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ Provisionedrequest/sec Time 12000000 10000000 8000000 6000000 4000000 2000000 Nov 2016 Hourly throughput (request/sec) 参考: Azure Cosmos DB コンテナーのスループットの設定 https://docs.microsoft.com/ja-jp/azure/cosmos-db/set-throughput
- 51. • • Document document = await _client.ReadDocumentAsync( UriFactory.CreateDocumentUri(_option.DatabaseId, _option.CollectionId, id), new RequestOptions{ PartitionKey = new PartitionKey(pkey)} ); 参考 :Azure Cosmos DB でのパーティション分割とスケーリング https://docs.microsoft.com/ja-jp/azure/cosmos-db/partition-data
- 52. // 接続ポリシーの作成 var connectionPolicy = new ConnectionPolicy { ConnectionMode = ConnectionMode.Direct, // ダイレクトモード ConnectionProtocol = Protocol.Tcp // TCPを利用 }; // 読み取りリージョンを優先度順に追加 connectionPolicy.PreferredLocations.Add("Japan West"); connectionPolicy.PreferredLocations.Add("Japan East"); connectionPolicy.PreferredLocations.Add("Southeast Asia"); // DocumentDBクライアントの生成 client = new DocumentClient( new Uri(ConfigurationManager.AppSettings["endpoint"]), ConfigurationManager.AppSettings["authKey"], connectionPolicy ); client.OpenAsync(); // パフォーマンス改善のため一度接続しておく 接続クライアント生成時に、読み取 りリージョンを設定しておく 参考: PaaSがかりの部屋 - Cosmos DBで読み取りリージョンへ明示的にルーティングする https://k-miyake.github.io/blog/cosmos-db-preferred-locations/ 動的設定の 実装例
- 53. ﹣ ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB の SLA https://azure.microsoft.com/ja-jp/support/legal/sla/cosmos-db/
- 54. 一貫性 レベル 説明 Strong • 最新バージョンのデータを返すことが保証される • 複数リージョンへの分散ができない Bounded Staleness • 最大でアイテムの K 個のバージョンまたはプレフィックス あるいは期間 t の分だけ、読み取りが書き込みに対し遅れる ことが保証 • kとtは設定変更が可能 Session • クライアント セッション内での一貫性が保証される • デフォルト Consistent Prefix • 返される更新が、それ以外の全更新の一部のプレフィックス となる (ギャップなし) • 書き込みが A, B, C の順で実行された場合、クライアントで は A、A,B、または A,B,C で返る可能性があるが、A,C また は B,A,C などで返されることはない Eventual • 結果整合性 • 読み取りと書き込みの待機時間は最短 • クライアントからの読み取りは順不同となる可能性がある 参考: Azure Cosmos DB の一貫性レベル https://docs.microsoft.com/ja-jp/azure/cosmos-db/consistency-levels トレードオフが存在 • レイテンシ • 可用性 • スループット
- 55. ﹣ ﹣ https://docs.microsoft.com/ja-jp/azure/cosmos-db/indexing-policies { "automatic": true, "indexingMode": "Consistent", "includedPaths": [{ "path": "/*", "indexes": [{ "kind": "Hash", "dataType": "String", "precision": -1 }, { "kind": "Range", "dataType": "Number", "precision": -1 }, { "kind": "Spatial", "dataType": "Point" }] }], "excludedPaths": [{ "path": "/nonIndexedContent/*" }] }
- 57. ﹣ ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB データベースのセキュリティ https://docs.microsoft.com/ja-jp/azure/cosmos-db/database-security
- 58. ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB での自動オンライン バックアップと復元 https://docs.microsoft.com/ja-jp/azure/cosmos-db/online-backup-and-restore
- 59. ﹣ 参考: Azure Cosmos DB のメトリックを使用した監視とデバッグ https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-metrics