![// 接続ポリシーの作成
var connectionPolicy = new ConnectionPolicy
{
ConnectionMode = ConnectionMode.Direct, // ダイレクトモード
ConnectionProtocol = Protocol.Tcp // TCPを利用
};
// 読み取りリージョンを優先度順に追加
connectionPolicy.PreferredLocations.Add("Japan West");
connectionPolicy.PreferredLocations.Add("Japan East");
connectionPolicy.PreferredLocations.Add("Southeast Asia");
// DocumentDBクライアントの生成
client = new DocumentClient(
new Uri(ConfigurationManager.AppSettings["endpoint"]),
ConfigurationManager.AppSettings["authKey"],
connectionPolicy
);
client.OpenAsync(); // パフォーマンス改善のため一度接続しておく
接続クライアント生成時に、読み取
りリージョンを設定しておく
参考: PaaSがかりの部屋 - Cosmos DBで読み取りリージョンへ明示的にルーティングする
https://k-miyake.github.io/blog/cosmos-db-preferred-locations/
動的設定の
実装例](https://image.slidesharecdn.com/eta7fykprww12esweqry-signature-33e9d3f9a859bfb5998573f2663ccd75ceea8402cb153b39a4765a9c1089a3ce-poli-180607091846/85/Azure-Cosmos-DB-52-320.jpg)
![
﹣
﹣
https://docs.microsoft.com/ja-jp/azure/cosmos-db/indexing-policies
{
"automatic": true,
"indexingMode": "Consistent",
"includedPaths": [{
"path": "/*",
"indexes": [{
"kind": "Hash",
"dataType": "String",
"precision": -1
}, {
"kind": "Range",
"dataType": "Number",
"precision": -1
}, {
"kind": "Spatial",
"dataType": "Point"
}]
}],
"excludedPaths": [{
"path": "/nonIndexedContent/*"
}]
}](https://image.slidesharecdn.com/eta7fykprww12esweqry-signature-33e9d3f9a859bfb5998573f2663ccd75ceea8402cb153b39a4765a9c1089a3ce-poli-180607091846/85/Azure-Cosmos-DB-55-320.jpg)
Uploaded byKazuyuki Miyake
Azure Cosmos DB のキホンと使いドコロ
2018年6月6日に日本マイクロソフト株式会社主催で実施されたウェビナー"クラウドネイティブなアプリケーションを実現する「Azure Cosmos DB」のキホンと使いドコロ"で発表した資料です。
![[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/dddddd-180906091548-thumbnail.jpg?width=640&height=640&fit=bounds)
![[GKE & Spanner 勉強会] Cloud Spanner の技術概要](https://cdn.slidesharecdn.com/ss_thumbnails/gke02-200121091040-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス](https://cdn.slidesharecdn.com/ss_thumbnails/amazonauroratips-170307140000-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AKIBA.AWS] VGWのルーティング仕様](https://cdn.slidesharecdn.com/ss_thumbnails/akibaaws7-180524115259-thumbnail.jpg?width=640&height=640&fit=bounds)
![[オープンソースカンファレンス2017 Hokkaido] Azureのグローバル分散NoSQLデータベース サービス「Azure Cosmos DB」を...](https://cdn.slidesharecdn.com/ss_thumbnails/20170715oscdocosmosdb-170719090931-thumbnail.jpg?width=640&height=640&fit=bounds)
![[de:code 2018] [DA19] 次世代データベース サービス「Azure Cosmos DB」を使いこなそう ～ Azure Cosmos D...](https://cdn.slidesharecdn.com/ss_thumbnails/20180522decode18da19cosmosdb-180528001053-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Japan Tech summit 2017] DAL 005](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfdal005-171127040522-thumbnail.jpg?width=640&height=640&fit=bounds)
![[de:code 2017] 使わないのはもったいない! プラネット スケールの NoSQL サービス「Azure Cosmos DB」を使いこなそう](https://cdn.slidesharecdn.com/ss_thumbnails/20170523decode17di04cosmosdb-170702120136-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DI04] 使わないのはもったいない! プラネット スケールの NoSQL サービス「Azure Cosmos DB」を使いこなそう](https://cdn.slidesharecdn.com/ss_thumbnails/di04-170605023807-thumbnail.jpg?width=640&height=640&fit=bounds)
![[2017/07/27 ウェビナー] 使わないのはもったいない! プラネット スケールの NoSQL サービス「Azure Cosmos DB」を使いこなそう](https://cdn.slidesharecdn.com/ss_thumbnails/20170727cosmosdbwebinar-170727042819-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ～グローバル分散型マル...](https://cdn.slidesharecdn.com/ss_thumbnails/20180920dbtscosmosdb-180920152005-thumbnail.jpg?width=640&height=640&fit=bounds)
![[MW11] OSS on Azure で構築する ウェブアプリケーション](https://cdn.slidesharecdn.com/ss_thumbnails/mw11-170616020924-thumbnail.jpg?width=640&height=640&fit=bounds)
Azure Cosmos DB のキホンと使いドコロ
- 1. クラウドネイティブなアプリケーションを実現する 「Azure Cosmos DB」の キホンと使いドコロ 三宅和之（Kazuyuki Miyake） Microsoft MVP
- 2.
- 3.
- 4.
- 5.
- 7. SQL MongoDB Table API Turnkey global distribution Elasticscale out of storage & throughput Guaranteed low latency at the 99th percentile Comprehensive SLAs Five well-defined consistency models Azure Cosmos DB DocumentColumn-family Key-value Graph A globally distributed, massively scalable, multi-model database service 出典 https://channel9.msdn.com/Events/Build/2018/BRK3319
- 8. ﹣ ﹣ ﹣ 参考: A technicaloverview of Azure Cosmos DB https://azure.microsoft.com/en-us/blog/a-technical-overview-of-azure-cosmos-db/
- 9. System Topology Resource Manager Language Runtime(s) Hosts Query Processor RSM Index Manager Bw-tree++/LLAMA++ Log Manager IO Manager Resource Governor Transport Database engine Admission control … … Planet Earth Azure regions Datacenters Stamps Fault domains Cluster Machine Replica Database engine Container Various agents 出典 https://channel9.msdn.com/Events/Build/2018/BRK3319
- 12. Azure Cosmos DB ﹣ Document型 Graph型 ColumnFamily型 • SQL API (旧DocumentDB API) • MongoDB API • Gremlin API• Table API Key-Value型 • Apache Cassandra API（プレビュー）
- 13.
- 14.
- 15.
- 16.
- 18. 西日本 東日本 書き込みリージョン （プライマリ） 読み取りリージョン （セカンダリ） Azure Cosmos DB AppService 1 App Service 2 Azure Traffic Manager Readは近くの読み取りリージョンから Readは近くの読み取りリージョンから Writeは 書き込みリージョンへ グローバル分散 レプリケーション
- 19.
- 20. ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ https://www.documentdb.com/capacityplanner 参考: Azure CosmosDB の要求ユニット https://docs.microsoft.com/ja-jp/azure/cosmos-db/request-units % IOPS% CPU% Memory
- 21. 参考: Azure CosmosDB での予約されたスループット上限の超過 https://docs.microsoft.com/ja-jp/azure/cosmos-db/request-units#RequestRateTooLarge
- 25.
- 27.
- 28.
- 29.
- 30. Azure Cosmos DB AzureDatabase for MySQL Web App Azure Functions Change Feed ク ラ イ ア ン ト コマンド クエリ Write Read Publish 書き込みデータストア 他システムなど 読み取りデータストア
- 31. Azure Cosmos DBTriggerを使ったAzure Functionの実行フロー ﹣
- 33.
- 35.
- 36.
- 37. センサーデータ・ クリックストリームetc スピードレイヤー データインジェスト Azure Cosmos DB Azure StreamAnalytics Azure Event Hubs Hot Path Cold Path 確定データ Azure Data Lake Store Power BI Azure Functions Change Feed バッチレイヤー + （サービスレイヤー） Azure Databricks 速報データ 低レイテンシを生かす スピードレイヤーの一次データストアとしてCosmos DBを配置
- 38.
- 39.
- 40.
- 41.
- 42. メッセージ Function App キュー Azure Storage- Queue monitor 処理実行基盤 App Service データストア Cosmos DB Application Insights テレメトリ Azure Monitor monitor
- 43. .NET SQL Database App Service Web App/ API App / Mobile App （Windows） ASP.NET アプリ Cosmos DB SQL API （Documet型） マスタ系データ （読み取り） トランザクション系データ （更新、読み取り） Node.js App Service Web App / API App / （Linux） Node.js アプリ （Express） Cosmos DB MongoDB API （Documet型） マスタ系データ （読み取り） トランザクション系データ （更新、読み取り） Azure Database for MySQL
- 45. Easy out-of-the-box bulkoperation functionality Supports bulk import and update Auto handles congestion control + transient errors 10x client-side performance improvement Easily scale-out clients across more VMs Available starting with .NET and Java 複数ドキュメントの入出力に有効。 移行シナリオ以外にも十分適用可能。 .NET SDKは.NET Coreには未対応。
- 46. Remove friction forOSS NoSQL APIs Provision RU/sec shared across containers Mix containers with dedicated throughput and containers with shared throughput Elastically scale provisioned throughput for a set of containers at any time 「50,000RU」以上から利用可能のため大規 模データベース向き
- 47. Perfect for IntelligentCloud and Intelligent Edge Applications Write scalability around the world Low latency writes around the world 99.999% High Availability around the world Well-defined consistency models Comprehensive conflict management 新規にCosmos DBアカウントを作成すると プレビュー申込ボタンが表示される （2018年5月末時点）
- 48. Try Azure CosmosDB for free! https://azure.microsoft.com/ja-jp/try/cosmosdb/
- 50. ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ Provisionedrequest/sec Time 12000000 10000000 8000000 6000000 4000000 2000000 Nov 2016 Hourly throughput(request/sec) 参考: Azure Cosmos DB コンテナーのスループットの設定 https://docs.microsoft.com/ja-jp/azure/cosmos-db/set-throughput
- 51. • • Document document =await _client.ReadDocumentAsync( UriFactory.CreateDocumentUri(_option.DatabaseId, _option.CollectionId, id), new RequestOptions{ PartitionKey = new PartitionKey(pkey)} ); 参考 :Azure Cosmos DB でのパーティション分割とスケーリング https://docs.microsoft.com/ja-jp/azure/cosmos-db/partition-data
- 52. // 接続ポリシーの作成 var connectionPolicy= new ConnectionPolicy { ConnectionMode = ConnectionMode.Direct, // ダイレクトモード ConnectionProtocol = Protocol.Tcp // TCPを利用 }; // 読み取りリージョンを優先度順に追加 connectionPolicy.PreferredLocations.Add("Japan West"); connectionPolicy.PreferredLocations.Add("Japan East"); connectionPolicy.PreferredLocations.Add("Southeast Asia"); // DocumentDBクライアントの生成 client = new DocumentClient( new Uri(ConfigurationManager.AppSettings["endpoint"]), ConfigurationManager.AppSettings["authKey"], connectionPolicy ); client.OpenAsync(); // パフォーマンス改善のため一度接続しておく 接続クライアント生成時に、読み取 りリージョンを設定しておく 参考: PaaSがかりの部屋 - Cosmos DBで読み取りリージョンへ明示的にルーティングする https://k-miyake.github.io/blog/cosmos-db-preferred-locations/ 動的設定の 実装例
- 53. ﹣ ﹣ ﹣ ﹣ ﹣ 参考: Azure CosmosDB の SLA https://azure.microsoft.com/ja-jp/support/legal/sla/cosmos-db/
- 54. 一貫性 レベル 説明 Strong • 最新バージョンのデータを返すことが保証される • 複数リージョンへの分散ができない Bounded Staleness •最大でアイテムの K 個のバージョンまたはプレフィックス あるいは期間 t の分だけ、読み取りが書き込みに対し遅れる ことが保証 • kとtは設定変更が可能 Session • クライアント セッション内での一貫性が保証される • デフォルト Consistent Prefix • 返される更新が、それ以外の全更新の一部のプレフィックス となる (ギャップなし) • 書き込みが A, B, C の順で実行された場合、クライアントで は A、A,B、または A,B,C で返る可能性があるが、A,C また は B,A,C などで返されることはない Eventual • 結果整合性 • 読み取りと書き込みの待機時間は最短 • クライアントからの読み取りは順不同となる可能性がある 参考: Azure Cosmos DB の一貫性レベル https://docs.microsoft.com/ja-jp/azure/cosmos-db/consistency-levels トレードオフが存在 • レイテンシ • 可用性 • スループット
- 55. ﹣ ﹣ https://docs.microsoft.com/ja-jp/azure/cosmos-db/indexing-policies { "automatic": true, "indexingMode": "Consistent", "includedPaths":[{ "path": "/*", "indexes": [{ "kind": "Hash", "dataType": "String", "precision": -1 }, { "kind": "Range", "dataType": "Number", "precision": -1 }, { "kind": "Spatial", "dataType": "Point" }] }], "excludedPaths": [{ "path": "/nonIndexedContent/*" }] }
- 56.
- 57. ﹣ ﹣ ﹣ ﹣ ﹣ 参考: Azure CosmosDB データベースのセキュリティ https://docs.microsoft.com/ja-jp/azure/cosmos-db/database-security
- 58. ﹣ ﹣ ﹣ ﹣ 参考: Azure CosmosDB での自動オンライン バックアップと復元 https://docs.microsoft.com/ja-jp/azure/cosmos-db/online-backup-and-restore
- 59. ﹣ 参考: Azure CosmosDB のメトリックを使用した監視とデバッグ https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-metrics