Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Microsoft Azure
データストア概要
秋のAzure勉強会 ~Azureの今を知ろう~
2015.10.24
Japan Azure User Group
@kosmosebi
Copyright© 2015, JAZUG All ...
Self Introduction
{
"name" : "Keiji Kamebuchi",
"corporation" : "pnop Inc.",
"mail" : "kamebuchi@pnop.co.jp",
"web" : "htt...
Activities
Copyright© 2015, JAZUG All Rights Reserved.
3https://azure.moe/
https://radio.azure.moe/
このセッションは
2015/10/24 時点の情報を
基にしています
最新情報はWebで❕
Copyright© 2015, JAZUG All Rights Reserved.
Goal
Azureで使えるデータストアを知る
アプリケーションへの活用に想いを馳せる
実際に使ってみる
Copyright© 2015, JAZUG All Rights Reserved.
5
今日の対象
Storage BLOB/Table/File
SQL Database
DocumentDB
Redis Cache
Azure Search
SQL Data Warehouse
Data Lake
Backup
Applica...
注意
今日のスライドは文字ばっかりです
Copyright© 2015, JAZUG All Rights Reserved.
7
Azure BLOB Storage
Copyright© 2015, JAZUG All Rights Reserved.
8
ドキュメントなどいわゆるファイル用のストレージ
テキストやバイナリなど
ファイルに対し直接HTTP/Sでアクセス可...
Azure Table Storage
Copyright© 2015, JAZUG All Rights Reserved.
9
Key Value Store (KVS) / NoSQL キー属性データストア
PartitionKeyとRo...
Azure File Storage
Copyright© 2015, JAZUG All Rights Reserved.
10
Azure Storageを共有フォルダとして使えるストレージ
SMB3.0対応、TCP/445が使えればインタ...
Azure Storage共通
LRS(ローカル冗長ストレージ)
データはデータセンター内で3重化(複製)
ZRS(ゾーン冗長ストレージ)
同じリージョン内の別施設に3回複製される
ただしブロックBLOBのみ
GRS(地理冗長ストレージ)
関連...
Azure Storage共通
Copyright© 2015, JAZUG All Rights Reserved.
12
他の地域のデータセンター
(三多重で冗長化)
複製
BLOB(ファイル や
VHD など)
Table
(非構造化デー...
SQL Database
Copyright© 2015, JAZUG All Rights Reserved.
13
SQL Database
Copyright© 2015, JAZUG All Rights Reserved.
14
いわゆるRDBMSなサービス
SQL Serverベース
DTU(Database Throughput Unit)による性...
SQL Database
Copyright© 2015, JAZUG All Rights Reserved.
15
高可用性
既定で3冗長(プライマリと2つのセカンダリ)
自動的なバックアップ
• 5分毎にトランザクションログ バックアップ...
DocumentDB
Copyright© 2015, JAZUG All Rights Reserved.
16
西日本、東日本リージョンではまだ利用できません
DocumentDB
Copyright© 2015, JAZUG All Rights Reserved.
17
いわゆるNoSQLドキュメントデータベースなサービス
ドキュメント指向データベース
といいつつSQLも使える
JSONドキュメン...
DocumentDB
Copyright© 2015, JAZUG All Rights Reserved.
18
{
"id" : "123"
"name" : "joe"
"age" : 30
"address" : {
"street" ...
DocumentDB
Copyright© 2015, JAZUG All Rights Reserved.
19
https://github.com/mingaliu/DocumentDBStudio
https://www.documen...
Redis Cache
Copyright© 2015, JAZUG All Rights Reserved.
20
Redis Cache
Copyright© 2015, JAZUG All Rights Reserved.
21
いわずとしれたRedisのマネージドなサービス
Standard/Basicプランは永続化なし
Premium使うと永続化でき...
Redis Cache
Copyright© 2015, JAZUG All Rights Reserved.
22
Azure Search
Copyright© 2015, JAZUG All Rights Reserved.
23
東日本リージョンでは使えません
Azure Search
Copyright© 2015, JAZUG All Rights Reserved.
24
Search as a Service
Index用データの保存とインデックス生成、検索が可能
56言語対応、Lucene ...
SQL Data Warehouse
Copyright© 2015, JAZUG All Rights Reserved.
25
現在、Previewです
SQL Data Warehouse
ペタバイトクラスのデータウェアハウス
columnstoreインデックスと並列処理(MPP)アーキテクチャ
オンプレミスでも提供予定
コンピュートとストレージの分離(PolyBase)
Azure BLOB...
Data Lake
Copyright© 2015, JAZUG All Rights Reserved.
27
現在、Private Previewです(普通には使えません)
Data Lake
無限のデータをリアルタイムに蓄積、処理(分散解析)
するためのデータストア
HDFS API互換、Apache Yarnをビルトイン
HDInsightやHadoop、R言語、他の解析ソリューションと連携
SQL Data ...
Data Lake
Copyright© 2015, JAZUG All Rights Reserved.
29
Microsoft
Revolution-R
Enterprise
Other analytic
solutions SQL Da...
Data Lake
Copyright© 2015, JAZUG All Rights Reserved.
30
Azure Backup
Copyright© 2015, JAZUG All Rights Reserved.
31
Azure Backup
バックアップサービス
オンプレのデータやAzure上の仮想マシンのデータを
バックアップ
ワークロード(SharePoint ServerやSQL Server)にも対応
基本的にWindows Server/Wind...
Application Insight
Copyright© 2015, JAZUG All Rights Reserved.
33
現在、Previewです
Application Insight
Copyright© 2015, JAZUG All Rights Reserved.
34
アプリケーションの利用統計情報を保存、表示
利用状況分析、例外検出、パフォーマンス、診断/トリアージ...
W...
Application Insight
Copyright© 2015, JAZUG All Rights Reserved.
35
Key Vault
Copyright© 2015, JAZUG All Rights Reserved.
36
Key Vault
Copyright© 2015, JAZUG All Rights Reserved.
37
キーを管理するためのサービス
証明書(PFX)、アカウントキー、シークレットキーなど
ハードウェアセキュリティモジュール(HSM)...
Azure以外
Copyright© 2015, JAZUG All Rights Reserved.
38
StorSimple
Copyright© 2015, JAZUG All Rights Reserved.
39
ストレージのアプライアンス製品 * 2012年10月にMSが買収
iSCSIでファイルサーバーと接続
Windows/VMwar...
Microsoft Operational Management Suite
オンプレ/Azureなどクラウドの集中管理ソリューション
Hyper-V/System Center
Azure
Amazon Web Services
openst...
Microsoft Operational Management Suite
Copyright© 2015, JAZUG All Rights Reserved.
41
Operational Insights
Copyright© 2015, JAZUG All Rights Reserved.
42
西日本・東日本リージョンでは使えません
PowerBI
データのリアルタイム可視化・分析ツール
一定量の保存も可
他のデータソースを参照することもできる
Power BI REST API
データの追加など
iframeで埋め込みもできます
Copyright© 2015, JAZU...
PowerBI
Copyright© 2015, JAZUG All Rights Reserved.
44
その他
Copyright© 2015, JAZUG All Rights Reserved.
45
MySQL
いわずとしれたオープンソースなRDBMS
ClearDB が提供 or Virtual Machineで自作
ClearDBの場合
マネージドなサービスなので管理はおまかせ
Virtual Machineで自作の場合
サーバーの管理...
その他のデータストア
PostgreSQL, MongoDBなどなど
マネージドなサービスではなくなりますが。。
Virtual Machineで自由に構築できます
Marketplace経由で簡単にデプロイも可能
Oracleなどは Virt...
まとめ
スタンダードから目的特化まで様々
データの構造や使い方にあったサービスを選びましょう
各サービスのプランによって使える機能や容量、価格もかわります
用量・用法を守って正しく選択ください
各サービスの制限・限度などはこちら
• https...
Q&A
49
質
問
シ
テ
ネ
!
• このセッションは 2015/10/24 時点の情報を
基にしています
• 最新情報はWebで❕
Upcoming SlideShare
Loading in …5
×

20151024 Azureデータストア概要

1,601 views

Published on

https://manage.doorkeeper.jp/groups/jazug/events/31734
秋のAzure勉強会 ~Azureの今を知ろう~

Published in: Technology
  • Be the first to comment

20151024 Azureデータストア概要

  1. 1. Microsoft Azure データストア概要 秋のAzure勉強会 ~Azureの今を知ろう~ 2015.10.24 Japan Azure User Group @kosmosebi Copyright© 2015, JAZUG All Rights Reserved.
  2. 2. Self Introduction { "name" : "Keiji Kamebuchi", "corporation" : "pnop Inc.", "mail" : "kamebuchi@pnop.co.jp", "web" : "http://buchizo.wordpress.com/", "twitter" : "@kosmosebi", "award" : ["Microsoft MVP for Azure", "Microsoft Regional Director"], "timezone" : "-08:00 (PST)" } Copyright© 2015, JAZUG All Rights Reserved. 2 buchizo Senior Fellow @kosmosebi
  3. 3. Activities Copyright© 2015, JAZUG All Rights Reserved. 3https://azure.moe/ https://radio.azure.moe/
  4. 4. このセッションは 2015/10/24 時点の情報を 基にしています 最新情報はWebで❕ Copyright© 2015, JAZUG All Rights Reserved.
  5. 5. Goal Azureで使えるデータストアを知る アプリケーションへの活用に想いを馳せる 実際に使ってみる Copyright© 2015, JAZUG All Rights Reserved. 5
  6. 6. 今日の対象 Storage BLOB/Table/File SQL Database DocumentDB Redis Cache Azure Search SQL Data Warehouse Data Lake Backup Application Insight Key Vault Operational Insights StorSimple Microsoft Operational Management Suite PowerBI その他 Copyright© 2015, JAZUG All Rights Reserved. 6
  7. 7. 注意 今日のスライドは文字ばっかりです Copyright© 2015, JAZUG All Rights Reserved. 7
  8. 8. Azure BLOB Storage Copyright© 2015, JAZUG All Rights Reserved. 8 ドキュメントなどいわゆるファイル用のストレージ テキストやバイナリなど ファイルに対し直接HTTP/Sでアクセス可能 SASによるアクセス制限 REST APIによる操作 マネージメントツールも豊富 Azure Storage Explorerなど ブロックBLOBとページBLOB、追記型BLOBがあります ページBLOB … VHDなどに使用、ランダムな書き込みサポート 追記型BLOB … 末尾にどんどん足していける、ログ用途など ページBLOBのみPremium StorageとしてSSDベースのものが使える
  9. 9. Azure Table Storage Copyright© 2015, JAZUG All Rights Reserved. 9 Key Value Store (KVS) / NoSQL キー属性データストア PartitionKeyとRowKeyの2つが主キー、クラスタ化インデックスを構成 あとタイムスタンプ、それ以外(=エンティティ部)はスキーマレス 他のデータストアに比べ安価 他のデータセンターに複製せず1TB保存した場合、7140円/月 ※その他10 万トランザクションあたり ¥0.37+ネットワーク転送料かかるけど REST API/ODataでアクセス、AtomPub(XML)/JSON
  10. 10. Azure File Storage Copyright© 2015, JAZUG All Rights Reserved. 10 Azure Storageを共有フォルダとして使えるストレージ SMB3.0対応、TCP/445が使えればインターネット経由可 オンプレやAzure上から通常の共有フォルダとしてアクセス ACLは無い
  11. 11. Azure Storage共通 LRS(ローカル冗長ストレージ) データはデータセンター内で3重化(複製) ZRS(ゾーン冗長ストレージ) 同じリージョン内の別施設に3回複製される ただしブロックBLOBのみ GRS(地理冗長ストレージ) 関連付けされた別地域(リージョン)に複製 複製先リージョンでも3重化 = 合計6複製 複製先のデータは通常アクセスできない RA-GRS(読み取りアクセス地理冗長ストレージ) GRSの複製先のデータも読み取れる GRS/RA-GRSの障害時 自動的にフェールオーバーする(DNSの参照先が変わる) 手動トリガーなし クライアントSDKなども豊富(.NETに限らずnode.jsやPHP/Javaなどなど) Copyright© 2015, JAZUG All Rights Reserved. 11
  12. 12. Azure Storage共通 Copyright© 2015, JAZUG All Rights Reserved. 12 他の地域のデータセンター (三多重で冗長化) 複製 BLOB(ファイル や VHD など) Table (非構造化データなど) Queue(メッセージ など) 複製 Files (ファイル共有)
  13. 13. SQL Database Copyright© 2015, JAZUG All Rights Reserved. 13
  14. 14. SQL Database Copyright© 2015, JAZUG All Rights Reserved. 14 いわゆるRDBMSなサービス SQL Serverベース DTU(Database Throughput Unit)による性能保証と課金 決められたベンチマーク(ASDB)による指標 例: 10 DTU=約521トランザクション/分処理できるぐらいの性能 ※ DTUが増えたからと言ってリニアに性能は増えない エンタープライズ向けの機能が豊富 Point in Time Recoveryや常時暗号化、監査ログ、Azure AD認証連携、動的 データマスキング などなど TDS7.3以降であれば接続可能 .NET/Windowsに限らずPHP/Linuxなども可 インデックスのアドバイザーやクエリ情報みたりと機能も豊富
  15. 15. SQL Database Copyright© 2015, JAZUG All Rights Reserved. 15 高可用性 既定で3冗長(プライマリと2つのセカンダリ) 自動的なバックアップ • 5分毎にトランザクションログ バックアップ → Point in Time Restore 可 • 毎日差分バックアップ+別地域にレプリケート • 毎週フルバックアップ+別地域にレプリケート 標準ジオ レプリケーション(Standard Geo Replication) • 別地域(リージョン)に非同期にレプリケート、オフラインセカンダリ アクティブ ジオ レプリケーション(Active Geo Replication) • 別地域(リージョン)に非同期にレプリケート 管理 ポータル、SQL Server Management Tools(SSMS)など
  16. 16. DocumentDB Copyright© 2015, JAZUG All Rights Reserved. 16 西日本、東日本リージョンではまだ利用できません
  17. 17. DocumentDB Copyright© 2015, JAZUG All Rights Reserved. 17 いわゆるNoSQLドキュメントデータベースなサービス ドキュメント指向データベース といいつつSQLも使える JSONドキュメントとして保存、スキーマレス インデックスも有 REST APIで操作、SDKは.NET/node.js/Java/Pythonなど JavaScriptで記述できるストアドプロシージャー/トリガー/ ユーザー定義関数(UDF) 管理はPreviewポータルで(Azure DocumentDB Studioも一応)
  18. 18. DocumentDB Copyright© 2015, JAZUG All Rights Reserved. 18 { "id" : "123" "name" : "joe" "age" : 30 "address" : { "street" : "some st" } }
  19. 19. DocumentDB Copyright© 2015, JAZUG All Rights Reserved. 19 https://github.com/mingaliu/DocumentDBStudio https://www.documentdb.com/sql/demo http://www.slideshare.net/takekazuomi/introduction-to- documentdb
  20. 20. Redis Cache Copyright© 2015, JAZUG All Rights Reserved. 20
  21. 21. Redis Cache Copyright© 2015, JAZUG All Rights Reserved. 21 いわずとしれたRedisのマネージドなサービス Standard/Basicプランは永続化なし Premium使うと永続化できます(ただしPreview) バックアップ間隔は60分/6時間/12時間/24時間から選択(RDB) AOF…Coming Soon Redis Cluster VNETにも参加可能 最大53GB x 10 ユニット = 530GB(それ以上は要相談) redis-cliなどが利用可能 Previewポータルでも操作できます
  22. 22. Redis Cache Copyright© 2015, JAZUG All Rights Reserved. 22
  23. 23. Azure Search Copyright© 2015, JAZUG All Rights Reserved. 23 東日本リージョンでは使えません
  24. 24. Azure Search Copyright© 2015, JAZUG All Rights Reserved. 24 Search as a Service Index用データの保存とインデックス生成、検索が可能 56言語対応、Lucene Language Analyzers/Microsoft language analyzers 位置情報でのフィルタリング・ソート、ファセット、more like this REST APIで操作、応答はJSON .NETはサービス用(Client)SDKあり 管理はPreviewポータル 3rd Party製ツールもある https://github.com/MaxMelcher/AzureSearchTool http://cloudportam.com/features/search-service Demo: https://searchsamples.azurewebsites.net/ http://azjobsdemo.azurewebsites.net/
  25. 25. SQL Data Warehouse Copyright© 2015, JAZUG All Rights Reserved. 25 現在、Previewです
  26. 26. SQL Data Warehouse ペタバイトクラスのデータウェアハウス columnstoreインデックスと並列処理(MPP)アーキテクチャ オンプレミスでも提供予定 コンピュートとストレージの分離(PolyBase) Azure BLOB StorageとHadoopに接続できる SQLサポート 停止/復帰可能 Copyright© 2015, JAZUG All Rights Reserved. 26
  27. 27. Data Lake Copyright© 2015, JAZUG All Rights Reserved. 27 現在、Private Previewです(普通には使えません)
  28. 28. Data Lake 無限のデータをリアルタイムに蓄積、処理(分散解析) するためのデータストア HDFS API互換、Apache Yarnをビルトイン HDInsightやHadoop、R言語、他の解析ソリューションと連携 SQL Data Warehouseに出力など Row Data保存 低レイテンシ、高スループット、アクセスコントロール U-SQL Copyright© 2015, JAZUG All Rights Reserved. 28
  29. 29. Data Lake Copyright© 2015, JAZUG All Rights Reserved. 29 Microsoft Revolution-R Enterprise Other analytic solutions SQL Data Warehouse
  30. 30. Data Lake Copyright© 2015, JAZUG All Rights Reserved. 30
  31. 31. Azure Backup Copyright© 2015, JAZUG All Rights Reserved. 31
  32. 32. Azure Backup バックアップサービス オンプレのデータやAzure上の仮想マシンのデータを バックアップ ワークロード(SharePoint ServerやSQL Server)にも対応 基本的にWindows Server/Windows Client用 Copyright© 2015, JAZUG All Rights Reserved. 32
  33. 33. Application Insight Copyright© 2015, JAZUG All Rights Reserved. 33 現在、Previewです
  34. 34. Application Insight Copyright© 2015, JAZUG All Rights Reserved. 34 アプリケーションの利用統計情報を保存、表示 利用状況分析、例外検出、パフォーマンス、診断/トリアージ... Webアプリケーションやネイティブアプリケーションから データを収集、保存 UWP/WPF/ASP.NET/node.js/PHP/Java/Python/Ruby/WordPress,... iOSやAndroid用SDKも 生データは7日/15日/30日間保持 集約データは13か月または無制限 Previewポータルで管理、参照 SQL DatabaseやPowerBIに出力して表示なども可能
  35. 35. Application Insight Copyright© 2015, JAZUG All Rights Reserved. 35
  36. 36. Key Vault Copyright© 2015, JAZUG All Rights Reserved. 36
  37. 37. Key Vault Copyright© 2015, JAZUG All Rights Reserved. 37 キーを管理するためのサービス 証明書(PFX)、アカウントキー、シークレットキーなど ハードウェアセキュリティモジュール(HSM)で暗号化されて安全 に保管 FIPS 140-2 レベル 2 への準拠が検証済みの HSM キーの失効やインポート、使用状況の監視が可能 ただし現状使用状況のログは見れない REST APIで操作 SQL ServerのTDEなどで透過的に利用可能 (SQL Databaseなどはまだ)
  38. 38. Azure以外 Copyright© 2015, JAZUG All Rights Reserved. 38
  39. 39. StorSimple Copyright© 2015, JAZUG All Rights Reserved. 39 ストレージのアプライアンス製品 * 2012年10月にMSが買収 iSCSIでファイルサーバーと接続 Windows/VMware/Linux(RHEL, CentOS, SuSE) SSDがメイン(キャッシュ)で参照頻度が低いデータはHDDへ Azure上のストレージにバックアップおよび退避 参照されたら自動的にロード
  40. 40. Microsoft Operational Management Suite オンプレ/Azureなどクラウドの集中管理ソリューション Hyper-V/System Center Azure Amazon Web Services openstack / VMware / rackspace WindowsやLinuxからログを収集・保存、分析が可能 Copyright© 2015, JAZUG All Rights Reserved. 40
  41. 41. Microsoft Operational Management Suite Copyright© 2015, JAZUG All Rights Reserved. 41
  42. 42. Operational Insights Copyright© 2015, JAZUG All Rights Reserved. 42 西日本・東日本リージョンでは使えません
  43. 43. PowerBI データのリアルタイム可視化・分析ツール 一定量の保存も可 他のデータソースを参照することもできる Power BI REST API データの追加など iframeで埋め込みもできます Copyright© 2015, JAZUG All Rights Reserved. 43
  44. 44. PowerBI Copyright© 2015, JAZUG All Rights Reserved. 44
  45. 45. その他 Copyright© 2015, JAZUG All Rights Reserved. 45
  46. 46. MySQL いわずとしれたオープンソースなRDBMS ClearDB が提供 or Virtual Machineで自作 ClearDBの場合 マネージドなサービスなので管理はおまかせ Virtual Machineで自作の場合 サーバーの管理は自己責任 冗長化、障害対策なども自分でがんばる Copyright© 2015, JAZUG All Rights Reserved. 46
  47. 47. その他のデータストア PostgreSQL, MongoDBなどなど マネージドなサービスではなくなりますが。。 Virtual Machineで自由に構築できます Marketplace経由で簡単にデプロイも可能 Oracleなどは Virtual Machine のギャラリーにあります ただし… 冗長性や可用性、障害対策などすべて自分で管理 Copyright© 2015, JAZUG All Rights Reserved. 47
  48. 48. まとめ スタンダードから目的特化まで様々 データの構造や使い方にあったサービスを選びましょう 各サービスのプランによって使える機能や容量、価格もかわります 用量・用法を守って正しく選択ください 各サービスの制限・限度などはこちら • https://azure.microsoft.com/ja-jp/documentation/articles/azure-subscription- service-limits/ • Azure limitation とかで検索 Copyright© 2015, JAZUG All Rights Reserved. 48
  49. 49. Q&A 49 質 問 シ テ ネ ! • このセッションは 2015/10/24 時点の情報を 基にしています • 最新情報はWebで❕

×