GoAzure 2015 Session 1-5 資料 Microsoft Azure の永続化の仕組み。Azureの永続化実、Azure Storage、冗長構成、IaaS Disk の紹介

1. Persistence on Azure
Microsoft Azure の永続化
kyrt / Takekazu Omi
takekazu.omi@kyrt.in
@takekazuomi
2015/1/14 R.1.0

2. 自己紹介
近江 武一
JAZUG Azure Storage 担当（自称）
Microsoft MVP for Azure
kyrt @takekazuomi 2
kyrt.in
github.com/takekazuomi
white paper
監訳

3. 3

4. Agenda
クラウドにおける永続化の紹介
Azureの永続化実装
Azure Storage
冗長構成
IaaS Disk
4

5. はじめに
5

6. 永続化とは（基本ストーリー）
従来（オンプレ）
⇨電源切るとメモリの内容はロスト
⇨消えないところに書いておく
⇨HDD＝永続化領域
クラウドでは更に
⇨ハードウェア障害でインスタンス内容はロスト
⇨消えないところに書いておく
⇨managed persistence serviceへ書いておく
6

7. Managed Persistence Service
管理された、ストレージ クラスターが用
意
APIで、確保、開放できる
HA構成になっている
最大容量が大きい
従量課金になっている（Pay-per-use)
7

8. 違い
オンプレ
⇨ インスタンス障害時はマシンからのデータ復旧、
バックアップからの復元が前提
⇨ ストレージ障害（HDD,RAID）の場合はバックアップ
へ
クラウド
⇨ インスタンス障害では別ハードウェアの割り当て前
提
⇨ インスタンスの外に多重化して保存が基本
⇨ リアルタイムに多重化
8

9. AZUREの永続化実装
10

10. Managed Service 6種
永続化のためのManaged Serviceは6つある
11
1. Azure Table
2. Azure Blob
3. Azure Files
4. 仮想ディスク
5. SQL Database
6. DocumentDB

11. Azure Storage 4種
いろいろあるように見えるが
⇨Azure内ではAzure Storage（分散ストレージ、
ストレージクラスター）上に構築されている
もの
⇨それ以外の２つに別れる
12

12. 6つのManaged Service
永続化のためのManaged Serviceは6つある
13
1. Azure Table
2. Azure Blob
3. Azure Files
4. 仮想ディスク
5. SQL Database
6. DocumentDB

13. AZURE STORAGE
14

14. Microsoft Azure Storage
 Cloud Storage – Anywhere and anytime access
⇨ Blob, Tables, Queue, Files
 Highly Durable, Available and Massively Scalable
⇨ 容易にinternet scaleのアプリケーションが構築可能
⇨ 30 Trillion stored objects (※1)
⇨ 2.5+ Million request/sec on average (※2)
 従量課金
 簡単でOPENなREST APIで公開
 複数のクライアントライブラリのサポート .NET, Java, Node.js,
Python, PHP, Ruby
※１ TechEd 2014 / 2014-05 / Microsoft Azure Storage
http://channel9.msdn.com/Events/TechEd/NorthAmerica/2014/DCIM-B384
※２Azure IaaS for IT Pros Online Event / 2014-12 / View from the CTO: Mark Russinovich
http://channel9.msdn.com/Events/Microsoft-Azure/Level-Up-Azure-IaaS-for-IT-Pros/View-from-the-CTO-Mark-Russinovich-Chief-Technology-Office-Azure

15. 16
http://azure.microsoft.com/ja-jp/regions/
+2

16. Azure Storage 基盤
４つは、共通のAzure Storage基盤の上に構築
Azure Storage Clusters
Table Blob
Disks
FilesQueue

17. Abstractions - Blob, Table, Queue, Files
Storageは4種類
Blob
REST file system
• Block/Page
• Data 共有- image,
video …
• Big Data - raw
data/logs …
• Backup – SQL
Database, file
backup
• Disks – mount
VHDs
Table
structure data
• NoSQL
• key/value
• schema less
• scale
• partitioned
sorted set
Queue
Reliable
messaging system
• component/role
間結合
• 非同期タスクス
ケジュラーの実
装
• process/work
flowsの構築
Files
SMB file share
• 複数インスタン
スからマウント
• 標準的なSMBプ
ロトコル
• config等の共有
preview

18. Blob – massively scalable object store
データ共有
⇨ 画像、動画、非構造化データ
Big Data
⇨ 生データ、ログの保存
Backup
⇨データやデバイスのバックアップ
19

19. Disk(IaaS) – Azure VM向けの永続性Disk
ネットワーク経由でマウント
オンプレからクラウドへの移行
Blobに、保存されたVHDを利用
20

20. Table – Massively scalable NoSQL cloud store
スケールするKey/Value store
トラフィックに応じた自動ロードバ
ランス
構造化データの保存
OData protocol (AtomPub or JSON)
21

21. Queue– Reliable messaging system
高信頼性、低レイテンシ、高スループッ
トなメッセージングシステム
分離されたコンポーネント向け
⇨Web RoleとWorker Role の通信
⇨ロールを別々にスケール
非同期スケジュールの実装に
22

22. STORAGE INTERNALS
2014/2/12 kyrt @takekazuomi 23

23. Design Goals
 強い一貫性の元での高い可用性の実現(Highly Available
with Strong Consistency)
⇨ 障害や分断に直面してもデータアクセスを提供
 永続性（Durability）
⇨ データの複数の複製の保持、（regions を跨いた）
 スケーラビリティ（Scalability）
⇨ zettabytes へのスケール
⇨ 世界中からアクセスできるglobal namespaceの提供
⇨ meet peak traffic での、automatically scale out と load balance
Additional details can be found in the SOSP paper:
⇨ “SOSP 論文 Windows Azure ストレージ: 高可用性と強い一貫を両立する クラウド スト
レージ サービス”, 2011 年 10 月に 23rd ACM Symposium on Operating Systems Principles
(SOSP) で発表された、Windows Azure ストレージ サービスに関する論文 (PDF 1.45MB)
kyrt @takekazuomi 24

24. パフォーマンスターゲット
 Storage Account単位に性能目標がある
 Blob, Table ,Queueのpartition
⇨ Blobは、URL毎、Tableは、 partition key、Queueはqueue毎で別の
partition
 partitionのパフォーマンスターゲット
⇨ 2,000 tran/s(queue/table)
⇨ 480Mbps/s (blob)
 アカウント全体
⇨ 20,000 tran/s(table,queue)
⇨ 受信 – LRS 10GBps, GRS 5GBps （米国 20GBps）
⇨ 送信 – LRS 15GBps, GRS 10GBps （米国 30GBps）
http://msdn.microsoft.com/ja-jp/library/azure/dn249410.aspx
25

25. Partition
 Azure Storageは分散ストレージ
 データはPartitionに分割して処理される
 実際にpartitionと物理マシンの分散は負荷で変わる
（consistent hashingのvirtual nodeの考えと似てる）
 Partitionを跨いだ処理は一貫性が保証されない（分散
トランザクションはサポートしてない、読み取り一貫
性も無い）
 内部的にIDC内で3重化、GEO-REPLICATIONで複製を選
択すると6重に保存される
kyrt @takekazuomi 26

26. Azure Storageのアーキテクチャーコンポーネント
s
front end
partition layer
stream layer
storage stamp
VIP
s
front end
partition layer
stream layer
storage stamp
VIP
DNS
ロケーション
サービス
アカウント管理
DNS参照
blob, table, queueへ
のアクセス
stamp間リプリケーション
stamp内リプリケーション
stamp内リプリケーション
27
非同期
同期

27. 小まとめ
Azure Storageは、分散ストレージ
多重化されてる
⇨stamp内（＝リージョン内）は同期
⇨ リージョン間は非同期
リトライアブルなエラーという概念
⇨クラスター内のインスタンス障害、ロードバラン
ス時、スロットリングのエラーは再試行で成功す
る
28

28. 地理冗長 AZURE STORAGE
2014/2/26 29

29. 柔軟な冗長構成
Azure Storageの大きな特徴 ４つ
LRS：ローカル冗長ストレージ
ZRS:ゾーン冗長ストレージ
GRS:地理冗長ストレージ
RA-GRS:読み取りアクセス地理冗長スト
レージ
30
http://msdn.microsoft.com/ja-jp/library/azure/dn727290.aspx

30. LRSとZRS
ローカル冗長ストレージ (LRS=Locally
Redundant Storage)
⇨データセンター内の同一施設内に3箇所、同期
ゾーン冗長ストレージ (ZRS)
⇨1 つのリージョン内、あるいは2 つのリージョン
に跨がり、2 あるいは3 か所の施設に 3 回レプリ
ケート
31

31. GRSとRA-GRS
地理冗長ストレージ (GRS=Geo Redundant
Storage)
⇨地理的に離れた場所への複製（Local 3箇所＋リ
モート3箇所）、リモートは非同期、フェイル
オーバー
読み取りアクセス地理冗長ストレージ (RA-
GRS=Read Access - Geo Redundant Storage)
⇨地理的に離れた場所にあるデータのRO参照
32

32. 33
スタンプを別のリージョンに置
く
ジオ・リプリケーション（GRS)

33. 34
http://channel9.msdn.com/Events/Microsoft-Azure/Level-Up-Azure-IaaS-for-IT-Pros/View-from-the-CTO-Mark-Russinovich-Chief-Technology-Office-Azure
データセンターのビルディングはフットボールフィールドと同じぐらい
約5,400㎡ぐらい、ジュンク堂書店池袋本店の総売り場面積が、6,614 ㎡

34. 35
リージョンに16棟のビルディング、
最大600,000台のサーバー

35. 注意
GRS, RA-GRS
⇨リージョン間のリプリケーションは非同期
⇨リージョンのセットは決まっている
⇨トランザクションの一貫性単位はローカルと
同じ
⇨ジオフェイルオーバー·プロセスでは最大15分
のデータロスト想定
36
http://blogs.msdn.com/b/windowsazurestorage/archive/2013/12/11/introducing-read-access-geo-replicated-
storage-ra-grs-for-windows-azure-storage.aspx

36. IAAS DISKS
37

37. Azure上でのディスク
Cloud Service
⇨Drive - 永続化されるDisk
Websites
⇨複数インスタンス間で共有
仮想マシン(IaaS)
⇨Temporary Disk
⇨Disk - Virtual Disk
38

38. 39
OS Disk
• Drive C:
• 永続化あり
Temporary Disk
• Drive D:
• 永続化なし
Data Disk
• 任意
• 永続化あり

39. Disks
OS/Data Disk
⇨永続化される
⇨VHDはBlobにStore＝Blobの冗長設定が有効
Temporary Disk
⇨永続化されない＝消えることがある
⇨ローカルディスクなので速い
40

40. Disks (IaaS)
41
Hypervisor
Hardware
Host
OS
Gest OS
Driver Driver
App
NIC
Microsoft Azure
Storage
Page
Blob
http://blogs.msdn.com/b/windowsazurestorage/archive/2012/06/28/exploring-windows-azure-drives-disks-and-images.aspx
Files

41. 利点
Hypervisorが DISK を提供するため、ゲス
トOSに異存しない＝Linuxでも使える
ゲストOSのNICを使わずに、ハードウェア
のNICを使う（ハードウェアを生かせる）
OSからはDISKに見えるので、OSの諸々の
機能が使える（Soft RAIDとか）
42

42. パフォーマンス
DISKあたりで500IOPS
⇨15,000 rpm SAS drives、HDD ~175-210 IOPS
SAS（http://en.wikipedia.org/wiki/IOPS）
性能向上にはSoft RAIDを使う
⇨Windows では Storage Pool
⇨Linux では、md
43

43. Temporary Disk
消えても良いものは積極的に使うべき？
⇨“D シリーズの Virtual Machines (VM) を使用してい
る場合に限り、D ドライブに tempdb またはバッ
ファー プール拡張を格納してください”
• 参照：Azure Virtual Machines における SQL Server のパ
フォーマンスに関するベスト プラクティス
⇨Disk 集中型のワークロードで永続化不要な場合で
も「 D シリーズ」以外はあまりメリット無い
44

44. OS/Data Diskの注意
Diskのパフォーマンスが必要なら仮想マシン
のサイズに注意
I/Oに合わせてCacheを選択
⇨SQL ServerのようなI/O最適化されやアプリでは
NO Cacheが有効
ディスク ストライピング（Soft RAID 0）の利
用
⇨GRをOffに
45

45. GRとRAID0構成の注意
複数のDiskをまとめて使った場合に、書込
の一貫性が保証されない⇒GRはOffにする
46
DiskA
BlobA
DiskB
BlobB
DiskC
BlobC
DiskA
BlobA
DiskB
BlobB
DiskC
BlobC
非同期
リージョン A リージョン B

46. RAID0
RAID0
⇨Windows は、Storage Pool
⇨Linux は、何でも (個人的にはmd）
どうして０？
⇨既に3重にリプリケーションされている
Storage Poolの時は、Virtual DiskのColum数
⇨SEの雑記を読め
47

47. インスタンサイズの制限
DISKの最大数
⇨ サイズによって違う（DISKの数）
• A1:2, A2:4, A3:8, A4:16, A5:4, A6:8, A7:16, A8:16, A9:16
• D1:2, D2:4, D3:8, D4:16, D11:4, D12:8, D13:16, D14:32
StandardとBasic
⇨ Standard:500 IOPS, Basic:300IOPS
Azure の仮想マシンおよびクラウド サービスのサ
イズ（http://msdn.microsoft.com/ja-
jp/library/dn197896.aspx）
48

48. Linuxでの注意点
noatime
IO scheduler
⇨ https://github.com/Azure/azure-
content/blob/master/articles/virtual-machines-linux-
configure-raid.md
Azure Storage secrets and Linux I/O optimizations
⇨ http://blogs.msdn.com/b/igorpag/archive/2014/10/23/az
ure-storage-secrets-and-linux-i-o-optimizations.aspx
49

49. まとめ
50

50. Azure Storage
Azure Storageは永続化共通プラット
フォーム
Storageの実装は分散ストレージ
柔軟な冗長構成が可
リージョン間は非同期
仮想Disk の下回りはBlob
51

51. VM Disk
500 IOPS
RAID0で使う
⇨ GRが利用出来ない
5,000 IOPS
⇨ Premium Storage
⇨ http://azure.microsoft.com/blog/2014/12/11/introducing-
premium-storage-high-performance-storage-for-azure-
virtual-machine-workloads/
DISK集約的なケースでは、Dシリーズがお勧め
52

52. 54
ありがとうございました
※この資料は 2015/01/16 時点の情報を元にしてます