第 34 回インターネット技術第 163 委員会研究会 (ITRC meet34) の RICC 分科会で発表した「RICC update meet34」の資料です。meet33 に参加できなかったので一年分の研究進捗について報告しております。つまるところ、既に発表した資料を切ったり貼ったりしたもの、ということです。

1. RICC
Update
meet34
2013/10/30 ITRC meet34
柏崎 礼生
Cyber Media Center
Osaka University

2. 2012.11.2
1st RICC workshop
@Saga University

3. 2012.11.20
ITRC meet32
@いわき

4. 2013.5.7
2nd RICC workshop
@Kanazawa university

5. 2013.5.23
ITRC meet33
@うめきた

6. 2013.9.6
3rd RICC workshop
@Hokkaido University
with Cloud Week 2013

7. 資金
big budgets

8. 不採
科学研究費助成事業
択

9. 不採
先進的通信アプリケーション
開発推進事業
択

10. 不採
択

11. …
真
っ
白
に
な
完
。
燃
え
尽
き
た
、
燃
え
た
よ
、

12. DR
Disaster Recovery

13. 1978

14. Sun Information Systems

15. mainframe
hot site

16. 80- 90

17. Realtime
Processing

18. POS
point of sales

19. 90- 00

20. the Internet

22. 2001.9.11
September 11 attacks

23. 2003.8.14
Northeast blackout of 2003

24. in Japan

25. 2011.3.11
The aftermath of the 2011
Tohoku earthquake and tsunami

26. BCP
Business Continuity Plan

27. 館林市
Tatebayashi City

28. 群馬
Gunmma prefecture

29. DR
Disaster Recovery

30. ２つで
十分ですよ？

31. 学際大規模情報基盤
共同利用・共同研究拠点

32. 国立情報学研究所

33. 北見工大
University of the
Ryukyus
琉球大学
SINET
最長
Kitami Institute of
Technology

34. XenServer 6.0.2
CloudStack
4.0.0
University of the
Ryukyus
CloudStack
4.0.0
XenServer 6.0.2
Kitami Institute of
Technology

35. problems

36. shared
storage

37. ≒50ms

38. RTT
> 100ms

39. Storage XenMotion
Live Migration
without shared storage
> XenServer 6.1

40. VSA
vSphere Storage Appliance

41. WIDE cloud
different translate

42. Distributed
Storage

43. requirement

44. 120000
120000
Kbytes/sec
100000
80000
60000
40000
20000
064
100000
High
Random R/W
Performance
80000
60000
40000
20000
0
16384
4096
1024
256 1024
409616384
65536
262144
16
1.04858e+06
4.1943e+06
File size in 2^n KBytes
1.67772e+07 4
6.71089e+07
256
64 Record size in 2^n Kbytes

45. POSIX準拠
interface protocl
NFS, CIFS, iSCSI

46. RICC
Regional InterCloud Committee

47. Distcloud
広域分散仮想化環境

48. Con$idential
Global VM migration is also available by sharing "storage space" by VM host machines.
Real time availability makes it possible. Actual data copy follows.
(VM operator need virtually common Ethernet segment and fat pipe for memory copy)
live migration of VM
between distributed areas
after Migration
TOYAMA site
Copy to DR-sites
TOKYO site
before Migration
Copy to DR-sites
OSAKA site
Copy to DR-sites
real time and active-active features seem to be just a simple "shared storage".
Live migration is also possible between DR sites
(it requires common subnet and fat pipe for memory copy, of course)

49. Con$idential
Front-end servers aggregate client requests (READ / WRITE) so that,
lots of back-end servers can handle user data in parallel & distributed manner.
Both of performance & storage space are scalable, depends on # of servers.
clients
front-end
(access server)
back-end
(core server)
read blocks
READ req.
WRITE req.
write
blocks
Access Gateway
(via NFS, CIFS or similar)
scalable performance &
scalable storage size
by parallel & distributing
processing technology

50. File
block
block
block
block
block
block
block
block
block
node
(core servers)
Hash
consistent
hash

51. Con$idential
1. assign a new unique ID for any updated block (to ensure consistency).
2. make replication in local site (for quick ACK) and update meta data.
3. make replication in global distributed environment (for actual data copies).
back-end
(multi-sites)
Most important !
the key for "distributed replication"
(2) create 2 copies in local
for each user data,
write META data,
ant returns ACK
(1) assign a new unique ID
for any updated block, so that,
ID ensures the consistency
a file, consisted from many blocks
(1)
(1')
multiplicity in multi-location,
makes each user data,
redundant in local, at first,
3 distributed copies, at last.
(3-b) remove one
of 2 local blocks,
in a future.
(3-b)
(3-a)
(3-a) make a copy
in different location
right after ACK.
(3-a)

52. NFS
CIFS
iSCSI

53. r=2
ACK
r=1
write
r=0
redundancy
=3

54. r=2
e=0
r=0
e=1
r=1
e=0
r = -1
e=2
ACK
dundancy
=3
external

55. VM
Hypervisor
10Gbps
1/4U
server
x4
Cisco UCS

56. !
!
!
SINET4
!
!
EXAGE / Storage
!
!
RICC
Copyright © 2012 Yoshiaki Kitaguchi, All right reserved.

57. SINET4 L2VPN, L3VPN
10Gbps
825km
829km
440km
316km
223km
SINET4
417km
274km
RICC
Copyright © 2012 Yoshiaki Kitaguchi, All right reserved.

58. CS
AS
VMM
HS
EXAGE-LAN
CS
EXAGE-LAN
MIGRATION-LAN
MIGRATION-LAN
L2VPN
L2VPN
L3VPN
管理LAN
HS
L3VPN
CS: コアサーバ
HS: ヒントサーバ
AS: アクセスサーバ
VMM: 仮想計算機モニタ
HS
CS
EXAGE-LAN
CS
国立情報学研究所
CS
CS
CS
VMM
管理LAN
AS
L3VPN
CS
L2VPN
CS
金沢大学
L2VPN
広島大学

60. iozone -aceI
a: full automatic mode
c: Include close() in the timing calculations
e: Include flush (fsync,fflush) in the timing calculations
I: Use DIRECT IO if possible for all file operations.

61. write
120000
16384
100000
120000
Kbytes/sec
100000
60000
1024
40000
80000
256
20000
60000
0
64
40000
20000
064
16
16384
4096
1024
256 1024
409616384
65536
262144
16
1.04858e+06
4.1943e+06
File size in 2^n KBytes
1.67772e+07 4
6.71089e+07
64
64
4
256 1024 4096 1638465536 1.04858e+06
262144 4.1943e+066.71089e+07
1.67772e+07
256
Record size in 2^n Kbytes
File size in 2^n KBytes
Record size in 2^n Kbytes
4096
80000

62. write
rewrite
read
reread
100
100
100
80
60
40
60
40
20
20
0
80
10MB
100MB
1GB
0
10GB
Throughput (MB/sec)
120
Throughput (MB/sec)
120
Throughput (MB/sec)
120
100
Throughput (MB/sec)
120
80
60
40
20
10MB
100MB
1GB
0
10GB
random read
60
40
20
10MB
100MB
File size
File size
80
1GB
0
10GB
random write
bkwd read
1GB
10GB
record rewrite
100
100
100
80
60
40
20
0
80
60
40
20
10MB
100MB
1GB
0
10GB
Throughput (MB/sec)
120
Throughput (MB/sec)
120
Throughput (MB/sec)
120
100
Throughput (MB/sec)
100MB
File size
120
80
60
40
10MB
100MB
1GB
0
10GB
10MB
100MB
File size
stride read
fwrite
1GB
10GB
100
0
Throughput (MB/sec)
100
Throughput (MB/sec)
100
20
80
60
40
20
10MB
100MB
1GB
File size
10GB
0
100MB
1GB
File size
10MB
100MB
1GB
legend
従来方式 Exage/Storage
広域対応 Exage/Storage
80
60
40
20
10MB
0
File size
120
40
40
fread
120
60
60
File size
120
80
80
20
20
File size
Throughput (MB/sec)
10MB
File size
10GB
0
10MB
100MB
1GB
File size
10GB
10GB

63. SINET4 Hiroshima University EXAGE L3VPN
SINET4 Kanazawa University EXAGE L3VPN

64. SINET4 Kanazawa University EXAGE L3VPN
SINET4 NII EXAGE L3VPN

69. SC2013
2013/11/17∼22
@Colorado Convention Center

70. 中川郁夫
Ikuo Nakagawa @Osaka Univ, INTEC Inc.

71. 市川昊平
Kouhei Ichikawa@NAIST

72. We have been developing a widely distributed cluster storage system and
evaluating the storage along with various applications. The main advantage of
our storage is its very fast random I/O performance, even though it provides
a POSIX compatible file system interface.
Long Distance Live Migration
for Disaster Recovery
• Long Distance Live Migration with
distributed cluster storage
• Transparent Accessibility during or
after live migration
Applications
on Distributed
Cluster Storage
• Sharing global unique file system on
the distributed cluster storage
• Accessing nearest site based on
file replication algorithm
Content Delivery Platform
over inter-cloud environment
• Deliver large volume data based on
the distributed cluster storage
• Replicate to many sites, automatically
• Works as cache service, as well
Internet
VM
Live Migration
Widely Distributed
Cluster Storage
File Sharing between
inter-cloud environment
Cluster Storage
Delivery Platform

73. もし途絶時間が
無視可能な時間で
マイグレーション
できたなら…

74. VMの所在に頓着
しなくてもいい

75. Available supplies
Frequency
x
cores
VMの所在に頓着
してもいい
time
`

76. 課金は？

79. おもしろくない…

80. 4 cores
8GB memory
40GB storage
仮想マシン
Virtualized Machines (VMs)
仮想化サーバ
Virtualization Servers
interface
ユーザ
Users
クラウド事業者
Cloud Service Provider

81. Frequency
Frequency
≒
cores
Real demand
Imaginary demand
time
仮想マシン
サービス
Virtualized Machines (VMs)
ユーザ
IT services
4 cores
8GB memory
40GB storage
Users
Frequency
cores
time
Imaginary
resource
cores
クラウド事業者
仮想化サーバ
Frequency
Virtualization Servers
cores
time
Cloud Service Provider
Available supplies
time
ユーザがバカであればあるほど
の見積もり誤りが大きいほど
儲けが大きい

82. Frequency
Frequency
Real demand
time
Frequency
cores
time
Frequency
Real demand
Frequency
cores
cores
Real demand
time
cores
Frequency
res
Real demand
cores
Real demand
time
cores
Real demand
time
Real demand
time
time

83. ユーザ
Users
ユーザは複数のサービスを構築
する。
サービスはユーザにエクスペリ
user
experience
構築
エンスを提供する。
エクスペリエンスは、サービスが要求
する単位時間あたりのリソース量に対
サービス
IT services
する、実際に提供されたリソース量の
比によって表現される。

84. ユーザ
Users
サービス
IT services
リソース
提供
リソース
要求
仮想マシン
Virtualized Machines (VMs)
ユーザは複数の仮想マシン
(VM)を確保し、VM上で複数
のサービスが動作する。
サービスはVMにリソースを要
求し、VMはサービスにリソー
スを提供する。
Per day periodicity
Frequency
x
cores
Frequency
x
cores
Per week periodicity
Frequency
x
cores
time (day)
time (sec)
Per year periodicity
Frequency
x
cores
time (sec)
time (week)

85. 提供
要求
仮想マシン
Virtualized Machines (VMs)
仮想化サーバ上で複数のVMが
動作する。
VMは仮想化サーバにリソース
リソース
提供
リソース
要求
を要求し、仮想化サーバはVM
にリソースを提供する。
VMが要求するリソース量はVM
仮想化サーバ
Virtualization Servers
が持つ複数のサービスが要求す
るリソース量の累計。

86. 拠点は複数の仮想化サーバを保
仮想化サーバ
Virtualization Servers
有する。
仮想化サーバは拠点に電力を要
求し、拠点は仮想化サーバに電
電力提供
メンテ命令
増強
拠点
Datacenter
電力
要求
力を提供する他、仮想化サーバ
のON/OFFの管理 (メンテナン
ス)、および仮想化サーバの増
強を施す。

87. 電力提供
メンテ命令
増強
電力
要求
拠点
Datacenter
電力提供
課金
電力要求
電力供給
Power Supplyer
電力供給は複数の拠点に対して
電力を供給し、課金する。
拠点は電力供給に電力を要求し、
電力使用量を支払う。要求する
電力量は仮想化サーバが要求す
る電力量の累計である。

88. 電力
電力供給
メンテナンス命令
増強
仮想化サーバ
拠点
電力
電力供給
Power Supplyer
使用料金
Datacenter
電力要求
VM 作成・変更
削除・移動要求
使用料金
cash back
拠点
電力供給
メンテナンス命令
増強
Datacenter
VM 作成・変更
削除・移動要求
電力要求
Virtualization Servers
Virtualization Servers
リソース情報提供
命令
ョン
シ
リソース
レー
イグ
要求 マ
リソース
提供
仮想マシン
Virtualized Machines (VMs)
マイグレー
ション
管理サービス
リソース情報提供
マイ
グレ
ーシ
ョ
ン命
Administration Service
令
リソース
提供
使用料金
課金
VM 作成・変更
削除・移動要求
仮想マシン
リソース
要求
サービス構築
サービス
IT services
リソース
要求
Virtualized Machines (VMs)
リソース
要求
リソース
提供
仮想化サーバ
ユーザ
エクスペリエンス
Users
サービス
IT services
リソース
提供

89. implementation of
simulator

90. Array
仮想マシン
ユーザ
Virtualized Machines (VMs)
Users
Frequency
x
cores
サービス
Require
user experience
Supply
time (msec)
Frequency
IT services
Per day periodicity
Frequency
x
cores
cores
time (msec)
Per week periodicity
仮想化サーバ
Frequency
x
cores
Virtualization Servers
time (day)
Per year periodicity
拠点
Frequency
x
cores
Datacenter
time (week)
time

91. strategy of
migration

92. 拠点
Datacenter
Virtualization Servers
仮想マシン
Virtualized Machines (VMs)
Migration
仮想化サーバが
ダウンする時は
事前に
マイグレーション
仮想化サーバ
Supply
Virtualization Servers
仮想マシン
Virtualized Machines (VMs)
仮想化サーバ
Virtualization Servers
worsen UX
time (msec)
リソースの潤沢な
Migration 仮想化サーバに
動的に
マイグレーション
Available supplies
Frequency
Maintainance
Mode
仮想化サーバ
Require
Frequency
x
cores
cores

93. IOTS2013
2013/12/12∼13
@広島大学東広島キャンパス

94. Future Works

95. 科学研究費助成事業

97. Big Data
Analysis

98. go to
next stage

99. 高野了成@産総研
伸縮自在なデータセンターを実現する
インタークラウド資源管理システム

100. 村田健史@NICT
ビッグデータ時代の科学研究技術：
データ指向型研究を支えるマッシュアップ技術