20141211 ビッグデータ基盤勉強会

1. 不不揮発メモリとOS研究にまつわる何か
産業技術総合研究所
情報技術研究部⾨門
⾼高野 了了成
1
2014/12/11 ビッグデータ基盤勉強会@NTT武蔵野研究開発センタ

2. ポジショントーク（１）
計算機アーキテクチャの進化≒メモリ技術の進化
Ꮫ᣺165 @ᮾ኱
– 仮想記憶： メモリが沢⼭山欲しい
– キャッシュ：メモリを早くしたい
– ストレージクラスメモリ
2
SCMRequirement
ExpectedFuture
SRAM
NANDFlash
HDD
5ns
50ns
1ms
10ms
DRAM
SCM
z SCMismainapplicationtechnologies
z SCMRequirement
z Performance
BetweenDRAMandz Density(bitcost)
BetweenDRAMandIn2015,
bits
4G
128G
メモリ階層の深化

3. ポジショントーク（２）
• 次世代（不不揮発）メモリは計算機アーキテクチャ、
特にシステムソフトウェアに変⾰革をもたらすか？
– 「Yes!!」（と思いたい）
– 可能性は未知数
• 特性の異異なるメモリをどう使いこなすかが課題
– ユニバーサルメモリは幻想？
• 本研究会への期待
– ビッグデータ処理理系、アーキテクチャの研究者との
ディスカッション・コラボレーション
3

4. 発表の流流れ
• 産総研IMPULSEプロジェクトの紹介
• 不不揮発メモリを活⽤用したOS研究（始めました）
4

5. 5
Architecture
Front-End Cluster
Web
250 racks
Ads 30 racks
Cache (~144TB)
Multifeed 9 racks
Other small services
Five Standard Servers
Service Cluster Back-End Cluster
Search Photos Msg Others UDB ADS-DB Tao Leader
“Flash at Facebook”,
Flash Summit 2013
Standard
Systems
I
Web
III
Database
IV
Hadoop
V
Photos
VI
Feed
CPU High
2xE5*2670
High
2xE5*2660
High
Low High
2xE5*2660 2xE5*2660
Memory Low High
144GB
Medium
64GB Low High
144GB
Disk Low HighIOPS
3.2TBFlash
High
15x4TBSATA
High
15x4TBSATA Medium
Services Web,Chat Database Hadoop
(bigdata) Photos,Video MulPfeed,
Search,Ads

6. Open Compute Project
6
• コモディティ製品の利利⽤用から、ユーザ主導の設計へ
• 2011年年4⽉月に⽶米フェイスブックが、同社データセンター
におけるサーバや設備の仕様をオープンソース化
• ⼤大規模データセンターの集積度度や省省エネルギー性の向上
– Industry Standard: 1.9 PUE
– Open Compute Project: 1.07 PUE
• サーバ、ストレージ、ラック、ネット
ワークスイッチ、データセンター設計
などに関する仕様が公開
• 製品化の開始：Quanta Rackgo X,
GIGABYTE DataCenter Solution
Open Compute Rack v2（右図）

7. 7

8. HP “The Machine”
8
⽤用途特化型コア ＋
（SoC）
ユニバーサル
フォトニクス ＋ メモリプール
（＋ファブリック）

9. ここ⼀一年年近くの動向まとめ
• 皆同じようなことを考えている
– Open Compute Project (Facebookなど)
– Rack Scale Computing (Intel)
– Extremely Shrinking Computing (IBM)
– The Machine (HP)
– FireBox (UCB)
– CTR Consortium (MIT)
• 基本アイデアは３つの組み合わせ
– パワフルなノード（計算機、メモリ、ストレージ）
– 超広帯域光インターコネクト
– 光スイッチによるネットワーク
• ただし、コンセプト先⾏行行で、皆、絵に描いた餅の状態
9

10. ⾼高電⼒力力効率率率⼤大規模データ処理理イニシアチブ（IMPULSE）
超省省電⼒力力で超⾼高性能な⾰革新的データ処理理により
書き換え電⼒力力 1/100
・・・
不不揮発メモリ
・・・
Optical
Network
Future data center
省省電⼒力力ロジック・
シミュレーション
0.4V動作三次元ロジック
NVRAM
光ネットワーク
Logic I/O
NVRAM
Logic
I/O
NVRAM
Logic
I/O
×

11. Separated packages 2.5D stacked package 3D stacked package
データセンター㻻㻿
データフロープランニング資源モニタリング・管理理
2014 2020 2030

12. 動作電⼒力力 1/1000
⼤大規模データ活⽤用技術開発を主導
10
アーキテクチャ
サーバモジュール
光ネットワーク
ストレージ

13. 11
㟁ᅽ㥑ືᆺ୙᥹Ⓨᛶ☢Ẽ䝯䝰䝸
●電圧による新しい低消費電力スピン制御技術を開発
●従来の電流駆動型と比較して1/100以下の低消費電力化が可能
●超低消費電力駆動な不揮発性磁気メモリの実現に貢献
電子が有する電荷とスピンの２つの自由度を同時に活用する
新しいエレクトロニクスデバイスの創製
応用デバイス例
MgO-MTJ
MgO磁気トンネル
接合(MTJ)素子
MgO-MTJ
高感度磁気ヘッド
不揮発性固体磁気メモリ
現状
本プロジェクトのターゲット
スピンの制御に大きな電流が必要
電圧駆動型へ
スピントルク型
1996年 ～ Slonczewski, berger
電流磁界型
1820年 ～ Oersted
20 nm
スピントロニクスの応⽤用
電圧駆動型不不揮発性磁気メモリ
スピンの向きを電圧印加により操作

14. ḟୡ௦䝕䞊䝍䝉䞁䝍䞊ෆග䝛䝑䝖䝽䞊䜽
●シリコンフォトニクスによる大規模クラスタースイッチを開発
●波長多重・多値変調によるエラスティック光インターコネクト実証
●3-4桁小さなエネルギーで動作するビッグデータ時代の光ネットワークを実現
䝕䞊䝍䝉䞁䝍䞊䞉䝃䞊䝞䞊䝷䝑䜽 䝅䝸䝁䞁䝣䜷䝖䝙䜽䝇䞉
Ἴ㛗ከ㔜䞉ከ್ኚㄪ 䜽䝷䝇䝍䞊䝇䜲䝑䝏
ග䜲䞁䝍䞊䝁䝛䜽䝖
DSP
Comb Tx Rx
source
Memory
cube
CPU
/GPU
2.5D-CPU䜹䞊䝗
変調器波長合波器
ග䝇䜲䝑䝏䞉䝏䝑䝥
⌧≧㟁Ẽ䝇䜲䝑䝏ᐜ㔞䠖
䡚㻝㻟㻜㼀㼎㼜㼟
䊼
䡚㻡㻜㻜㻼㼎㼜㼟䜈
Ἴ㛗ᩘ ከ್ᗘ ⥲ᖏᇦ
1 1 20 Gbps
4 8 640 Gbps
32 8 5.12 Tbps
波長分波器
波長バンク
（非線形光コム） ・・・
光ファイバ
シリコンフォトニクス集積
Ø Ἴ㛗䝞䞁䜽ከ㔜᪉ᘧ䛸ከ್ኚㄪ䛻䜘䜚䚸ᖏᇦ䛜ఙ⦰⮬ᅾ䚷
Ø 䝅䝸䝁䞁䝣䜷䝖䝙䜽䝇䛻䜘䜛㉸
ᑠᆺ໬䞉኱つᶍ㞟✚
Ø 䜰䝰䝹䝣䜯䝇䝅䝸䝁䞁
䠏ḟඖග㓄⥺
Ø 䝃䞊䝞䜰䞊䜻䝔䜽䝏䝱
⌧≧䛿䚸䝣䜯䜲䝞䛒䛯䜚
㻝㻜㻜㻳㼎㼜㼟
䊼
䡚㻌㻡㻚㻝㻞㼀㼎㼜㼟䜈
㻝㻞
⌧ᅾ䚸FSᐇ᪋୰

15. 13
AISTʼ’s dataflow centric architecture
DPC
(GPU+
mem)
Network
Warehouse scale infrastructure
DPC
(Storage
+ proc)
DPC
(Storage
+ proc)
DPC
(Storage )
DPC
(Storage)
DPC
(Storage)
DPC
(spec.
HW
+mem)
DPC
(spec.
HW
+mem)
DPC
(Proce
ssor)
DPC
(Proce
ssor)
DFOS
DPF
1
DPF 3
(Data archive)
DPF
2
DPC:
Data Processing Component
DPF:
Data Processing Function
DFOS:
Data Flow Operating System

16. シンポジウム開催予告
• 産総研STARシンポジウム「⼤大規模データ処理理を
実現する超省省電⼒力力ハードウェアの将来像」
• 開催概要
– ⽇日時：2015年年1⽉月26⽇日（⽉月）10:00〜～17:30
– 場所：コクヨホール（品川）
– 主催：（独）産業技術総合研究所／⽇日本を元気にす
る産業技術会議
– 後援：⽇日本経済新聞社
– 参加費：無料料
– 定員：300名
– URL：https://unit.aist.go.jp/raipl/star/impulse/sympo.html
14

17. （歴史的）不不揮発メモリ
15
A 32 x 32 core memory
plane storing 1024 bits
of data [Wikipedia]
A drum memory of Polish
ZAM-‐‑‒41 computer [Wikipedia]
→コアダンプの由来
→/dev/drum
（スワップデバイス）の由来

18. （次世代）不不揮発メモリ
• 相変化メモリ（PCM）
– 加熱によって結晶状態（低抵抗状態）と⾮非結晶状態
（⾼高抵抗状態）を制御
• 抵抗変化メモリ（ReRAM）
– 電圧パルスの印加によって電気抵抗を制御
• 磁気抵抗メモリ（MRAM）
– 磁化⽅方向の違いを電気抵抗に変換
• スピン注⼊入メモリ（STT-‐‑‒MRAM）
– MRAMの⼀一種。スピンにより磁化反転
16

19. 不不揮発メモリ
17
アモルファス
⾼高抵抗
PCMSTT-‐‑‒MRAM
結晶
低抵抗
磁化が反平⾏行行
⾼高抵抗
磁化が平⾏行行
低抵抗
加熱
ReRAM
還元
⾦金金属酸化物セット状態
酸化
リセット状態

20. “RRAM Opportunity for High density memory application”,
S. Chung@SK hynix, Flash memory summit 2014.
2013 FMS, RRAM session
18
RRAM Potentials
ƒ Requirements for SCM
• Non-volatile, byte accessible
• High capacity + Short latency + Wide B/W @ moderate power
ƒ ReRAM is a good candidate
• Smaller power consumption than PRAM (I_reset 1/3)
• Cross Point Array (XPA) + Multi-Level Stacking (MLS)
Flash Memory Summit 2014
Santa Clara, CA 4

21. “Prospect for New Memory Technology”,
S. W. Park@SK hynix, Flash memory summit 2012.
Drop in Replacement
▶ Compatible Interface with Conventional Memory
(DDRx / LPDDRx)
Cost Power (vs. DRAM)
▶ Cost Down No Refresh-Power
(Scalability Non-Volatile)
Reliability Performance (vs. NAND)
▶ Implement Native High IOPS
(Byte Operation, Better than NAND Reliability)
10
SCM
DRAM
(Cost, Power)
*) New memory technology should meet at least one of requirements
Reliability Performance
Density
New Memory : Requirements
DRAM
(Cost, Power)
NAND
(Reliability)
19

22. 計算機アーキテクチャと
不不揮発メモリ
20
CPU
NVRAMDRAM
CPU
NVRAM
DRAM
CPU
NVRAM
(A) Replace disk(B) Shared address space(C) Entirely NVRAM
※EverspinのSTT-‐‑‒MRAMはDDR3互換
インタフェースで接続

23. Storage Class Memory (1)
Phillip Mills (IBM), “Storage Class Memory –
the Future of Solid State Storage,” SNIA 2009
21
12
SCMRequirement
Ꮫ᣺165 @ᮾ኱
ExpectedFuture
SRAM
NANDFlash
HDD
5ns
50ns
1ms
10ms
DRAM
SCM
z SCMismainapplicationforReRAM
technologies
z SCMRequirement
z Performance
BetweenDRAMandNAND
z Density(bitcost)
BetweenDRAMandNAND
In2015,
Keyaspectistorealizeatleast16Gbit astheproduct
bits
4G
128G
Memory positionApplication Usage
byte
addressing
block
addressing

24. Storage Class Memory (2)
※出典
ストレージインタフェースを採⽤用する限り、
不不揮発性メモリの⾼高速化のメリットは⼩小
→ OpenNVM, Linux Persistent Memory
(DAX, etc)
22
12
SCMRequirement
Ꮫ᣺165 @ᮾ኱
ExpectedFuture
SRAM
NANDFlash
HDD
5ns
50ns
1ms
10ms
DRAM
SCM
z SCMismainapplicationforReRAM
technologies
z SCMRequirement
z Performance
BetweenDRAMandNAND
z Density(bitcost)
BetweenDRAMandNAND
In2015,
Keyaspectistorealizeatleast16Gbit astheproduct
bits
4G
128G
HardwareFile SystemSystem call
HDD6900μs
SSD100μs4μs1μs
New NVMs5μs
※筒井（ソニー）”⾼高速ReRAMの応⽤用技術,” 学振165, 2014

25. 不不揮発メモリとOS研究
• 夢の？単⼀一記憶（ワンレベルストア）
– メモリ＝ストレージ
– ページキャッシュは不不要
– ページングも不不要？ 保護の仕組みは？
• 不不揮発ならではの悩み
– プログラムのライフサイクル管理理（起動、停⽌止、更更
新）への影響
– セキュリティを考慮すると、明⽰示的な消去も必要
23
K. Bailey, L. Steven, D. Gribble, H. Levy, Operating System
Implications of Fast, Cheap, Non-‐‑‒Volatile Memory, HotOS11

26. 関連研究
• ファイルシステム
– Unioning of the buffer cache and journaling layers
[FAST13]
– Byte addressable file system (BPFS) [SOSP09]
• ストレージ
– Whole-‐‑‒system persistence [ASPLOS12]
– NV-‐‑‒Heap [ASPLOSS11]
– Mnemosyne [ASPLOS11]
• プロセスの永続化
– NV-‐‑‒Process [APSys12]
• Linux kernel
– Block I/F: NVMeドライバ
– Memory I/F: PMFS、DAX
24

27. OS研究とDB研究
• 70〜～80年年代：UNIX
– Ingres（PostreSQLの先祖）
• double buffering問題
• “Operating System Support for Database Management,”
M. Stonebraker, CACM, Vol.24, No.7, July 1981
• 90年年代：マイクロカーネル
– ライブラリOS（e.g., exokernel）
– 64ビット単⼀一アドレス空間OS（e.g., Opal）
– オブジェクト指向DB
• プログラミング⾔言語のオブジェクトの永続化
• データ間のリンクをポインタで表現（Pointer swizzling）
• 2010年年代：仮想化、メニーコア化
– ビッグデータ処理理系（e.g., Hadoop）
• スケーラビリティ、耐障害性
25

28. DB専⽤用OSの可能性
• ライブラリOSの利利⽤用
– OSはホワイトボックスに
– c.f. データセンタ向けに特化した⾼高速I/Oを有する
ライブラリOS研究（e.g., Arrakis, IX [OSDI14]）
– ⾼高い抽象度度のOS・VM間I/F
• OSはファイルシステムもネットワークスタック不不要
What is OSv?
Traditional Stack Thin OS
Java App
App Server
Hypervisor
Hardware
JVM
guest OS
C++ App
guest OS
App Server
OSv + JVM
Your App
Hypervisor
Hardware
Your App
OSv
26
OSOSOS
Tuple space (dKVS)
VMMVMMVMM