これからのデータセンターが目指す技術(公開用）

これからの
データセンターが
目指す技術
（独）産業技術総合研究所
情報技術研究部門
テクニカルスタッフ
杉田正sugipooh
これからのデータセンターが目指す技術1

2
・自己紹介
・データセンターは電気使いすぎ
・データセンターの３つのタイプ
通信事業者スパコンクラウド
・データセンター省電力化技術
・間接外気冷却
・Googleデータセンター
・再生可能エネルギー
・1台からクラスタへ
・不揮発メモリノーマリオフデータセンター
・データセンターのスパコン化
これからのデータセンターが目指す技術

自己紹介
sugipooh です。
Facebook（IDはsugipooh））））やGoogleで情報を集めて、
ASCII.jp×TECH に「インフラ屋さんの週刊ブックマーク」を連載
Slideshareにて”sugipooh““““で検索
いただくと「データセンターの作り方」
などアップされています。

4
ブレードサーバー高密度実装
日本初大量導入635台
• ファーストサーバー勤務時代
– 日本初大量ブレードサーバ導入
• １１１１ラック耐荷重７７７７５５５５００００KKKKgggg １１１１列１１１１００００ラックでの耐震設計。
• 日東工業・大林組によるシミュレーションによる成果
• １１１１ラック１１１１６６６６００００Aの常識はずれの
高密度設計、安定稼働１１１１１１１１年
• NNNNEEEECCCC８８８８番街でのご紹介
– 「杉田正」でGGGGoooooooogggglllleeee検索いただくと
hhhhttttttttpppp::::////////wwwwwwwwwwww....eeeexxxxpppprrrreeeessssssss....nnnneeeecccc....ccccoooo....jjjjpppp////jjjjiiiirrrreeeeiiii////nnnneeeewwww////ffffiiiirrrrsssstttt////iiiinnnnddddeeeexxxx....
hhhhttttmmmmllll がヒットします。
– 独自設計・通路に扉を設置
– 現在でも先端を行く省エネルギーDDDDCCCC
• DDDDCCCC内風流なコントロール
• ブレードサーバ専用設計
• 1４４４４ラック
• PPPPUUUUEEEE＝＝＝＝２２２２１１１１００００KKKKWWWW÷１１１１５５５５８８８８KKKKWWWW＝＝＝＝約１１１１．．．．３３３３
※PUEとは、
サーバー電力＋空調電力
サーバー電力
であり、最良値が1.0。PUE=2.0ならばサーバーと同じ電力を空調が浪費している。
※有名なIBMブレードサーバCM「広い白い部屋のブレード」時期の３年前

2010年の予想

2010年ごろ

2012年後期Googleデータセンターにおける
電力と冷却ロスは23%以下を実現
先月発売された
Google技術の紹介本

データセンター分電設備
空調機・UPSメーカー
EMERSON社資料
1ラック
２KWから８KWで全体の７０％
1ラック３２KW超が３％もある
今後８~１２KW
が増えるだろう
8

データーセンター電力は今後も増加する
2017年には、全世界電力の３％がデータセンターで消費するという予測もある。

Ericsson Mobility Report June 2013
SlideShareに上がっているEricssonのデータ
2018年にビデオだけのトラフィックが他のトラ
フィック合計を越えると予想している。
上ブレ下ブレ50%も、はずれないだろう。
ビデオ配信はスマホじゃなくてデータセンター
のサーバーから行われるだろうからCDNや
さんが儲かるのかな？
＞
出所：http://www.slideshare.net/Ericsson/
ericsson-mobility-report-june-2013

東京都でデータセンターが使う電力は１１１１２２２２％％％％を越える
国内データセンターの延床面積推定
データセンター事業社数は、現在、国内で300社程度と推定される
今回の当社による調査対象企業：①40社（面接調査企業30社＋ﾃﾞｽｸ
調査企業10社）①以外のデータセンター事業者：②約260社
2011年度(実績)
面接調査企業30社延床面積(㎡) 1,280,455
国内全体延床面積(㎡) 1,789,706
11
2011年2012年2013年
2010年度
(実績)
2011年度
(実績)
約45%が東京に集中している。
2012年度
(予測)
国内データセンター消費電力量(万kWh) 886,134 945,015 1,006,097
前年度比- 6.6% 6.5%
国内データセンター消費電力費(百万円) 106,336 113,402 120,732
前年度比- 106.6% 106.5%
2010年度東京都年間使用電力量（万ｋWh）
32,760百万KWh
（出所：環境省環境統計集国内基本指標）
東京都内データセンター使用電力量2010年度
延床での全国比率45%として
8861.34百万kWh×45%=3,988百万kWh
東京都でデータセンターが使う電力2010年度
3,988÷32,760百万kWh=0.122= 12.2%
出所：：：：ミック経済研究所
ﾃﾞｰﾀｾﾝﾀｰ市場と消費電力・省エネ対策の実態調査【2012年度版】から抜粋
出所：ミック経済研究所

データーセンターには、３つのタイプがある。
１．通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
２．スーパーコンピューターを冷却・収納するタイプ
アースシュミレーターやTUBAME2などを
収容するデーターセンター
３．インターネットサービス用サーバーが大量に
設置されるタイプ
Googleのコンテナや海外Yahooの鶏舎型

13
１．通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
ピアリング
トランジット料が高価
図面出所：IT Pro
http://itpro.nikkeibp.co.jp/article/Keyword/20081125/319829/?SS=imgviewFD=551175525ST=network
光ケーブル接続では、ケーブル利用料＋トランジット料が必要。トランジット料が
高価なため事業者同士でデータを交換するピアリングもある。
NTTコミュニケーションズ東京大手町データセンターが日本の中心。

3年前接続状況
出所：インプレス
14
JPNAP
さくらインターネット
JPIX
OCN
NTTコミュニケーションズ
IIJ
EQUINIX

CERN DataCenter
出所：http://www.zdnet.com/needed-more-than-ever-devops-to-manage-cloud-unpredictability-7000030828/

インターネットサービス用サーバーが
大量に設置されるタイプ
さくらインターネット石狩

日本YahooグループIDCフロンティア
福島県新白河データセンター

Yahoo! JapanプレハブDC
18
出所：DatacenterDynamics
CONVERGED

コンテナ岩見沢
19

大型データセンター内をコンテナで構築

中国漢雲コンテナDC
21 これからのデータセンターが目指す技術

中国電信内モンゴル10万ラックデータセンター
出所：http://www.iemoto.com/2014/06/chinatelecom-innermongolia-idc/

アフリカデータセンター屋根付きコンテナ
出所：DataCenterKnowledge これからのデータセンターが目指す技術23

三菱商事データセンター
24
三菱商事は2013年10月、東京都三鷹市でデータセンターの運用を開始したと発表
した。都心近郊にありながら、完全外気冷房システムを導入したことが特徴」Tiar4に
対応しながら外気冷却を導入している。

建設中：：：：岡山井戸水利用データセンター

：：北海道雪冷却システム利用データセンター
雪冷水
11m
NEDO実証委託
9m

排熱を利用する
「足湯」

シアトルアマゾン本社
アマゾン新本社屋は、自社のデータセンターの熱で暖房
出所：http://www.gizmodo.jp/2014/09/post_15544.html

20MW Bitcoin DataCenter
出所：Bitcoin Hardware Player BitFury Enters Cloud Mining With 20MW Data Center

東大・日立の外気導入DC 運用結果

３．インターネットサービス用サーバーが
大量に設置されるタイプ
Facebook
31
スウェーデン
米国

間接外気冷却装置
• 海外データセンターで採用が始まっている。
– 米国本方式採用60MW以上
– ベルギー、オーストラリア建造中
• 水：空気熱交換器方式
多湿な日本で性能評価
が必要。
• ホコリ・腐食ガスに
影響されずに
PUE=1.1を実現可能

次世代モジュール型データセンタ
従来次世代
の構成
液冷方式による抜熱
液冷および電源直流化を考慮したファンレスサーバ
サーバの省電力運用
直流電源供給と電源アダプティブ制御
外気導入装置
（（グリーンユニット））））
クーリングタワー
モジュール
抜熱
方式
サーバ内空冷ファン液冷
全体空調機外気導入
給電方式交流
全電源装置常時稼働
高電圧直流
負荷に合わせた電源装置数の増減
IT運用方式全マシン常時電源ON 負荷に合わせたマシン数増減→電源ON/OFF
7800mm
2950mm
3000mm

抜熱方式グリーンユニットの動作
• 基本的な運用は、
熱交換器を使い、
間接的に外気を
利用し、モジュール
内の空気を循環
給気ファン
除湿・加湿器
熱交換器
排気ファン
気化冷却器直接給気チャンバ

データセンターが集中する米国Quincy
水力発電所からの供給電力費用が安価＋シアトル～SFO回線がある。
出所：DataCenterKnowledge

Sabyに導入された間接外気冷却機
出所：ムンタース

708 Lynhaven Dr, Lenoir, NC, Google データセンターアメリカ合衆国

Google データセンター水を使って冷却
38

39
熱交換コイル
隙間が空いている
ラック背後のファン群
ホットアイル
床下から冷却水
3ラックで1クラスタを構成？

40
久しぶりに公開されたGoogleお皿サーバー
ファンが無く、小型蓄電池が搭載されている。
http://www.techbang.com/posts/16068-google-taiwan-data-center-tour?
page=1

Google台湾

再生可能エネルギーをデータセンターが使う
出所： NEDO PV Challenges）

Googleは、太陽光発電、風力発電を利用

Googleは、太陽光発電、風力発電を利用
再生可能エネルギー
プロジェクトは、電力
2GW(2000KW)を生成

APPLEデータセンターは、
再生可能エネルギーで稼働
燃料電池と
太陽光発電（計２０MW）
出所：DataCenterKnowledge
APPLEと環境
http://www.apple.com/jp/environment/renewable-energy/

インメモリーで動作する高速サーバーから
1台からクラスタへ
46
頭を切り換える
昔はサーバーベンダーが教えてくれた
クラウドサービス会社は秘密主義

47
SSD RAID とFusion-io
従来からのHDDと何が違う
IOPSが違うDBスピードが上がる
HDD 数百
HDD RAID 百～千
SSD RAID 数万
Fusion-io 数十万

48
出所：：：：パソコン工房Samsung
SSD 840 EVOの「RAPIDモード」を試す
RAPIDモードが速い
出所：：：：マイナビニュース
PlextorブランドのPCIe x2高速SSD
「M6e PCI Express SSD」
別格なM.2 SSDが、SamsungのXP941

1TByteメモリを搭載出来るIAサーバー
49
SK Hynixが128GB DDR4 DIMMの開発発表。
2015年には「デスクトップPCにも1TBメモリ」時代

省電力不揮発高速メモリ
NVDIMM
一般的には、まだOSなどが未対応

Google最新サーバ
IBM Power8
51
Power8は、IBMの22nm SOI(Silicon-On-Insulator)プロセ
スで製造され、ダイサイズ(半導体本体の面積)は650平方
mmと、IntelのサーバーCPUも超えるサイズとなっている。
CPUコアは12コアだが、各コアが8-waySMT(Simultaneous
Multithreading)をサポートしている。そのため、CPU全体で
96スレッドを同時に走らせることができる。

今後必須の重要テクノロジ！！！！
STT-MRAM
世界最高の低消費電力性能を
実現した新方式の不揮発性磁性体メモリ

ストレージメモリとCPUが使うメモリが“地続き”になる。
出所：http://pc.watch.impress.co.jp/docs/column/kaigai/20130918_615784.html?utm_source=bufferutm_campaign=Bufferutm_content=buffer8ffdautm_medium=facebook
ノーマリオフコンピュータ実現へ

日本製メニーコアボード2枚で４,０９６

55
HP とカノニカルのエンジニア、OpenStack 白書を公開
多数のサーバを管理するオーケストラ

クーベルネイテス
Kubernetesの意味と読み方、たぶんわかりました！（？）
出所：
http://www.datacenterknowledge.com/archives/2014/07/10/googles-docker-container-management-project-kubernetes-gets-big-league-support/
56
・意味：ギリシャ語で「人生の道標」
・読み方：クーベルネイテス（koo-ber-nay‘-tace）
Google製Dockerクラスタツール
多数のサーバを管理するオーケストラ
出所：
http://qiita.com/bounscale/items/ad876e6bd256d5d58ebb

CoreOSは「Docker専用のLinux」とも言われる、軽量の
Linuxディストリビューションです。
OSと同じ名前のCoreOS社が開発をしています。
ただ、CoreOSの本質は「Docker専用OS」ということ
ではなく「クラスタ構成」や「フェイルオーバ」が、その本質。
出所： http://wslash.com/?p=5772
57
出所： http://www.atmarkit.co.jp/ait/articles/1405/16/news032.html

58
HDDだけの仮想化
SSD RAIDでの仮想化
Fusion-ioでの仮想化
４
１０～２０
３０～５０
Dockerでの仮想化
２００～

59
ご静聴ありがとうございました。
SNSでお逢いしましょう
Facebook Twitter ASCII×TECH
IDはsugipooh

これからのデータセンターが目指す技術(公開用）

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to これからのデータセンターが目指す技術(公開用）

Similar to これからのデータセンターが目指す技術(公開用） (20)

More from Tadashi Sugita

More from Tadashi Sugita (9)

これからのデータセンターが目指す技術(公開用）