様々なデータセンター Sugipooh

1. 様々なデータセンター 1 様々なデータセンター様々なデータセンター様々なデータセンター様々なデータセンター LXスタイル杉田正 sugipooh

2. 2 はじめにはじめにはじめにはじめに GoogleGoogleGoogleGoogle検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでしょうか？ょうか？ょうか？ょうか？ GoogleGoogleGoogleGoogle検索検索検索検索100100100100件は、件は、件は、件は、 GoogleGoogleGoogleGoogleは仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。１ヵ月の電気代１ヵ月の電気代１ヵ月の電気代１ヵ月の電気代は？は？は？は？様々なデータセンター 2

3. 3 はじめにはじめにはじめにはじめに GoogleGoogleGoogleGoogle検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでしょうか？ょうか？ょうか？ょうか？ GoogleGoogleGoogleGoogle検索検索検索検索100100100100件は、件は、件は、件は、60606060ワットワットワットワットの電球をの電球をの電球をの電球を28282828分間点灯分間点灯分間点灯分間点灯に相当に相当に相当に相当？？？？ GoogleGoogleGoogleGoogleは仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。１ヵ月の電気代１ヵ月の電気代１ヵ月の電気代１ヵ月の電気代は？は？は？は？１台１台１台１台200W200W200W200Wとしてとしてとしてとして 0.2KVA0.2KVA0.2KVA0.2KVA××××24h24h24h24h××××30Day30Day30Day30Day××××22222222円円円円====約約約約3,0003,0003,0003,000円円円円 3,0003,0003,0003,000円円円円××××90909090万台万台万台万台==== ２７億円２７億円２７億円２７億円（日本基準：現実には（日本基準：現実には（日本基準：現実には（日本基準：現実には10101010億円以下と予測）億円以下と予測）億円以下と予測）億円以下と予測）クラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないといけません。いけません。いけません。いけません。現状現状現状現状会社名会社名会社名会社名所有数所有数所有数所有数仮想サーバー合計仮想サーバー合計仮想サーバー合計仮想サーバー合計全世界全世界全世界全世界DCDCDCDC数数数数マイクロソフトマイクロソフトマイクロソフトマイクロソフト 100100100100万台万台万台万台不明不明不明不明 20202020～～～～100100100100 GoogleGoogleGoogleGoogle 90909090万台万台万台万台 300300300300万台万台万台万台 10101010 FacebookFacebookFacebookFacebook 70707070万台万台万台万台不明不明不明不明 5555 AmazonAmazonAmazonAmazon 50505050万台万台万台万台不明不明不明不明 20202020 いずれいずれいずれいずれも杉田推測も杉田推測も杉田推測も杉田推測様々なデータセンター 3

4. データーセンターには、３つのタイプがある。３．インターネットサービス用サーバーが大量に設置されるタイプ Googleのコンテナや海外Yahooの鶏舎型１．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター２．スーパーコンピューターを冷却・収納するタイプアースシュミレーターやTUBAME2などを収容するデーターセンター様々なデータセンター 4

5. １．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター様々なデータセンター 5 第1次データセンター建設ラッシュ金融関係において、汎用機を設置する場所として、昭和28年ごろよりデータセンターは建設されている。JQA（日本品質保証機構）におけるデータセンター安全対策適合証明により建設場所は非公開である。現在はFISC（金融情報システムセンター）が発行する「金融機関等コンピュータシステムの安全対策基準」が利用され建設及び運用されている。データセンター間は専用線で接続。 JDCC（日本データセンター協会：設立は2008年）が規定する「データセンターファシリティ基準」でのTieaは設備冗長化を示すが世界的に通信事業者が作るデータセンターは全てが冗長化されたTier3レベルなデータセンターが多い。 NTTグループでは、電話交換機デジタル化小型化により、空いたスペースにデータセンターを構築して「場所貸し」（コロケーションサービス）が1990年代より行われている。 IIJから始まる民間インターネット接続（ISP）を利用して、Web、Mailサーバーなどを置きサーバーを貸し出すホスティングサービスも90年後半から始まった。当時のISDN、ADSLでは上り回線スピードが遅く、サーバーは大手町に太い回線を持つ場所＝データセンターに設置する必要があった。

6. １．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター様々なデータセンター 6

7. １．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター様々なデータセンター 7 1990199019901990年竣工年竣工年竣工年竣工 IBMIBMIBMIBM「東西「東西「東西「東西2222大電算センター」構想の一環として建設された大電算センター」構想の一環として建設された大電算センター」構想の一環として建設された大電算センター」構想の一環として建設されたデータセンター。データセンター。データセンター。データセンター。建設当時、データセンターとしては国内建設当時、データセンターとしては国内建設当時、データセンターとしては国内建設当時、データセンターとしては国内最大規模。最大規模。最大規模。最大規模。 IBMIBMIBMIBM社同規模社同規模社同規模社同規模DCDCDCDCが東京にあるが公開されていない。が東京にあるが公開されていない。が東京にあるが公開されていない。が東京にあるが公開されていない。（幕張に（幕張に（幕張に（幕張に2007200720072007ごろ新ごろ新ごろ新ごろ新DCDCDCDCが追加されている）が追加されている）が追加されている）が追加されている） 90909090年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。汎用機設置場所としてのデータセンター。NTTが提供する「専用線」でつながっていた

8. NTT大手町 8

9. １．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター様々なデータセンター 9 東京で大手町以外に最初に出来たデータセンター大手町ー池袋間に回線を引き、1997年商用のインターネットエクスチェンジ(IX) サービス開始。（電力系）同年大手町にKDDI系の日本インターネットエクスチェンジ(JPIX)も始まる。（メーカー系）新宿副都心が整備され、大手町ー新宿間も回線が引かれ、新宿にもデータセンターが建設されてゆく。新宿にデータセンターを持つ旧丸紅ソリューションは東京ー大阪間も接続した。出所：https://www.marubeni-access.com/ja/corporate/business_field/

10. 10 １．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター図面出所：IT Pro http://itpro.nikkeibp.co.jp/article/Keyword/20081125/319829/?SS=imgview&FD=551175525&ST=network 光ケーブル接続では、ケーブル利用料＋トランジット料が必要。トランジット料が高価なため事業者同士でデータを交換するピアリングもある。 NTTコミュニケーションズ東京大手町データセンターが日本の中心。ピアリングトランジット料が高価様々なデータセンター

11. １．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター様々なデータセンター 11 100KVA以上のデータセンターは全国400カ所程度（推定）。そのうち40%がNTTグループ。東京には、約300カ所集中している。 NTT局舎を改造したデータセンターは日本各地にある。 NTT以外のデータセンターでは、沖縄、博多、北九州、松江、高松、岡山、大阪、京都、小浜、金沢、富山、岐阜、名古屋、静岡、新横浜、三鷹、成田、埼玉、館林、新白河、仙台、札幌、石狩などがある。東京の主たるデータセンター事業者出所：株式会社スカイアーチネットワークス引用先：Tomocha WikiPlus IT事業者の東京集中、回線接続料の安さからデータセンターは東京に集中している。

12. 12 １．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター KVHテレコムブロードバンドタワー IDCフロンティアビットアイル代表的なデータセンター大手事業者

13. 13 大阪データセンター大手事業者京阪神不動産１．通信機用に設計された安定度の高いタイプ日本にある、ほとんどのデーターセンター関西のデータセンターは大阪以外に京都（京都リサーチパークが有名）、神戸、明石、三田、岡山、などにも点在する。

14. 様々なデータセンター 14 3年前接続状況出所：インプレスプロ回線は100Mbps1ヶ月の使用料が30万円～70万円で有るため回線を安価に接続できる場所にデータセンターが有る。

15. 様々なデータセンター 15 3年前接続状況出所：インプレス JPNAP さくらインターネット JPIX OCN NTTコミュニケーションズ IIJ EQUINIX

16. 海外の安定度の高いデータセンター Oracle data center in Austin, Texas. The exterior of Intel's IDC 9 in Haifa, Israel 様々なデータセンター 16

17. Microsoft data center in Quincy, Washington 様々なデータセンター 17 海外の安定度の高いデータセンター

18. １．金融・通信用に設計された安定度の高いタイプ – 上海市の浦東地区にデータセンター「TELEHOUSE上海」 • 「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視するところが増えている」るところが増えている」るところが増えている」るところが増えている」 – 天津天津天津天津TISTISTISTIS海泰海泰海泰海泰 • 日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「JP1JP1JP1JP1」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する • 「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率99.9899.9899.9899.98％を上回る％を上回る％を上回る％を上回る『『『『Tier3Tier3Tier3Tier3』』』』をクリアしたものだをクリアしたものだをクリアしたものだをクリアしたものだけを顧客に提供するけを顧客に提供するけを顧客に提供するけを顧客に提供する (NTT(NTT(NTT(NTTコミュニケーション）コミュニケーション）コミュニケーション）コミュニケーション） – 日立製作所などが山東省済南市に日立製作所などが山東省済南市に日立製作所などが山東省済南市に日立製作所などが山東省済南市に建設したデータセンター建設したデータセンター建設したデータセンター建設したデータセンター – 富士通富士通富士通富士通広東省仏山市に「富士通広東省仏山市に「富士通広東省仏山市に「富士通広東省仏山市に「富士通華南データセンター」華南データセンター」華南データセンター」華南データセンター」日経日経日経日経ITProITProITProITProより引用より引用より引用より引用 http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/ 様々なデータセンター 18

19. パリ Cloudwatt 19 イルセガン·リーヴドセーヌは、理想的にはグランドパリと文化·バレーの中心部に位置ブーローニュビヤンクールにある古いルノープロット用にプログラム74ヘクタールの開発プロジェクトです。」欧州のデータセンターは建物デザインがかっこいいですね。建造中の写真なども公開

20. カナダ TELUS 20 バンクーバー地域暖房システムと連動する Telus社データセンター

21. 様々なデータセンター 21 大学・研究機関計算センター大学・研究所には「計算センター」として大規模な数MWデータセンターがあります。スーパーコンピュータセンターとして大型ビルを建築され収納されている理化学研究所・富士通「京」（10MW）、古くは海洋研究開発機構・NEC「地球シミュレータ」(6MW）などがあります。大規模なPCクラスタを運用するデータセンターとして東京工業大学「Tubame」、筑波大学、札幌大学などがあります。産総研も本部・情報棟２Fに 1MWのデータセンターを持っています。データーセンターには、３つのタイプがある。２．スーパーコンピューターを冷却・収納するタイプアースシュミレーターやTUBAME2などを収容するデーターセンター

22. ２．スーパーコンピューターを冷却・収納するタイプアースシュミレーターやTUBAME2などを収容するデーターセンター東京工業大学スパコン TUBAME2 スパコンTop500で現在世界4位演算性能/消費電力で世界1位 TUBAME1の設備を流用しながら構築左図はASCII.technologies12月号から引用様々なデータセンター 22

23. 様々なデータセンター 23 ２．スーパーコンピューターを冷却・収納するタイプアースシュミレーターやTUBAME2などを収容するデーターセンター Tubame2.5-KFC 液浸により省エネ性能が高い液浸により省エネ性能が高い液浸により省エネ性能が高い液浸により省エネ性能が高い工事中風景稼働風景

24. Spring8 水冷ラックにより外気導入している様々なデータセンター 24 ２．スーパーコンピューターを冷却・収納するタイプアースシュミレーターやTUBAME2などを収容するデーターセンター総数１０００ラックを超える必要なラックだけを冷却

25. ・・・・46MW を湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンター CERN 出所：2010年11月26日様々なデータセンター 25 ２．スーパーコンピューターを冷却・収納するタイプアースシュミレーターやTUBAME2などを収容するデーターセンター

26. 様々なデータセンター 26 データーセンター電力データーセンター電力データーセンター電力データーセンター電力は今後も増加するは今後も増加するは今後も増加するは今後も増加する

27. 様々なデータセンター 27

29. 様々なデータセンター 29 データーセンターの省電力化データーセンターの省電力化データーセンターの省電力化データーセンターの省電力化データセンターのデータセンターのデータセンターのデータセンターの空調機電力空調機電力空調機電力空調機電力をををを削減削減削減削減するするするする方法方法方法方法 ①①①① 空調機空調機空調機空調機をををを新型新型新型新型にににに交換交換交換交換（（（（冷凍圧縮機効率冷凍圧縮機効率冷凍圧縮機効率冷凍圧縮機効率がががが大幅大幅大幅大幅にににに改善改善改善改善）））） ②②②② 空冷空冷空冷空冷とととと水冷水冷水冷水冷をををを併用併用併用併用 ③③③③ ヒートシャッターによるヒートシャッターによるヒートシャッターによるヒートシャッターによる冷気冷気冷気冷気エリア・エリア・エリア・エリア・暖気暖気暖気暖気エリアのエリアのエリアのエリアの分離分離分離分離 ④④④④ 外気導入外気導入外気導入外気導入（（（（直接直接直接直接・・・・間接間接間接間接）））） ⑤⑤⑤⑤ 新型新型新型新型UPSUPSUPSUPS（（（（無停止電源無停止電源無停止電源無停止電源））））ややややHVDCHVDCHVDCHVDC（（（（高圧直流電源高圧直流電源高圧直流電源高圧直流電源））））のののの導入導入導入導入 ⑥⑥⑥⑥ 40℃40℃40℃40℃にににに耐耐耐耐えるサーバのえるサーバのえるサーバのえるサーバの導入導入導入導入（（（（冷気冷気冷気冷気エリアのエリアのエリアのエリアの室温室温室温室温をををを上上上上げるげるげるげる）））） ⑦⑦⑦⑦ サーバサーバサーバサーバ仮想化仮想化仮想化仮想化によるサーバによるサーバによるサーバによるサーバ集約集約集約集約いずれもいずれもいずれもいずれも冷凍空調機冷凍空調機冷凍空調機冷凍空調機のののの運転時間運転時間運転時間運転時間をををを減減減減らすらすらすらす方法方法方法方法でででで実例実例実例実例ではではではでは、、、、 ①①①①とととと③③③③をををを併用併用併用併用空調機電気使用料空調機電気使用料空調機電気使用料空調機電気使用料をををを３０３０３０３０％％％％からからからから６０６０６０６０％％％％ PUE=PUE=PUE=PUE=１１１１．．．．３３３３前後前後前後前後までまでまでまで削減可能削減可能削減可能削減可能ですですですです。。。。 ④④④④のののの直接外気導入直接外気導入直接外気導入直接外気導入当初当初当初当初よりよりよりより冷凍空調機冷凍空調機冷凍空調機冷凍空調機をををを導入導入導入導入せずにせずにせずにせずに電力電力電力電力コストをコストをコストをコストを削減削減削減削減、、、、PUE=1.1PUE=1.1PUE=1.1PUE=1.1前後前後前後前後（（（（１１１１KWKWKWKW サーバーサーバーサーバーサーバー冷却冷却冷却冷却にににに必要必要必要必要なななな電力電力電力電力がががが１００１００１００１００WWWW））））のののの「「「「空冷式空冷式空冷式空冷式データセンターデータセンターデータセンターデータセンター」」」」になりまになりまになりまになりますすすす。。。。高価高価高価高価なななな冷凍圧縮空調機冷凍圧縮空調機冷凍圧縮空調機冷凍圧縮空調機をををを使使使使わないわないわないわない為為為為、、、、データセンターデータセンターデータセンターデータセンター建設建設建設建設コストもコストもコストもコストも大大大大幅幅幅幅にににに低減出来低減出来低減出来低減出来ますますますます。。。。

30. データセンター分電設備空調機・UPSメーカー EMERSON社資料 1ラック２KWから８KWで全体の７０％ 1ラック３２KW超が３％もある今後８~１２KW が増えるだろう

31. 発電機重油備蓄無停電電源（電池）電力会社空調機空調機空調機空調機空調機空調機 2000年ごろ密閉型（魔法瓶型）データセンター 100ラック 20HP（56KW)空調機6台 1ラック 2KVA 2U 160Wサーバ 10台 100ラック合計 1000台発電機は利用率50％として 500KVA～1000KVA 建物込サーバ別概算15億円サーバ積載イメージ 8,600 様々なデータセンター 31

32. 発電機重油備蓄無停電電源（電池）電力会社空調機空調機空調機空調機空調機空調機 2005年ごろ密閉型（魔法瓶型）データセンター 100ラック 20HP（56KW)空調機12台空調機空調機空調機空調機空調機空調機 8,600 サーバ積載イメージ 1ラック 4KVA 1U 160Wサーバ 20台 100ラック合計 2000台発電機は利用率50％として 1000KVA～2000KVA 建物込サーバ別概算25億円様々なデータセンター 32

33. 発電機重油備蓄無停電電源（電池）電力会社空調機空調機空調機空調機空調機空調機 2008年ごろ密閉型（魔法瓶型）データセンター 70ラック 20HP（56KW)空調機12台空調機空調機空調機空調機空調機空調機サーバ積載イメージ 1ラック 6KVA 1U 160Wサーバ 30台 70ラック合計 2100台発電機は利用率50％として 1000KVA～2000KVA 建物込サーバ別概算25億円 8,600 様々なデータセンター 33

34. 発電機重油備蓄無停電電源（電池）電力会社空調機空調機空調機空調機空調機空調機最新のHPC 密閉型（魔法瓶型）データセンター 70ラック 20HP（56KW)空調機16台空調機空調機空調機空調機空調機空調機サーバ積載イメージ 1ラック 8KVA 1U 160Wサーバ 40台 56ラック合計 2240台発電機は利用率50％として 2000KVA～2800KVA 建物込サーバ別概算30億円 8,600 空調機空調機空調機空調機様々なデータセンター 34

35. 発電機重油備蓄無停電電源（電池）電力会社空調機空調機空調機空調機空調機空調機 70ラック 20HP（56KW)空調機32台空調機空調機空調機空調機空調機空調機サーバ積載イメージ 1ラック 16KVA 1U2台 160Wサーバ 80台 56ラック合計 4480台発電機は利用率50％として 2000KVA～2800KVAを2台～3台建物込サーバ別概算35億円空調機空調機空調機空調機密閉型（魔法瓶型）データセンタークラウドは無理 8,600 空調機空調機空調機空調機空調機空調機空調機空調機空調機空調機空調機空調機空調機空調機空調機空調機従来からの魔法瓶型では、空調機コストが高い。様々なデータセンター 35

36. 36 • ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代 – 日本初日本初日本初日本初大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入 • １ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０KgKgKgKg １列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。 • 日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果 • １ラック１ラック１ラック１ラック１６０１６０１６０１６０AAAAの常識はずれのの常識はずれのの常識はずれのの常識はずれの高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働７年７年７年７年 • NECNECNECNEC８番街でのご紹介８番街でのご紹介８番街でのご紹介８番街でのご紹介 – 「杉田正」で「杉田正」で「杉田正」で「杉田正」でGoogleGoogleGoogleGoogle検索いただくと検索いただくと検索いただくと検索いただくと http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index. htmlhtmlhtmlhtml がヒットします。がヒットします。がヒットします。がヒットします。 – 独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置 – 現在でも先端を行く現在でも先端を行く現在でも先端を行く現在でも先端を行く省エネルギー省エネルギー省エネルギー省エネルギーDCDCDCDC • DCDCDCDC内内内内風流な風流な風流な風流なコントロールコントロールコントロールコントロール • ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計 • 1111４ラック４ラック４ラック４ラック • PUEPUEPUEPUE＝２１０＝２１０＝２１０＝２１０KWKWKWKW÷÷÷÷１５８１５８１５８１５８KWKWKWKW＝約１．３＝約１．３＝約１．３＝約１．３ブレードサーバー高密度実装日本初大量導入635台 ※PUEとは、サーバー電力＋空調電力サーバー電力であり、最良値が1.0。PUE=2.0ならばサーバーと同じ電力を空調が浪費している。 ※有名なIBMブレードサーバCM「広い白い部屋のブレード」時期の３年前

37. 37 高密度収容サーバー小型コンテナに省電力サーバーを収容 3ラック約２００台２０KVA以下高密度実装小型コンテナ

38. 38 NEC 省電力サーバー TSオリジナルアルミ筐体軽量なサーバー軽量なので高密度化可能 NEC 省電力サーバー奥行きは355mmなので表と裏から両面実装出来る 1台当たりのラック使用料金が下がる

39. チラー（冷凍圧縮機）レスデータセンター場所：ベルギー様々なデータセンター 39 コンテナを大きな屋内に収納している。床下に水冷熱交換器を設置。３．インターネットサービス用サーバーが大量に設置されるタイプ Googleのコンテナや海外Yahooの鶏舎型

40. 40 ロングコンテナ型データセンター日本SGI ICE Cube コンテナ用に設計された奥行きの浅いサーバー動作温度が４０℃まで条件付きで保証されている。コンテナは２台ひと組２段に積む下段はラック、上段はUPS、空調設備を収納様々なデータセンター

41. 様々なデータセンター 41 大型コンテナ型データセンター HP

42. 夏冬コンテナ型 DELL 様々なデータセンター

43. 43 IIJコンテナ型DC コールド側ロングコンテナ型データセンター様々なデータセンター

44. 日本フルハーフ東芝コンテナ型データセンター様々なデータセンター

45. 日本フルハーフ東芝コンテナ型データセンター導入事例：北海道岩見沢市様々なデータセンター

46. 東芝東芝東芝東芝コンテナ（モジュール）コンテナ（モジュール）コンテナ（モジュール）コンテナ（モジュール）様々なデータセンター

47. 様々なデータセンター 47 NEC コンテナ（モジュール）コンテナ（モジュール）コンテナ（モジュール）コンテナ（モジュール）

48. 海外事例 eBay データセンター情報発信サイトから http://www.datacenterknowledge.com/

49. 様々なデータセンター 49 海外事例 eBay DELL 高密度実装モジュールDC 1ラック40KVA？

50. 様々なデータセンター 50 ASTがカナダの大学に納入した Twinコンテナ集合データセンター Twin構造によりコールドアイルの作業性が改善される。

51. 51 外気導入外気導入外気導入外気導入海外事例海外事例海外事例海外事例たったたったたったたった２２２２年年年年でででで、、、、全世界全世界全世界全世界ででででデータセンターデータセンターデータセンターデータセンター省電力化対省電力化対省電力化対省電力化対策策策策がががが実施実施実施実施されされされされ、、、、クラウドクラウドクラウドクラウド対応対応対応対応されてきたされてきたされてきたされてきた。。。。様々なデータセンター 51

52. 新型省電力サーバーであれば１２０台でも３０A ラック内に仕切りを設置温風が給気側に戻らない空調効率改善技術ヒートシャッターヒートシャッター排気が戻らないと吸気側温度は、気温以上に、上昇しない。＜ 40℃ 最新サーバーは、 40℃でも稼働出来る床天井様々なデータセンター 52

53. 53 マイクロソフトアイルランドDC PUE=1.25 屋上から外気導入している。2009年当時画期的な低PUE 様々なデータセンター出所：DataCenterKnowledge

54. マイクロソフトが冷凍空調機の無いコンテナを開発外気導入のみ小型コンテナだが、1ラック 1２KVA以上として通常センターより大量のサーバを積載様々なデータセンター 54出所：DataCenterKnowledge

55. 水冷外気温４０℃ サーバー温度３２℃ サーバー湿度８０％ ※水カーテンで８℃も下がる？華氏→摂氏 C=(5/9)*(F-32) ３２を引いて、それを２で割って１割増し還流暖気外気温 2℃ サーバー温度１０℃ サーバー湿度３３％ ※この湿度表示は多すぎる。様々なデータセンター 55 マイクロソフトが冷凍空調機の無いコンテナを開発出所：マイクロソフトマイクロソフトマイクロソフトマイクロソフト

56. 様々なデータセンター 56出所：マイクロソフトマイクロソフトマイクロソフトマイクロソフト

57. SGI社製ロングコンテナ様々なデータセンター 57 マイクロソフトシカゴデータセンター大型屋内にコンテナを設置マイクロソフト開発コンテナ出所：DataCenterKnowledge

59. NetApp 外気導入システム 59様々なデータセンター 59 出所：DataCenterKnowledge

60. 60様々なデータセンター 60 出所：YouTube 2010/08/10 “STULZ DFC² - Direct Free Cooling for Data Centres“ http://youtu.be/UaCJxt30rb4 STULZ DFC² 外気導入システム

61. 61 Facebook ① 様々なデータセンター 61

62. Facebook ② 様々なデータセンター 62

65. 65 Open Compute server triplet racks １ラック３０サーバー１ラックファン合計台数は、５×３０＝１５０台＠２０CFM×１５０＝３０００CFM この写真6ラック１８０００CFM必要 Facebook ⑤ 出所：DataCenterKnowledge

66. Facebook ⑥ Open Compute Project 様々なデータセンター 66 データセンターデザインと一体に設計されたサーバー情報は公開。最近マイクロソフトもOCPに参加した。

67. Facebook 67 米国スウェーデン

68. Yahooの最新データーセンター PUE=1.1 鶏小屋タイプ Yahoo data center in Lockport, N.Y. Yahoo has purchased this building in La Vista, Nebraska for $14.8 million. The Yahoo data center in Quincy, Washington includes cooling-optimized "podules" with a PUE of 1.21 (Photo: Yahoo Inc.) 様々なデータセンター 68 Yahoo（米国）外気導入システム出所：DataCenterKnowledge

69. 様々なデータセンター 69 Yahoo 鶏舎型データセンター内部想像図場所：米国ニューヨーク州・完全外気導入・空調機無し・Google同様高温運用・１０℃以下対策が寒冷地より南方のほうが容易 PUE=1.0に近づく♪ 外気導入のみ Yahoo（米国）外気導入システム

70. http://youtu.be/IPNZAvX1yEs

71. 様々なデータセンター 72 出所：DataCenterKnowledge 燃料電池と太陽光発電（計２０MW） APPLEデータセンターは、再生可能エネルギーで稼働 APPLEと環境 http://www.apple.com/jp/environment/renewable-energy/

72. 様々なデータセンター 73 Googleは、太陽光発電、風力発電を利用

73. 様々なデータセンター 74 EMC最新データーセンター PUE=1.3 出所：DataCenterKnowledge

74. 様々なデータセンター 75 データセンターが集中する米国Quincy 出所：DataCenterKnowledge 水力発電所からの供給電力費用が安価＋シアトル～SFO回線がある。

75. 様々なデータセンター 76 Sabyに導入された間接外気冷却機出所：ムンタース

76. 様々なデータセンター 77 内部にコンテナが配置出所：Facebook

77. ALBA Synchotron、ASTモジュラバルセロナデータセンタークラスターと呼ばれるモジュラー公園の開発を支援されているのParc de l‘アルバの科学的研究施設。冷却システムは中央が排気エリアとして外気導入と推察できる。スペイン ASTデータセンター出所：DataCenterKnowledge

78. 様々なデータセンター 79 中国揚州VoicePark 設計・施工管理 by LXスタイル

80. 様々なデータセンター 81 フランスOVHが米国五大湖水力発電所近くに作る３６万サーバー大型データセンター出所：YouTube “The world‘s largest data center” http://youtu.be/4e97g7_qSxA

81. 様々なデータセンター 82 大型データセンター内をコンテナで構築

82. アフリカデータセンター屋根付きコンテナ出所：DataCenterKnowledge

83. 太陽光発電グリッドパリティを5年前に実現した事業所予備発電に燃料発電機（シリコンバレー）様々なデータセンター 84

84. 様々なデータセンター 85 ASCII.technologies 2011.4月号掲載記事から

85. さくらインターネットさくらインターネットさくらインターネットさくらインターネット石狩石狩石狩石狩３．インターネットサービス用サーバーが大量に設置されるタイプ

86. 87 さくらインターネット石狩外気導入DC（２）

87. 日本Yahooグループ IDCフロンティア北九州データセンター

88. 日本Yahooグループ IDCフロンティア福島県新白河データセンター

89. Yahoo! JapanプレハブDC 90 出所：DatacenterDynamics CONVERGED

90. Yahoo! JapanプレハブDC 91 出所：DatacenterDynamics CONVERGED

91. 東大・日立の外気導入DC 運用結果２．スーパーコンピューターを冷却・収納するタイプアースシュミレーターやTUBAME2などを収容するデーターセンター

92. 外気導入DC（３） 93

93. エアコンを外気導入型とすれば PUEを改善出来る。様々なデータセンター 95

94. 96 空冷空冷空冷空冷とととと水冷水冷水冷水冷のハイブリッドのハイブリッドのハイブリッドのハイブリッド Googleが先行する水冷。サーバが発生する熱を冷却では無く、熱を“水で搬送する”設計思想。様々なデータセンター 96

95. Google 最新データセンター米国ダラス

96. 708 Lynhaven Dr, Lenoir, NC, アメリカ合衆国Google データセンターデータセンターデータセンターデータセンター

97. Google データセンターデータセンターデータセンターデータセンター

98. Google データセンターデータセンターデータセンターデータセンター水を使って冷却水を使って冷却水を使って冷却水を使って冷却

100. 102 隙間が空いている熱交換コイルラック背後のファン群ホットアイルホットアイルホットアイルホットアイル床下から冷却水 3ラックで1クラスタを構成？

101. 様々なデータセンター 103 冷水が通る熱交換器ラック Google DataCenter 気温が高く、メンテナンス作業に適さないホットアイルは作業出来ない構造になっている。

102. Google台湾 104

103. Google台湾 105 • これらの色のチューブが何であるかについて – ライトブルー：氷冷水供給管 – ピンク：冷たい氷水戻り管 – 黄色：冷却水供給管 – 緑：冷却水戻り配管 – 青：高温氷水デリバリパイプ – 赤：氷水戻り管の高温 http://www.techbang.com/posts/16068-google-taiwan-data-center- tour?page=3

104. Google台湾 106 http://www.techbang.com/posts/16068-google-taiwan-data-center- tour?page=1 久しぶりに公開された Googleお皿サーバー

105. 107 http://www.google.com/about/datacenters/inside/

109. 111 http://www.google.com/about/datacenters/inside/ 注目写真 LTO コールドストレージオートチェンジャロボット IBM社製？ http://www.uni- w.com/fdi/1201/1201web/59- 61_i.pdf

111. 様々なデータセンター 113 風力発電

114. 様々なデータセンター 116 計画中：岡山井戸水利用データセンター

115. 様々なデータセンター 117 雪冷水 11m 9m 計画中：北海道雪冷却システム利用データセンター

116. コンテナ岩見沢 118

117. オランダ COLT 119

118. さくらインターネット石狩 120

128. 中国漢雲コンテナDC 130

129. 中国漢雲コンテナDC 131

130. 日立 Ref Assist 132

131. STNET（四国） 133

132. 最新冷却システム（国内） 134 竹中工務店 IIJ 新型コンテナ冷却システム

133. FIP（富士通エフ・アイ・ピー） 135

134. 三菱商事データセンター 136 三菱商事は2013年10月、東京都三鷹市でデータセンターの運用を開始したと発表した。都心近郊にありながら、完全外気冷房システムを導入したことが特徴」Tiar4に対応しながら外気冷却を導入している。

135. 大阪へ海外事業者 137 米データセンター事業者のDigital Realty Trustは9月17日、9月4日までに大阪で1万5000m2のデータセンター建設用地の取得を完了し、 2014年第4半期（10～12月）から国内でデータセンター事業を開始することを発表した。」「開設するデータセンターの特徴の1つは、「PODアーキテクチャ」と呼ばれるモジュラー型（モジュール型やコンテナ型とも呼ばれる）のアーキクチャを備えている点」中国を含む海外の新型データセンターは初期投資額が抑えられるPOD型が多くなっている。今回発表された大阪のデータセンター（OS1）では、免震構造を備えた最新ビルに約3000㎡のコロケーションスペース、 800超ラック相当の収容設備（開設時は320ラック相当）を備える。大阪のネットワークの中心である堂島と光ファイバーで直接接続されており、大阪の国際通信基盤を強化するという。他のIBXデータセンターと同じく、キャリアニュートラルなIX機能を提供。また、日本語と英語のバイリンガルサポートを提供し、多国籍企業のグローバル化を促進

136. 沖縄 138

137. Intelが進める「ラックスケールアーキテクチャ」ホスティングパック企画書r4 by LXスタイル 139

138. Facebook Open Compute Project （Quanta） 140 UPS（出力はHVDC) 幅広22インチラックハーフ幅サーバー２U高さ3列背面DC12Vバー直流１２V出力電源

139. Facebook Open Compute Project （Microsoft ・GIGABYTE） 141

140. サーバー NEC 142

141. サーバー NEC 143

142. NEC ラック冷却 144

143. サーバー SuperMicro 145 1027R-WC1RT 主な機能１．デュアルソケットR（LGA 2011）をサポートインテル®Xeon®プロセッサーE5-2600 およびE5-2600 v2シリーズ２．1TB1TB1TB1TBののののECC DDR3ECC DDR3ECC DDR3ECC DDR3、最大 1866MHz、16倍のDIMMソケット３．カードのサポートに追加します。2X PCI-E 3.0 x16のフルハイト、ハーフレングススロット４．ホットスワップ2.5 "SAS / SATAのHDD ベイ（SAS3 12Gbps のHDDをサポート）５．インテル®X540デュアルポート10GBASE-T ６．1XスリムDVD-ROMドライブ（オプション）７．700W冗長電源ゴールドレベル認定 Front I/Oと呼ぶ構造で電源コードを除いて他の配線やメンテナンスが全面からのみ行える。ホットアイル40℃から50℃のデータセンターにて高密度 1111ラックラックラックラック 168Node168Node168Node168Node実装が可能。

144. 146 京で使われている京で使われている京で使われている京で使われているインターコネクトメッシュを 6次元で実現している。クラスタ性能を向上させるインターコネクト

145. ホスティングパック企画書r4 by LXスタイル 147 〈〈〈〈参考参考参考参考〉〉〉〉ラック内高速通信システムラック内高速通信システムラック内高速通信システムラック内高速通信システム Facebookが主催するOCPJにおける台湾工業技術院のプレゼン

146. 148 1TByteメモリを搭載出来るIAサーバー

147. AWS ネットワーク様々なデータセンター 149

148. AWS カスタムサーバー様々なデータセンター 150

149. ストレージメモリとCPUが使うメモリが“地続き地続き地続き地続き”になる。出所：http://pc.watch.impress.co.jp/docs/column/kaigai/20130918_615784.html?utm_source=buffer&utm_campaign=Buffer&utm_content=buffer8ffda&utm_medium=facebook これから数年以内に起きるアーキテクチャジャンプ

150. 省電力不揮発高速メモリ NVDIMM 北海道データセンター事業計画作成支援 Vol.3 152 一般的には、まだOSなどが未対応

151. STT-MRAM 世界最高の低消費電力性能を実現した新方式の不揮発性磁性体メモリ今後必須の重要テクノロジ！今後必須の重要テクノロジ！今後必須の重要テクノロジ！今後必須の重要テクノロジ！

152. 省電力不揮発高速メモリ IGZOメモリ北海道データセンター事業計画作成支援 Vol.3 154

153. 液浸 155

154. 様々なデータセンター 156 お静聴ありがとうございました。 SNSでお会いしましょう。 Facebook Twitter ASCII×TECH IDは sugipooh

様々なデータセンター Sugipooh

Tadashi Sugita

様々なデータセンター Sugipooh