Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
LXスタイル 杉田 正 データセンターのお話データセンターのお話データセンターのお話データセンターのお話
はじめに（１）はじめに（１）はじめに（１）はじめに（１） GoogleGoogleGoogleGoogle検索検索検索検索をををを１００１００１００１００回行回行回行回行うとうとうとうと、、、、サーバでサーバでサーバでサーバで消費消費消費消費さ...
はじめに（２）はじめに（２）はじめに（２）はじめに（２） GoogleGoogleGoogleGoogle検索検索検索検索をををを１００１００１００１００回行回行回行回行うとうとうとうと、、、、サーバでサーバでサーバでサーバで消費消費消費消費さ...
はじめに（３）はじめに（３）はじめに（３）はじめに（３） こんなこんなこんなこんな情報情報情報情報からからからから計算計算計算計算するとするとするとすると Google used 2.6 million megawatt-hours of el...
http://flighttracker.newairplane.com/ BOEING ７８７ DREAMLINER FLIGHT TRACKER ｂｙ Google earth こんなデータが、個人のPCで手軽に参照できる時代
杉田 正（すぎた ただし） 経歴要約：経歴要約：経歴要約：経歴要約： 30年以上にわたる電気、コンピューター、無線、 先端ＩＴ技術（画像処理、記憶装置、高速ネットワーク）の経験と 知識を核に、事業における最適なＩＴ技術の提案とシステムの 構築支...
Mac用ネットワーク構築 やってました。 ・・・・APPLEIIAPPLEIIAPPLEIIAPPLEIIからのアップルユーザーからのアップルユーザーからのアップルユーザーからのアップルユーザー ・・・・MacPlusMacPlusMacPlu...
ASCII.jp×TECH に「インフラ屋さんの週刊ブックマーク」を連載
昔からあるデータセンター 魔法瓶型
プロ用回線コストが高い！ ルータもプロ用は高い！ 1台数千万円 みんなで使う ISP 電気設備も空調設備コストも高い！ みんなで使う ISP データセンターに集約して効率を上げるデータセンターに集約して効率を上げるデータセンターに集約して効率を...
発電機 重油備蓄 無停電電源 （電池） 電力会社 空調機 空調機 空調機 空調機 空調機 空調機 100ラック 20HP（56KW)空調機12台 空調機 空調機 空調機 空調機 空調機 空調機 8,600 サーバ積載イメージ 1ラック 4KVA...
データーセンターには、３つのタイプがある。 ３．インターネットサービス用サーバーが大量に 設置されるタイプ Googleのコンテナや海外Yahooの鶏舎型 １．通信機用に設計された安定度の高いタイプ 日本にある、ほとんどのデーターセンター ２．...
データーセンターには、３つのタイプがある。 ２．スーパーコンピューターを冷却・収納するタイプ アースシュミレーターやTUBAME2などを 収容するデーターセンター 東京工業大学 スパコン TUBAME2 スパコンTop500で現在世界4位 演算...
• ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代 – 日本初日本初日本初日本初 大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入 • １ラック耐...
16 高密度実装 NEC 省電力サーバー TSオリジナル（設計担当） アルミ筐体 軽量なサーバー 軽量なので高密度化可能 NEC 省電力サーバー 奥行きは355mmなので 表と裏から両面実装出来る 1台当たりのラック使用料金が下がる
17 高密度収容サーバー 高密度実装
Open Compute server triplet racks １ラック３０サーバー １ラック ファン合計台数は、５×３０＝１５０台 ＠２０CFM×１５０＝３,０００CFM この写真6ラック ９００台９００台９００台９００台のファン使用 １...
データセンター分電設備 空調機・UPSメーカー EMERSON社資料 1ラック ２KWから８KWで全体の７０％ 1ラック ３２KW超が３％もある 今後 ８~１２KW が増えるだろう 出所：Datacenter knowledge
発電機 重油備蓄 無停電電源 （電池） 電力会社 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 サーバ積載イメージ 1ラック 16KVA 1U2台 160Wサーバ 80台 56ラック 合計 44...
2010年資料
2010年資料
23
24 36KVAで 450万円以上の節約
25 ランニングコストランニングコストランニングコストランニングコスト電気代 年月 空調機電気代 換気扇 100万円以下 100ラック 2000サーバー この比率がPUE PUE= サーバー電力＋空調機電力 サーバー電力 大きく下げる 初期投資...
2010年資料 26
NEDO グリーンITプロジェクト 著者 産業技術総合研究所 伊藤智 同 伊藤寿浩 大阪ガス 河本薫 科学技術振興機構 中本信也 日本電気 秦智之 東京大学先端科学技術研究センター 藤本淳 データセンターにおける問題点を詳細に 調査・議論してい...
次世代モジュール型グリーンデータセンタの開発 NEDOグリーンITプロジェクト（’08-’12）の成果の一部を統合したデータセンタ – 統合した省エネ技術 • サーバー液冷技術 → SOHKi • 外気導入技術 → 産総研、NTTファシリティー...
従来従来従来従来 抜熱 方式 サーバ内 空冷ファン 全体 空調機 給電方式 交流 全電源装置常時稼働 IT運用方式 全マシン常時電源ON 従来モジュール型データセンタの構成 29 空調制御盤空調制御盤空調制御盤空調制御盤 サーバラックサーバラッ...
液冷方式による抜熱液冷方式による抜熱液冷方式による抜熱液冷方式による抜熱 直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御 サーバの省電力運用サーバの省電力...
１．抜熱方式 液冷システム •サーバ内抜熱 • 空気よりも熱伝導率が高い液体を用いて、室内に分散させることなく室外へ排出 • ラック側面の冷却液ネットワークと床下のポンプにより、熱を床下へ伝搬 冷却液：絶縁体であるフッ素系 クーラント（Nova...
産総研で開発中 液冷ブレード 32
２．抜熱方式 グリーンユニットの動作 • 基本的な運用は、 熱交換器を使い、 間接的に外気を 利用し、モジュール 内の空気を循環 33 給気ファン 除湿・加湿器 気化冷却器 直接給気チャンバ 熱交換器 排気ファン 33
新型省電力 サーバーであれば １２０台でも３０A ラック内に仕切りを設置 温風が給気側に戻らない 空調効率改善の秘訣 ヒートシャッターヒートシャッターヒートシャッターヒートシャッター 排気が戻らないと吸気 側温度は、気温以上に、 上昇しない。 ...
アイルキャッピングの実験(1) 35
アイルキャッピングの実験(2) 実験の結果 1フロア300ラックを2フロア改造、大幅に省電力化 工事費は1年間の省電力化電気代に等しい 36 中国 揚州 中華電信データセンター
37
日本メーカー製 38
日本メーカー製 39
Intel メキシコ 外気導入評価データセンター 40 双子DC 空調機を使うDCと空調機無し外気導入だけのDC メキシコに建設されている。 2010年完成 出所：YouTube
Intelの宣伝 41 http://www.intel.com/content/www/us/en/data-center-efficiency/high-ambient-video.html 2年間継続している データセンターを 冷やし過ぎ...
海外事例 マリリン ビル内の対流を利用 出所：Datacenter knowledge 42
３年前 外気導入データセンター PUE＝１．２５ Microsoft 場所：ダブリン 海外事例 マイクロソフト 出所：Datacenter knowledge 43
海外事例 Yahoo Yahooの最新データーセンター PUE=1.1 鶏小屋タイプ 出所：Datacenter knowledge 44
Yahoo 鶏舎型データセンター 内部想像図 場所：米国ニューヨーク州 ・完全外気導入 ・空調機無し ・Google同様 高温運用 ・１０℃以下対策が寒冷地 より南方のほうが容易 PUE=1.0に近づく♪ 外気導入のみ 想像図 by LXSty...
海外事例 eBay データセンター情報発信サイトから http://www.datacenterknowledge.com/ 出所：Datacenter knowledge 46
EMC最新データーセンター PUE=1.3 海外事例 出所：Datacenter knowledge 47
最新 外気調節冷却装置を備えたデータセンター ムンタース社@500KW顕熱交換機 48
最新 外気調節冷却装置を備えたデータセンター ムンタース社@500KW顕熱交換機 49
ALBA Synchotron、ASTモジュラバルセロナデータセンターク ラスターと呼ばれるモジュラー公園の開発を支援されている のParc de l‘アルバ、の科学的研究施設。 冷却システムは外気導入と推察できる。 出所：Datacenter...
Google 最新データセンター 米国ダラス 出所：Datacenter knowledge 51
708 Lynhaven Dr, Lenoir, NC, アメリカ合衆国Google データセンターデータセンターデータセンターデータセンター Googleマップにて、”708”を検索するとヒットする。内部をストリートビュー出来る。 52
Google データセンターデータセンターデータセンターデータセンター Googleマップにて、”708”を検索するとヒットする。内部をストリートビュー出来る。 53
Google データセンターデータセンターデータセンターデータセンター 水を使って冷却水を使って冷却水を使って冷却水を使って冷却 Googleマップにて、”708”を検索するとヒットする。内部をストリートビュー出来る。 水冷用水 タンクが 並ぶ...
Ovh社は米国8Tbps、欧州2Tbpsのバックボーンを持つ 物理サーバー35万台のデータセンターは水力発電所の横 Ovh DataCenter 出所：Datacenter knowledge 55
中庭マリリン型 出所：Datacenter knowledge Ovh DataCenter 56
太陽電池と燃料電池だけの データーセンター （シリコンバレー） 57
58 太陽電池システム ・１００㎡ ４kw（家庭用の面積約2倍） ・高効率な太陽電池を使用し、電力コストを 削減。夜間は大型蓄電池もしくは商用電源を 利用。 ・夜間稼働用に 大型蓄電池を設置 ・初期コスト 太陽電池 約500万円 大型蓄電池 5...
日本ラッド 外気導入省電力DC ASCII.technologies 2011.4月号掲載記事から 59
日本Yahooグループ IDCフロンティア 北九州データセンター 外気導入冷却を大幅に採用した大型データーセンター 60
日本Yahooグループ IDCフロンティア 福島県新白河データセンター 外気導入冷却を大幅に採用し、煙突効果により効率をアップした大型データーセンター 61
62 さくらインターネット 石狩 外気導入DC（２） 北海道の気候を利用して外気導入冷却を大幅に採用した大型データーセンター
さくらインターネットさくらインターネットさくらインターネットさくらインターネット 石狩石狩石狩石狩 ３．インターネットサービス用サーバーが 大量に設置されるタイプ 63
さくらインターネットら、北海道石狩市で高温超電導直流送電の実証研究開始さくらインターネットら、北海道石狩市で高温超電導直流送電の実証研究開始さくらインターネットら、北海道石狩市で高温超電導直流送電の実証研究開始さくらインターネットら、北海道石狩...
外気導入DC（３） 65外気導入冷却を大幅に採用した大型データーセンター
66
東大・日立の外気導入DC 運用結果 67
これからのデータセンターこれからのデータセンターこれからのデータセンターこれからのデータセンター コンテナ・モジュールコンテナ・モジュールコンテナ・モジュールコンテナ・モジュール 日本フルハーフ 東芝 68
外気導入のみ 小型コンテナ IT Pac ３年前 2010年春 海外事例 マイクロソフト PUE=1.1を実現 出所：Datacenter knowledge 69
https://www.youtube.com/watch?v=8P_-JRi-6Fo&feature=youtu.be マイクロソフトのクラウドを支えるデータセンターマイクロソフトのクラウドを支えるデータセンターマイクロソフトのクラウドを支え...
Microsoft シカゴ データーセンター ２年前 2011年春 IT Pac 2段積みロングコンテナ 海外事例 マイクロソフト 出所：Datacenter knowledge 71
海外事例 マイクロソフト 出所：Datacenter knowledge 72
夏 冬 海外事例 DELL 73
DELL 高密度実装モジュールDC 1ラック40KVA？ 出所：Datacenter knowledge 74
中国 揚州VoicePark 中国で最初の外気導入のみデータセンター 設計 LXスタイル風量コントローラ 75
中国揚州 VoicePark ブース型データセンター（内部） 大きなビルの中に、モジュラーを構築 設計 LXスタイル 76
COLT社 オランダのモジュラーデータセンター 大きなビルの中に、モジュラーを構築 出所：Datacenter knowledge 77
日本フルーハーフ 新型コンテナデータセンター 試験用ダミーロード 通路が標準DCより少し狭い コンテナ幅の広いタイプも可能 78
東芝東芝東芝東芝 79
北村製作所 80
イナバ物置 81
何人も乗るものではありません！ 82
アフリカ データセンター 屋根付きコンテナ 出所：Datacenter knowledge 83
データセンターは、 サーバを置く場所です。 84
http://www.apple.com/jp/macmini/ MacminiServer 給気と排気 ５０Wを換気するのに このファンは？CFM １０~１５ CFM 85
AC２２０V イーサネット 引き出しトレイに Mac mini 4台 高さ６Uに１０列×４台 ３６U に 6段 ＝ 240台 900 mm 86
1ラック ２４０台 １２KVA契約 ３,６００ CFM ファン Φ５０cm 87
8m 2m 3m ３ラック ３６KVA 外気導入のみ Mac mini Server ７２０台 大型ファン 2台で冷却可能 フィルター損失 や静穏性を考慮 するとファン3台 構成とする。 3台で１KVA程度 なので、PUEはははは １．１以下１...
従来からのRAIDカードより2倍から3倍速い！ IOPSも大幅に改善。 急激に変革するストレージ 89
IOPSがとっても速い → 仮想サーバー数を増加させ 省電力化できる。 ・・・高価なストレージ購入費が浮く 90
ネイティブネイティブネイティブネイティブ 8ポートしかないポートしかないポートしかないポートしかない PCIe Gen3 HBAでは、最大では、最大では、最大では、最大4.8GB/秒の秒の秒の秒の スループットの恩恵をうけるだけ。スループットの...
急激に変革するストレージ iSCSIを使って100万IOPS実現 92
新しい Coプロセッサの時代到来 93
94
これからの高密度サーバ ４Node／２U • ２U４Board ８コア×２×４＝６４コア • PCI-Express3.0による内部バス高速化 • 最新CPUの高速性 • 仮想化IOボトルネックの解消 • 1ラック20台 ８０A １２００コア ...
E5-2670 2MP 2U4ノード高密度実装機 96
これからの大量メモリ搭載サーバ 1TByte／１Node／２U • ２U４MPU • １６コア×４＝６４コア • PCI-Express3.0 • 最新CPUの高速性 • 仮想化IOボトルネックの解消 • 1ラック20台 ８KVA １２００コア
最新のサーバたち
100 最新サーバーCPU まとめ CPUCPUCPUCPU E5E5E5E5---- 4650L4650L4650L4650L E5E5E5E5---- 2670267026702670 E3E3E3E3---- 1260L1260L1260...
Twitter ID: sugipooh SNSでお会いしましょう。でお会いしましょう。でお会いしましょう。でお会いしましょう。 DC構築コンサル構築コンサル構築コンサル構築コンサル お受けお受けお受けお受けします。します。します。します。 お...
データセンターのお話Lxスタイル
データセンターのお話Lxスタイル
Upcoming SlideShare
Loading in …5
×

データセンターのお話Lxスタイル

5,114 views

Published on

データーセンターに関する情報を集めてご紹介。
最新情報にアップデートしました。

no profile picture user

  • Login to see the comments

Show More

データセンターのお話Lxスタイル

  1. 1. LXスタイル 杉田 正 データセンターのお話データセンターのお話データセンターのお話データセンターのお話
  2. 2. はじめに（１）はじめに（１）はじめに（１）はじめに（１） GoogleGoogleGoogleGoogle検索検索検索検索をををを１００１００１００１００回行回行回行回行うとうとうとうと、、、、サーバでサーバでサーバでサーバで消費消費消費消費されるされるされるされる 電力電力電力電力はははは、、、、いくらなんでしょうかいくらなんでしょうかいくらなんでしょうかいくらなんでしょうか？？？？ GoogleGoogleGoogleGoogleはははは仮想仮想仮想仮想サーバサーバサーバサーバ３００３００３００３００万台万台万台万台、、、、物理物理物理物理サーバサーバサーバサーバ９０９０９０９０万台万台万台万台とととと 言言言言われていますわれていますわれていますわれています。。。。１１１１ヵヵヵヵ月月月月のののの電気代電気代電気代電気代はははは？？？？ 大量大量大量大量にサーバをにサーバをにサーバをにサーバを使使使使うサービスをうサービスをうサービスをうサービスを クラウドサービスとクラウドサービスとクラウドサービスとクラウドサービスと 呼呼呼呼んでいますんでいますんでいますんでいます。。。。 クラウドサービスクラウドサービスクラウドサービスクラウドサービス利用利用利用利用にはにはにはには、、、、電気代電気代電気代電気代をををを意識意識意識意識しないとしないとしないとしないと いけませんいけませんいけませんいけません。。。。
  3. 3. はじめに（２）はじめに（２）はじめに（２）はじめに（２） GoogleGoogleGoogleGoogle検索検索検索検索をををを１００１００１００１００回行回行回行回行うとうとうとうと、、、、サーバでサーバでサーバでサーバで消費消費消費消費されるされるされるされる電力電力電力電力はははは、、、、 いくらなんでしょうかいくらなんでしょうかいくらなんでしょうかいくらなんでしょうか？？？？ GoogleGoogleGoogleGoogle検索検索検索検索100100100100件件件件はははは、、、、60606060ワットワットワットワットのののの電球電球電球電球をををを28282828分間点灯分間点灯分間点灯分間点灯にににに相当相当相当相当？？？？ GoogleGoogleGoogleGoogleはははは仮想仮想仮想仮想サーバサーバサーバサーバ３００３００３００３００万台万台万台万台、、、、物理物理物理物理サーバサーバサーバサーバ９０９０９０９０万台万台万台万台とととと 言言言言われていますわれていますわれていますわれています。。。。１１１１ヵヵヵヵ月月月月のののの電気代電気代電気代電気代はははは？？？？ １１１１台台台台200W200W200W200Wとしてとしてとしてとして 0.2KVA0.2KVA0.2KVA0.2KVA××××24h24h24h24h××××30Day30Day30Day30Day××××22222222円円円円====約約約約3,0003,0003,0003,000円円円円 3,0003,0003,0003,000円円円円××××90909090万台万台万台万台==== ２７２７２７２７億円億円億円億円！！！！ クラウドサービスクラウドサービスクラウドサービスクラウドサービス利用利用利用利用はははは、、、、電気代電気代電気代電気代をををを意識意識意識意識しないとしないとしないとしないと いけませんいけませんいけませんいけません！！！！
  4. 4. はじめに（３）はじめに（３）はじめに（３）はじめに（３） こんなこんなこんなこんな情報情報情報情報からからからから計算計算計算計算するとするとするとすると Google used 2.6 million megawatt-hours of electricity last year, 260000KWh260000KWh260000KWh260000KWh××××２４２４２４２４ｈｈｈｈ××××３０３０３０３０DayDayDayDay××××22222222円円円円＝＝＝＝約約約約４３４３４３４３億円億円億円億円 クラウドサービスクラウドサービスクラウドサービスクラウドサービス利用利用利用利用はははは、、、、電気代電気代電気代電気代をををを意識意識意識意識しないとしないとしないとしないと いけませんいけませんいけませんいけません！！！！
  5. 5. http://flighttracker.newairplane.com/ BOEING ７８７ DREAMLINER FLIGHT TRACKER ｂｙ Google earth こんなデータが、個人のPCで手軽に参照できる時代
  6. 6. 杉田 正（すぎた ただし） 経歴要約：経歴要約：経歴要約：経歴要約： 30年以上にわたる電気、コンピューター、無線、 先端ＩＴ技術（画像処理、記憶装置、高速ネットワーク）の経験と 知識を核に、事業における最適なＩＴ技術の提案とシステムの 構築支援をライフワークとしております。 日本国内のみならず、中国、米国（シリコンバレー）、台湾の 先端ＩＴ企業並びにその分野で卓越したエンジニアとの独自の ネットワークを有しています。 サーバからデータセンターを構築し、トータルコストを大幅に 低減しながら、最新のハイパフォーマンスを発揮できるデータ センターを構築します。 現在は、独立行政法人 産業技術総合研究所にて データセ ンタの研究に従事しています。
  7. 7. Mac用ネットワーク構築 やってました。 ・・・・APPLEIIAPPLEIIAPPLEIIAPPLEIIからのアップルユーザーからのアップルユーザーからのアップルユーザーからのアップルユーザー ・・・・MacPlusMacPlusMacPlusMacPlusででででPCPCPCPC----VANVANVANVAN MacLoveMacLoveMacLoveMacLoveに出没に出没に出没に出没 ・・・・5555インチインチインチインチMOMOMOMO TAHITITAHITITAHITITAHITI 売っていました。売っていました。売っていました。売っていました。 ・・・・WideSCSIWideSCSIWideSCSIWideSCSIを使ったネットワークを使ったネットワークを使ったネットワークを使ったネットワーク ・・・・AppleShareServerAppleShareServerAppleShareServerAppleShareServer用用用用RAIDRAIDRAIDRAID ・・・・NetBootNetBootNetBootNetBoot構築構築構築構築 ・・・・RAIDRAIDRAIDRAID内蔵１内蔵１内蔵１内蔵１UUUUサーバサーバサーバサーバ ㈱幡風さま招聘で㈱幡風さま招聘で㈱幡風さま招聘で㈱幡風さま招聘で Bill AtokinsonBill AtokinsonBill AtokinsonBill Atokinsonご家族を京都・大阪案内ご家族を京都・大阪案内ご家族を京都・大阪案内ご家族を京都・大阪案内
  8. 8. ASCII.jp×TECH に「インフラ屋さんの週刊ブックマーク」を連載
  9. 9. 昔からあるデータセンター 魔法瓶型
  10. 10. プロ用回線コストが高い！ ルータもプロ用は高い！ 1台数千万円 みんなで使う ISP 電気設備も空調設備コストも高い！ みんなで使う ISP データセンターに集約して効率を上げるデータセンターに集約して効率を上げるデータセンターに集約して効率を上げるデータセンターに集約して効率を上げる
  11. 11. 発電機 重油備蓄 無停電電源 （電池） 電力会社 空調機 空調機 空調機 空調機 空調機 空調機 100ラック 20HP（56KW)空調機12台 空調機 空調機 空調機 空調機 空調機 空調機 8,600 サーバ積載イメージ 1ラック 4KVA 1U 160Wサーバ 20台 100ラック 合計 2000台 発電機は利用率50％として 1000KVA～2000KVA 建物込サーバ別 概算25億円 2005年ごろ 密閉型 （魔法瓶型）データセンター
  12. 12. データーセンターには、３つのタイプがある。 ３．インターネットサービス用サーバーが大量に 設置されるタイプ Googleのコンテナや海外Yahooの鶏舎型 １．通信機用に設計された安定度の高いタイプ 日本にある、ほとんどのデーターセンター ２．スーパーコンピューターを冷却・収納するタイプ アースシュミレーターやTUBAME2などを 収容するデーターセンター
  13. 13. データーセンターには、３つのタイプがある。 ２．スーパーコンピューターを冷却・収納するタイプ アースシュミレーターやTUBAME2などを 収容するデーターセンター 東京工業大学 スパコン TUBAME2 スパコンTop500で現在世界4位 演算性能/消費電力で世界1位 TUBAME1の設備を流用しながら構築 左図はASCII.technologies12月号から 引用 アルプス巨大DCも学術用なのでスパ コン用DCの部類かも知れない。
  14. 14. • ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代 – 日本初日本初日本初日本初 大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入 • １ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０KgKgKgKg １列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。 • 日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果 • １ラック１ラック１ラック１ラック １６０１６０１６０１６０AAAAの常識はずれの高密度設計、安定稼働の常識はずれの高密度設計、安定稼働の常識はずれの高密度設計、安定稼働の常識はずれの高密度設計、安定稼働 ８８８８年年年年 • NECNECNECNEC８番街でのご紹介８番街でのご紹介８番街でのご紹介８番街でのご紹介「杉田正」で「杉田正」で「杉田正」で「杉田正」でGoogleGoogleGoogleGoogle検索検索検索検索 http://www.express.nec.co.jp/jirei/new/first/index.htmlhttp://www.express.nec.co.jp/jirei/new/first/index.htmlhttp://www.express.nec.co.jp/jirei/new/first/index.htmlhttp://www.express.nec.co.jp/jirei/new/first/index.html がヒットします。がヒットします。がヒットします。がヒットします。 – 独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置 – 現在でも先端を行く現在でも先端を行く現在でも先端を行く現在でも先端を行く省エネルギー省エネルギー省エネルギー省エネルギーDCDCDCDC • DCDCDCDC内内内内 風流な風流な風流な風流なコントロールコントロールコントロールコントロール • ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計 • 1111４ラック４ラック４ラック４ラック • PUEPUEPUEPUE＝２１０＝２１０＝２１０＝２１０KWKWKWKW÷÷÷÷１５８１５８１５８１５８KWKWKWKW＝約１．３＝約１．３＝約１．３＝約１．３ クラウド型 データセンター ブレードサーバー高密度実装 日本初日本初日本初日本初 大量導入635台 ※PUEとは、 サーバー電力＋空調電力 サーバー電力 であり、最良値が1.0。 PUE=2.0ならば サーバーと同じ電力を空調が浪費している。 ※有名なIBMブレードサーバCM「広い白い部屋のブレード」時期の３年前 省電力DC関係 10年やってますAPPLE系SIer辞めて
  15. 15. 16 高密度実装 NEC 省電力サーバー TSオリジナル（設計担当） アルミ筐体 軽量なサーバー 軽量なので高密度化可能 NEC 省電力サーバー 奥行きは355mmなので 表と裏から両面実装出来る 1台当たりのラック使用料金が下がる
  16. 16. 17 高密度収容サーバー 高密度実装
  17. 17. Open Compute server triplet racks １ラック３０サーバー １ラック ファン合計台数は、５×３０＝１５０台 ＠２０CFM×１５０＝３,０００CFM この写真6ラック ９００台９００台９００台９００台のファン使用 １８,０００CFM必要 Facebook サーバ高密度実装
  18. 18. データセンター分電設備 空調機・UPSメーカー EMERSON社資料 1ラック ２KWから８KWで全体の７０％ 1ラック ３２KW超が３％もある 今後 ８~１２KW が増えるだろう 出所：Datacenter knowledge
  19. 19. 発電機 重油備蓄 無停電電源 （電池） 電力会社 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 サーバ積載イメージ 1ラック 16KVA 1U2台 160Wサーバ 80台 56ラック 合計 4480台 発電機は利用率50％として 2000KVA～2800KVAを2台～3台 建物込サーバ別 概算35億円 空調機空調機 空調機空調機 密閉型 （魔法瓶型）データセンター クラウドは無理 8,600 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機 空調機空調機 空調機空調機 ムダな空調機電力 毎月 1,8001,8001,8001,800万円万円万円万円 ムダな空調機設備コスト 20202020億円億円億円億円
  20. 20. 2010年資料
  21. 21. 2010年資料
  22. 22. 23
  23. 23. 24 36KVAで 450万円以上の節約
  24. 24. 25 ランニングコストランニングコストランニングコストランニングコスト電気代 年月 空調機電気代 換気扇 100万円以下 100ラック 2000サーバー この比率がPUE PUE= サーバー電力＋空調機電力 サーバー電力 大きく下げる 初期投資額も下がる 月額1000万円以上 100ラック規模だと 電気代 年間1億円以上の節約
  25. 25. 2010年資料 26
  26. 26. NEDO グリーンITプロジェクト 著者 産業技術総合研究所 伊藤智 同 伊藤寿浩 大阪ガス 河本薫 科学技術振興機構 中本信也 日本電気 秦智之 東京大学先端科学技術研究センター 藤本淳 データセンターにおける問題点を詳細に 調査・議論している。 27
  27. 27. 次世代モジュール型グリーンデータセンタの開発 NEDOグリーンITプロジェクト（’08-’12）の成果の一部を統合したデータセンタ – 統合した省エネ技術 • サーバー液冷技術 → SOHKi • 外気導入技術 → 産総研、NTTファシリティーズ • 高電圧直流電源技術 → NTTファシリティーズ、三菱電機、長崎大 • グリーンクラウド運用技術 → NEC • データセンタモデリング・評価技術 → 産総研、筑波大、NTTコミュニケーションズ –従来の形でのモジュール型データ センタも構築し、直接比較により 削減効果を評価 –総消費電力を従来に比べ30%以上 を削減できることを検証する 28 28
  28. 28. 従来従来従来従来 抜熱 方式 サーバ内 空冷ファン 全体 空調機 給電方式 交流 全電源装置常時稼働 IT運用方式 全マシン常時電源ON 従来モジュール型データセンタの構成 29 空調制御盤空調制御盤空調制御盤空調制御盤 サーバラックサーバラックサーバラックサーバラック UPS・蓄電池・蓄電池・蓄電池・蓄電池 ラック型空調機ラック型空調機ラック型空調機ラック型空調機 交流分電盤交流分電盤交流分電盤交流分電盤 変圧盤変圧盤変圧盤変圧盤 室外空調機室外空調機室外空調機室外空調機 • ITITITIT機器、空調設備、電源設備、建物毎に独立に設計・製作／構築機器、空調設備、電源設備、建物毎に独立に設計・製作／構築機器、空調設備、電源設備、建物毎に独立に設計・製作／構築機器、空調設備、電源設備、建物毎に独立に設計・製作／構築 • 他の機器／設備の影響をあまり受けずに稼働する他の機器／設備の影響をあまり受けずに稼働する他の機器／設備の影響をあまり受けずに稼働する他の機器／設備の影響をあまり受けずに稼働する 9000mm 3000mm 2950mm 29
  29. 29. 液冷方式による抜熱液冷方式による抜熱液冷方式による抜熱液冷方式による抜熱 直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御 サーバの省電力運用サーバの省電力運用サーバの省電力運用サーバの省電力運用 液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ外気導入装置外気導入装置外気導入装置外気導入装置 （グリーンユニット）（グリーンユニット）（グリーンユニット）（グリーンユニット） クーリングタワークーリングタワークーリングタワークーリングタワー モジュールモジュールモジュールモジュール 次世代モジュール型データセンタ の構成 30 従来従来従来従来 次世代次世代次世代次世代 抜熱 方式 サーバ内 空冷ファン 液冷液冷液冷液冷 全体 空調機 外気導入外気導入外気導入外気導入 給電方式 交流 全電源装置常時稼働 高電圧直流高電圧直流高電圧直流高電圧直流 負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減 IT運用方式 全マシン常時電源ON 負荷に合わせたマシン数増減負荷に合わせたマシン数増減負荷に合わせたマシン数増減負荷に合わせたマシン数増減 →電源電源電源電源ON/OFF 7800mm 3000mm 2950mm 30
  30. 30. １．抜熱方式 液冷システム •サーバ内抜熱 • 空気よりも熱伝導率が高い液体を用いて、室内に分散させることなく室外へ排出 • ラック側面の冷却液ネットワークと床下のポンプにより、熱を床下へ伝搬 冷却液：絶縁体であるフッ素系 クーラント（Novac） • 床下で水と熱交換し、クーリングタワーで最終的に空気へ排出 • 残りの発生熱は少ない風量でサーバ外に出すことが可能なため、 モジュール内の気圧制御により風量を確保し、サーバ内ファンを除去 31 冷却液による熱伝送冷却液による熱伝送冷却液による熱伝送冷却液による熱伝送 水による熱伝送水による熱伝送水による熱伝送水による熱伝送 冷却液ネットワークシステム冷却液ネットワークシステム冷却液ネットワークシステム冷却液ネットワークシステム 株式会社株式会社株式会社株式会社SOHKiSOHKiSOHKiSOHKi が開発が開発が開発が開発 河村電器産業株式会社が制作協力河村電器産業株式会社が制作協力河村電器産業株式会社が制作協力河村電器産業株式会社が制作協力 31
  31. 31. 産総研で開発中 液冷ブレード 32
  32. 32. ２．抜熱方式 グリーンユニットの動作 • 基本的な運用は、 熱交換器を使い、 間接的に外気を 利用し、モジュール 内の空気を循環 33 給気ファン 除湿・加湿器 気化冷却器 直接給気チャンバ 熱交換器 排気ファン 33
  33. 33. 新型省電力 サーバーであれば １２０台でも３０A ラック内に仕切りを設置 温風が給気側に戻らない 空調効率改善の秘訣 ヒートシャッターヒートシャッターヒートシャッターヒートシャッター 排気が戻らないと吸気 側温度は、気温以上に、 上昇しない。 ＜＜＜＜ 40℃℃℃℃ 最新サーバーは、 40℃でも稼働出来る 床 天井 ヒートシャッター 34
  34. 34. アイルキャッピングの実験(1) 35
  35. 35. アイルキャッピングの実験(2) 実験の結果 1フロア300ラックを2フロア改造、大幅に省電力化 工事費は1年間の省電力化電気代に等しい 36 中国 揚州 中華電信データセンター
  36. 36. 37
  37. 37. 日本メーカー製 38
  38. 38. 日本メーカー製 39
  39. 39. Intel メキシコ 外気導入評価データセンター 40 双子DC 空調機を使うDCと空調機無し外気導入だけのDC メキシコに建設されている。 2010年完成 出所：YouTube
  40. 40. Intelの宣伝 41 http://www.intel.com/content/www/us/en/data-center-efficiency/high-ambient-video.html 2年間継続している データセンターを 冷やし過ぎている ことをパロディ化 している。
  41. 41. 海外事例 マリリン ビル内の対流を利用 出所：Datacenter knowledge 42
  42. 42. ３年前 外気導入データセンター PUE＝１．２５ Microsoft 場所：ダブリン 海外事例 マイクロソフト 出所：Datacenter knowledge 43
  43. 43. 海外事例 Yahoo Yahooの最新データーセンター PUE=1.1 鶏小屋タイプ 出所：Datacenter knowledge 44
  44. 44. Yahoo 鶏舎型データセンター 内部想像図 場所：米国ニューヨーク州 ・完全外気導入 ・空調機無し ・Google同様 高温運用 ・１０℃以下対策が寒冷地 より南方のほうが容易 PUE=1.0に近づく♪ 外気導入のみ 想像図 by LXStyle 45
  45. 45. 海外事例 eBay データセンター情報発信サイトから http://www.datacenterknowledge.com/ 出所：Datacenter knowledge 46
  46. 46. EMC最新データーセンター PUE=1.3 海外事例 出所：Datacenter knowledge 47
  47. 47. 最新 外気調節冷却装置を備えたデータセンター ムンタース社@500KW顕熱交換機 48
  48. 48. 最新 外気調節冷却装置を備えたデータセンター ムンタース社@500KW顕熱交換機 49
  49. 49. ALBA Synchotron、ASTモジュラバルセロナデータセンターク ラスターと呼ばれるモジュラー公園の開発を支援されている のParc de l‘アルバ、の科学的研究施設。 冷却システムは外気導入と推察できる。 出所：Datacenter knowledge 50
  50. 50. Google 最新データセンター 米国ダラス 出所：Datacenter knowledge 51
  51. 51. 708 Lynhaven Dr, Lenoir, NC, アメリカ合衆国Google データセンターデータセンターデータセンターデータセンター Googleマップにて、”708”を検索するとヒットする。内部をストリートビュー出来る。 52
  52. 52. Google データセンターデータセンターデータセンターデータセンター Googleマップにて、”708”を検索するとヒットする。内部をストリートビュー出来る。 53
  53. 53. Google データセンターデータセンターデータセンターデータセンター 水を使って冷却水を使って冷却水を使って冷却水を使って冷却 Googleマップにて、”708”を検索するとヒットする。内部をストリートビュー出来る。 水冷用水 タンクが 並ぶ 54
  54. 54. Ovh社は米国8Tbps、欧州2Tbpsのバックボーンを持つ 物理サーバー35万台のデータセンターは水力発電所の横 Ovh DataCenter 出所：Datacenter knowledge 55
  55. 55. 中庭マリリン型 出所：Datacenter knowledge Ovh DataCenter 56
  56. 56. 太陽電池と燃料電池だけの データーセンター （シリコンバレー） 57
  57. 57. 58 太陽電池システム ・１００㎡ ４kw（家庭用の面積約2倍） ・高効率な太陽電池を使用し、電力コストを 削減。夜間は大型蓄電池もしくは商用電源を 利用。 ・夜間稼働用に 大型蓄電池を設置 ・初期コスト 太陽電池 約500万円 大型蓄電池 50KVA 約300万円 省電力サーバーシステム ・1ラック３KVA １００台省電力サーバー群を使用。 ・空調機無しによる空調機電力無し、設備費、管理費負担 が無くランニングコストが低い。 ・太陽電池稼働に適応する省電力OSを採用 ・初期コスト 建築費 約100万円 サーバー、ラック 約1200万円 換気環境管理システム 約500万円 沖縄地方は寒暖の差が少ないので、空調機無しサーバー稼働に好条件な気候である。 宜野座村サーバーファームを使用する か、JRコンテナを使用 2009年7月 総務省に実証試験提案を行った 太陽電池による小型コンテナデーターセンター提案 太陽電池パネル太陽電池パネル太陽電池パネル太陽電池パネル （約２００坪）（約２００坪）（約２００坪）（約２００坪） 空調機が無ければ、太陽電池によるDCも検討出来る
  58. 58. 日本ラッド 外気導入省電力DC ASCII.technologies 2011.4月号掲載記事から 59
  59. 59. 日本Yahooグループ IDCフロンティア 北九州データセンター 外気導入冷却を大幅に採用した大型データーセンター 60
  60. 60. 日本Yahooグループ IDCフロンティア 福島県新白河データセンター 外気導入冷却を大幅に採用し、煙突効果により効率をアップした大型データーセンター 61
  61. 61. 62 さくらインターネット 石狩 外気導入DC（２） 北海道の気候を利用して外気導入冷却を大幅に採用した大型データーセンター
  62. 62. さくらインターネットさくらインターネットさくらインターネットさくらインターネット 石狩石狩石狩石狩 ３．インターネットサービス用サーバーが 大量に設置されるタイプ 63
  63. 63. さくらインターネットら、北海道石狩市で高温超電導直流送電の実証研究開始さくらインターネットら、北海道石狩市で高温超電導直流送電の実証研究開始さくらインターネットら、北海道石狩市で高温超電導直流送電の実証研究開始さくらインターネットら、北海道石狩市で高温超電導直流送電の実証研究開始 64
  64. 64. 外気導入DC（３） 65外気導入冷却を大幅に採用した大型データーセンター
  65. 65. 66
  66. 66. 東大・日立の外気導入DC 運用結果 67
  67. 67. これからのデータセンターこれからのデータセンターこれからのデータセンターこれからのデータセンター コンテナ・モジュールコンテナ・モジュールコンテナ・モジュールコンテナ・モジュール 日本フルハーフ 東芝 68
  68. 68. 外気導入のみ 小型コンテナ IT Pac ３年前 2010年春 海外事例 マイクロソフト PUE=1.1を実現 出所：Datacenter knowledge 69
  69. 69. https://www.youtube.com/watch?v=8P_-JRi-6Fo&feature=youtu.be マイクロソフトのクラウドを支えるデータセンターマイクロソフトのクラウドを支えるデータセンターマイクロソフトのクラウドを支えるデータセンターマイクロソフトのクラウドを支えるデータセンター 70
  70. 70. Microsoft シカゴ データーセンター ２年前 2011年春 IT Pac 2段積みロングコンテナ 海外事例 マイクロソフト 出所：Datacenter knowledge 71
  71. 71. 海外事例 マイクロソフト 出所：Datacenter knowledge 72
  72. 72. 夏 冬 海外事例 DELL 73
  73. 73. DELL 高密度実装モジュールDC 1ラック40KVA？ 出所：Datacenter knowledge 74
  74. 74. 中国 揚州VoicePark 中国で最初の外気導入のみデータセンター 設計 LXスタイル風量コントローラ 75
  75. 75. 中国揚州 VoicePark ブース型データセンター（内部） 大きなビルの中に、モジュラーを構築 設計 LXスタイル 76
  76. 76. COLT社 オランダのモジュラーデータセンター 大きなビルの中に、モジュラーを構築 出所：Datacenter knowledge 77
  77. 77. 日本フルーハーフ 新型コンテナデータセンター 試験用ダミーロード 通路が標準DCより少し狭い コンテナ幅の広いタイプも可能 78
  78. 78. 東芝東芝東芝東芝 79
  79. 79. 北村製作所 80
  80. 80. イナバ物置 81
  81. 81. 何人も乗るものではありません！ 82
  82. 82. アフリカ データセンター 屋根付きコンテナ 出所：Datacenter knowledge 83
  83. 83. データセンターは、 サーバを置く場所です。 84
  84. 84. http://www.apple.com/jp/macmini/ MacminiServer 給気と排気 ５０Wを換気するのに このファンは？CFM １０~１５ CFM 85
  85. 85. AC２２０V イーサネット 引き出しトレイに Mac mini 4台 高さ６Uに１０列×４台 ３６U に 6段 ＝ 240台 900 mm 86
  86. 86. 1ラック ２４０台 １２KVA契約 ３,６００ CFM ファン Φ５０cm 87
  87. 87. 8m 2m 3m ３ラック ３６KVA 外気導入のみ Mac mini Server ７２０台 大型ファン 2台で冷却可能 フィルター損失 や静穏性を考慮 するとファン3台 構成とする。 3台で１KVA程度 なので、PUEはははは １．１以下１．１以下１．１以下１．１以下となる。 PUE=1.1以下にはなるので、 1ヵ月電気代は、50W×1.1（PUE)×24時間×30日÷1000×22円＝908円 毎月の電気代が、PUE=2.2と比べて 1台８３４円も安く８３４円も安く８３４円も安く８３４円も安くなる！！ 88
  88. 88. 従来からのRAIDカードより2倍から3倍速い！ IOPSも大幅に改善。 急激に変革するストレージ 89
  89. 89. IOPSがとっても速い → 仮想サーバー数を増加させ 省電力化できる。 ・・・高価なストレージ購入費が浮く 90
  90. 90. ネイティブネイティブネイティブネイティブ 8ポートしかないポートしかないポートしかないポートしかない PCIe Gen3 HBAでは、最大では、最大では、最大では、最大4.8GB/秒の秒の秒の秒の スループットの恩恵をうけるだけ。スループットの恩恵をうけるだけ。スループットの恩恵をうけるだけ。スループットの恩恵をうけるだけ。 Adaptec 7H/7Heシリーズは、最大シリーズは、最大シリーズは、最大シリーズは、最大16個のネイティブポートで個のネイティブポートで個のネイティブポートで個のネイティブポートで PCIe Gen3 帯域幅の能力を最大限に活用します。帯域幅の能力を最大限に活用します。帯域幅の能力を最大限に活用します。帯域幅の能力を最大限に活用します。 91 最新のRAIDカードも速い!サーバー集約台数を増やすことが出来る。
  91. 91. 急激に変革するストレージ iSCSIを使って100万IOPS実現 92
  92. 92. 新しい Coプロセッサの時代到来 93
  93. 93. 94
  94. 94. これからの高密度サーバ ４Node／２U • ２U４Board ８コア×２×４＝６４コア • PCI-Express3.0による内部バス高速化 • 最新CPUの高速性 • 仮想化IOボトルネックの解消 • 1ラック20台 ８０A １２００コア 95
  95. 95. E5-2670 2MP 2U4ノード高密度実装機 96
  96. 96. これからの大量メモリ搭載サーバ 1TByte／１Node／２U • ２U４MPU • １６コア×４＝６４コア • PCI-Express3.0 • 最新CPUの高速性 • 仮想化IOボトルネックの解消 • 1ラック20台 ８KVA １２００コア
  97. 97. 最新のサーバたち
  98. 98. 100 最新サーバーCPU まとめ CPUCPUCPUCPU E5E5E5E5---- 4650L4650L4650L4650L E5E5E5E5---- 2670267026702670 E3E3E3E3---- 1260L1260L1260L1260L AMDAMDAMDAMD 6380638063806380 i7i7i7i7---- 3687U3687U3687U3687U ATOMATOMATOMATOM 1260S1260S1260S1260S コア数コア数コア数コア数 8888 4444 4444 16161616 4444 2222 MPMPMPMP（連結数）（連結数）（連結数）（連結数） 4444 2222 1111 2222 1111 1111 TDPTDPTDPTDP 115W115W115W115W 115W115W115W115W 45W45W45W45W 115W115W115W115W 17W17W17W17W 8.5W8.5W8.5W8.5W 1111ラックラックラックラック100A100A100A100A (12KVA(12KVA(12KVA(12KVA設計）設計）設計）設計） 搭載台数搭載台数搭載台数搭載台数 2U2U2U2U 20202020台台台台 2UQuad2UQuad2UQuad2UQuad 32323232台台台台 2U8BL2U8BL2U8BL2U8BL 160160160160台台台台 2UTwin2UTwin2UTwin2UTwin 40404040台台台台 2U8BL2U8BL2U8BL2U8BL 320320320320台台台台 2U8BL2U8BL2U8BL2U8BL 320320320320台台台台 1111ラックコア数ラックコア数ラックコア数ラックコア数 640640640640 256256256256 640640640640 1280128012801280 1280128012801280 640640640640 1111ラックラックラックラックVPSVPSVPSVPS数数数数 1280128012801280 512512512512 1280128012801280 2560256025602560 5120512051205120 1280128012801280 仮想環境仮想環境仮想環境仮想環境 ◎◎◎◎ ◎◎◎◎ ◎◎◎◎ ◎◎◎◎ ◎◎◎◎ ◎◎◎◎ 最大メモリ最大メモリ最大メモリ最大メモリ////ラックラックラックラック 30.7TB30.7TB30.7TB30.7TB 24.5TB24.5TB24.5TB24.5TB 10.2TB10.2TB10.2TB10.2TB 30.7TB30.7TB30.7TB30.7TB 163.8TB163.8TB163.8TB163.8TB 163.8TB163.8TB163.8TB163.8TB ＠サーバーコスト＠サーバーコスト＠サーバーコスト＠サーバーコスト 500500500500 20202020 10101010 15151515 10101010 6666 1111ラックコスト概算ラックコスト概算ラックコスト概算ラックコスト概算 万円万円万円万円 100,000100,000100,000100,000 ＠メモリ＠メモリ＠メモリ＠メモリ １１１１TBTBTBTB 640640640640 ＠メモリ＠メモリ＠メモリ＠メモリ 64GB64GB64GB64GB 1600160016001600 ＠メモリ＠メモリ＠メモリ＠メモリ 32GB32GB32GB32GB 600600600600 ＠メモリ＠メモリ＠メモリ＠メモリ 64GB64GB64GB64GB 3,2003,2003,2003,200 ＠メモリ＠メモリ＠メモリ＠メモリ 32GB32GB32GB32GB 1,9201,9201,9201,920 ＠メモリ＠メモリ＠メモリ＠メモリ 32GB32GB32GB32GB
  99. 99. Twitter ID: sugipooh SNSでお会いしましょう。でお会いしましょう。でお会いしましょう。でお会いしましょう。 DC構築コンサル構築コンサル構築コンサル構築コンサル お受けお受けお受けお受けします。します。します。します。 お問い合わせ先お問い合わせ先お問い合わせ先お問い合わせ先 sugi@LXS.jp

×