0
2009年11月13日
Hadoop カンフゔレンス クロージングスピーチ




       データセンター視点で
        考えてみるHadoop

       日経BP社 日経コンピュータ
            中田 敦
日経コンピュータも
Hadoopを追いかけます!




         2009年
       11月24日号に
       ご期待ください
ところで…

      Yahoo! が
 Hadoopを運用している
   データセンターが
   どのようなものか
    ご存じですか?
米Yahoo!本社の
コンテナ型データセンター


               海上輸送などに使用
               する国際規格の幅8
               フゖート(2メートル
               44センチ...
米Yahoo!本社の
コンテナ型データセンター




コンテナの壁に沿って、
サーバーがギッシリと
詰め込まれています
米Yahoo!本社の
コンテナ型データセンター


               ラックとラックの間にある
               銀色の箱は「ラジエター」。
               中に水が循環する細いパ゗
           ...
米Yahoo!本社の
コンテナ型データセンター




サーバーの電源はラックの上
部に集約されています。
サーバーのマザーボードには
電源は実装されていません。
そのため電源が発する熱が
サーバー内にこもらない仕組
み
米Yahoo!本社の
コンテナ型データセンター


               コンテナには水を供給・
               排出するホースが合計2
               本接続されています。
               導...
コンテナ型データセンターの規模




    米SGI「ICEcube」の仕様(コンテナ1台当たり)
   サーバー台数        最大2400台
   プロセッサ数        最大4800個
   プロセッサコゕ数      最大2...
Googleは2005年11月から
コンテナ型データセンターを運用
Microsoftの場合
シカゴの最新鋭データセンター
コンテナ
     200台
     112台
サーバー台数
    約50万台
  22万4000台
    (コンテナのみ)
               「Data Center ...
なぜHadoop、なぜコンテナ?


   「情報爆発」という
  新しい現実に向き合うには

      それに見合った
     新しいツールが必要
Googleの中の人曰く

  ケン・トンプソン氏

  • some sort of – not Cloud
   Computing but a Cloud Computer;
   something that is always the...
Googleが自作した
「クラウドコンピュータ」
                                  ゕプリケーションサービス
                                                  ...
Hadoopとは何か?

  Googleが作った
  「クラウドコンピュータ」を

        民主化
              する存在
お伝えしたいこと


   Hadoopを使って

 「何か新しいこと」を

    やりましょう
お伝えしたいこと


   ユーザー事例に
     ついては
  日経コンピュータに
     ご連絡を
ありがとうございました




  Twitter: @Nakada_itpro
Upcoming SlideShare
Loading in...5
×

データセンター視点で考えてみるHadoop

4,766

Published on

HadoopカンファレンスJapanで行ったクロージングスピーチのスライドです。
日経BP社、日経コンピュータ編集部の中田が行いました。

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
4,766
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
121
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Transcript of "データセンター視点で考えてみるHadoop"

  1. 1. 2009年11月13日 Hadoop カンフゔレンス クロージングスピーチ データセンター視点で 考えてみるHadoop 日経BP社 日経コンピュータ 中田 敦
  2. 2. 日経コンピュータも Hadoopを追いかけます! 2009年 11月24日号に ご期待ください
  3. 3. ところで… Yahoo! が Hadoopを運用している データセンターが どのようなものか ご存じですか?
  4. 4. 米Yahoo!本社の コンテナ型データセンター 海上輸送などに使用 する国際規格の幅8 フゖート(2メートル 44センチ)、長さ40 フゖート(12メート ル20センチ)のコン テナ
  5. 5. 米Yahoo!本社の コンテナ型データセンター コンテナの壁に沿って、 サーバーがギッシリと 詰め込まれています
  6. 6. 米Yahoo!本社の コンテナ型データセンター ラックとラックの間にある 銀色の箱は「ラジエター」。 中に水が循環する細いパ゗ プが張り巡らされています。 中にある大きなフゔンで風 を起こして、サーバーが発 する熱を流し込み、ラジエ ターの中を流れる水によっ て熱を冷やす仕組み
  7. 7. 米Yahoo!本社の コンテナ型データセンター サーバーの電源はラックの上 部に集約されています。 サーバーのマザーボードには 電源は実装されていません。 そのため電源が発する熱が サーバー内にこもらない仕組 み
  8. 8. 米Yahoo!本社の コンテナ型データセンター コンテナには水を供給・ 排出するホースが合計2 本接続されています。 導入された水によって サーバーの熱を冷やし、 温まった水がコンテナ外 に排出される仕組み
  9. 9. コンテナ型データセンターの規模 米SGI「ICEcube」の仕様(コンテナ1台当たり) サーバー台数 最大2400台 プロセッサ数 最大4800個 プロセッサコゕ数 最大2万2400個 ストレージ容量 最大11ペタバ゗ト 水の温度 セ氏18度
  10. 10. Googleは2005年11月から コンテナ型データセンターを運用
  11. 11. Microsoftの場合 シカゴの最新鋭データセンター コンテナ 200台 112台 サーバー台数 約50万台 22万4000台 (コンテナのみ) 「Data Center Knowledge」より引
  12. 12. なぜHadoop、なぜコンテナ? 「情報爆発」という 新しい現実に向き合うには それに見合った 新しいツールが必要
  13. 13. Googleの中の人曰く ケン・トンプソン氏 • some sort of – not Cloud Computing but a Cloud Computer; something that is always there and always be accessed and always store data and always give it back.
  14. 14. Googleが自作した 「クラウドコンピュータ」 ゕプリケーションサービス Google Web検索 ログ解析 Gmail Maps 論文: プログラミング言語 Bigtable: A 論文: Sawzall Distributed Storage Interpreting the Data: System for Structured Parallel Analysis with Data(2006年) Sawzall(2005年) 並列プログラミングモデル キー・バリュー型データストゕ MapReduce BigTable 論文: 論文: The Google File MapReduce: System(2003年) Simplified Data 分散フゔ゗ルシステム Processing on Large Google File System(GFS) 論文: Clusters(2004年) The Chubby lock 分散ロックシステム service for loosely- ホワ゗トペーパー: coupled distributed The Datacenter as a Chubby systems(2006年) Computer. An Introduction to the Design of Warehouse- 独自に建造したデータセンター 論文: Scale Machines(2009 Failure Trends in a 年) Large Disk Drive グーグルプラットフォーム Population(2007年)
  15. 15. Hadoopとは何か? Googleが作った 「クラウドコンピュータ」を 民主化 する存在
  16. 16. お伝えしたいこと Hadoopを使って 「何か新しいこと」を やりましょう
  17. 17. お伝えしたいこと ユーザー事例に ついては 日経コンピュータに ご連絡を
  18. 18. ありがとうございました Twitter: @Nakada_itpro
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×