データセンター視点で考えてみるHadoop
Upcoming SlideShare
Loading in...5
×
 

データセンター視点で考えてみるHadoop

on

  • 6,342 views

HadoopカンファレンスJapanで行ったクロージングスピーチのスライドです。

HadoopカンファレンスJapanで行ったクロージングスピーチのスライドです。
日経BP社、日経コンピュータ編集部の中田が行いました。

Statistics

Views

Total Views
6,342
Views on SlideShare
6,316
Embed Views
26

Actions

Likes
3
Downloads
118
Comments
0

3 Embeds 26

http://www.slideshare.net 24
http://webcache.googleusercontent.com 1
http://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

データセンター視点で考えてみるHadoop データセンター視点で考えてみるHadoop Presentation Transcript

  • 2009年11月13日 Hadoop カンフゔレンス クロージングスピーチ データセンター視点で 考えてみるHadoop 日経BP社 日経コンピュータ 中田 敦
  • 日経コンピュータも Hadoopを追いかけます! 2009年 11月24日号に ご期待ください
  • ところで… Yahoo! が Hadoopを運用している データセンターが どのようなものか ご存じですか?
  • 米Yahoo!本社の コンテナ型データセンター 海上輸送などに使用 する国際規格の幅8 フゖート(2メートル 44センチ)、長さ40 フゖート(12メート ル20センチ)のコン テナ
  • 米Yahoo!本社の コンテナ型データセンター コンテナの壁に沿って、 サーバーがギッシリと 詰め込まれています
  • 米Yahoo!本社の コンテナ型データセンター ラックとラックの間にある 銀色の箱は「ラジエター」。 中に水が循環する細いパ゗ プが張り巡らされています。 中にある大きなフゔンで風 を起こして、サーバーが発 する熱を流し込み、ラジエ ターの中を流れる水によっ て熱を冷やす仕組み
  • 米Yahoo!本社の コンテナ型データセンター サーバーの電源はラックの上 部に集約されています。 サーバーのマザーボードには 電源は実装されていません。 そのため電源が発する熱が サーバー内にこもらない仕組 み
  • 米Yahoo!本社の コンテナ型データセンター コンテナには水を供給・ 排出するホースが合計2 本接続されています。 導入された水によって サーバーの熱を冷やし、 温まった水がコンテナ外 に排出される仕組み
  • コンテナ型データセンターの規模 米SGI「ICEcube」の仕様(コンテナ1台当たり) サーバー台数 最大2400台 プロセッサ数 最大4800個 プロセッサコゕ数 最大2万2400個 ストレージ容量 最大11ペタバ゗ト 水の温度 セ氏18度
  • Googleは2005年11月から コンテナ型データセンターを運用
  • Microsoftの場合 シカゴの最新鋭データセンター コンテナ 200台 112台 サーバー台数 約50万台 22万4000台 (コンテナのみ) 「Data Center Knowledge」より引
  • なぜHadoop、なぜコンテナ? 「情報爆発」という 新しい現実に向き合うには それに見合った 新しいツールが必要
  • Googleの中の人曰く ケン・トンプソン氏 • some sort of – not Cloud Computing but a Cloud Computer; something that is always there and always be accessed and always store data and always give it back.
  • Googleが自作した 「クラウドコンピュータ」 ゕプリケーションサービス Google Web検索 ログ解析 Gmail Maps 論文: プログラミング言語 Bigtable: A 論文: Sawzall Distributed Storage Interpreting the Data: System for Structured Parallel Analysis with Data(2006年) Sawzall(2005年) 並列プログラミングモデル キー・バリュー型データストゕ MapReduce BigTable 論文: 論文: The Google File MapReduce: System(2003年) Simplified Data 分散フゔ゗ルシステム Processing on Large Google File System(GFS) 論文: Clusters(2004年) The Chubby lock 分散ロックシステム service for loosely- ホワ゗トペーパー: coupled distributed The Datacenter as a Chubby systems(2006年) Computer. An Introduction to the Design of Warehouse- 独自に建造したデータセンター 論文: Scale Machines(2009 Failure Trends in a 年) Large Disk Drive グーグルプラットフォーム Population(2007年)
  • Hadoopとは何か? Googleが作った 「クラウドコンピュータ」を 民主化 する存在
  • お伝えしたいこと Hadoopを使って 「何か新しいこと」を やりましょう
  • お伝えしたいこと ユーザー事例に ついては 日経コンピュータに ご連絡を
  • ありがとうございました Twitter: @Nakada_itpro