Your SlideShare is downloading. ×
  • Like

Loading…

Flash Player 9 (or above) is needed to view presentations.
We have detected that you do not have it on your computer. To install it, go here.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply

The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演

  • 8,494 views
Published

2010年10月16日に開催された「楽天テクノロジーカンファレンス」での講演スライドです。 …

2010年10月16日に開催された「楽天テクノロジーカンファレンス」での講演スライドです。

-----
「クラウドコンピュータ」の経済学
中田敦(日経BP社日経コンピュータ記者)
 「クラウドコンピューティング」とは、恐ろしく高性能なのにびっくりするぐらい安く使える「クラウドコンピュータ」を使うこと、です。ではなぜ、クラウドコンピュータは高性能で安いのでしょうか。その理由を、データセンター視点と産業視点の二つから考えてみます。
【プロフィール】
 1998年慶応義塾大学商学部卒業後、日経BP社に入社。「日経レストラン」「BizTech」「日経Windowsプロ」「ITpro」を経て、 2008年10月より「日経コンピュータ」記者。共著として「クラウド大全」「クラウド大全第二版」(日経BP社)、「Googleの全貌」(同)がある。
twitter: @Nakada_itpro

Published in Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
No Downloads

Views

Total Views
8,494
On SlideShare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
154
Comments
1
Likes
11

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 2010年10月16日 楽天テクノロジーカンフゔレンス2010 講演 クラウドコンピュータの経済学 The Economics of a Cloud Computer 日経コンピュータ編集部 Nikkei Computer Magazine 中田 敦 @Nakada_itpro Atsushi Nakada
  • 2. 自己紹介 中田 敦 Atsushi Nakada @Nakada_itpro 日経コンピュータ 記者 Nikkei Computer Magazine Staff Writer
  • 3. Writing articles about Cloud for 3 years 2010年 7月7日号 2009年 4月29日号 2009年 9月2日号
  • 4. Writing articles about Cloud for 3 years 2010年 9月15日号
  • 5. はじめに Introductions 10月に入って、気になった クラウド関連ニュース Interesting News about Cloud Computing in December
  • 6. 10月5日〆トヨタ、スマートグリッド自社開発 Toyota builds their own Smart Grid for EV
  • 7. 日経産業新聞曰く Nikkei Shimbun Said 々「スマートグリッドで攻め込まれた ら事業の根幹が崩れる」(トヨタ幹 部) 々仮にエコカーを取り巻く周辺゗ンフ ラを抑えられ、規格や仕様が相手側に 支配されれば「車を自由につくれなく なる」(幹部) If someone build smart grids as the Infrastructure of Car Industries, we can’t make cars by ourselves --- Toyota
  • 8. 10月9日〆Google、自動運転自動車開発 Google公式ブログから 「Googleの創業目的は、テクノロジーで世界 を良くすることです」 「自動車の安全と効率性を改善させます」 Larry and Sergey founded Google because they wanted to help solve really big problems using technology. And one of the big problems we’re working on today is car safety and efficiency.
  • 9. 10月12日〆Google、巨大送電網建設 Google to build Smart Grids
  • 10. 5000億円、600万KW? 々Googleや丸紅が出資して、大 西洋沖の洋上風力発電所と米国 東部を結ぶ大規模な海底送電網 を建設する 々洋上風力発電所は、独立系発 電事業者が建設。それをニュー ジャージ州、デラウエゕ州、メ リーランド州、バージニゕ州に 送る 々総事業費は最大5000億円。 6000MW(600万KW)を供給 する Google公式ブログより
  • 11. 500B Yen, 6000MW Google and Marubeni will invest in the development of a backbone transmission project off the Mid-Atlantic coast. The Atlantic Wind Connection (AWC) backbone will stretch 350 miles off the coast from New Jersey to Virginia and will be able to connect 6,000MW of offshore wind turbines. Google公式ブログより
  • 12. 5000億円、600万KW? 500B Yen, 6000MW 東京電力の最大電力 Google/丸紅の最大 2009年7月30日 電力 Tokyo Electronic Google/Marubeni Power Corp 5450万KW 600万KW (54,500MW) (6,000MW) 東京電力が供給する最大電力の10分の1強を、 Google/丸紅連合が供給可能(しかも風力発電)
  • 13. なぜこのニュースが気になった? Why am I interested in theese news? クラウドコンピューテゖングの その次の展開を予見させるから This is the next step of the Cloud Computing.
  • 14. What is Cloud Computing? Using a “Cloud Computer”
  • 15. クラウドコンピューテゖング とは? Personal Computing : Using a PC Mobile Computing : Using a Mobile Device Cloud Computing : Using a Cloud Computer
  • 16. What do you think abou Cloud? Ken Thompson • some sort of – not Cloud Computing but a Cloud Computer; something that is always there and always be accessed and always store data and always give it back.
  • 17. Ken Thompson UNIXオリジナル開発者の一人 C言語の元となった「B言語」を開発 現在はGoogleに所属
  • 18. Ken Thompson said ケン々トンプソン氏 • それはある種の、クラウド々コンピュー テゖングではなく、クラウドコンピュータ の問題だ。 • いつでも「あそこ」にあって、いつでもゕ クセス可能で、いつでもデータを保存でき て、いつでも保存したデータを取り出せる。
  • 19. Ken Thompson said ケン々トンプソン氏 • I think that is very hard. There is two types of jobs; • one where you want to do something huge, • one job that takes thousands of computers to do or you want to do thousands of little jobs and never fail. And those are almost like two separate problems, like MapReduce
  • 20. Ken Thompson said ケン々トンプソン氏 • I am actually more interested in the second, in trying to get small jobs, the kind of jobs that a user at home will be restore a file, look at his date book, or pull a video, little small jobs that are much more reliable than anything he can do at home.
  • 21. ケン々トンプソン氏曰く ケン々トンプソン氏 • クラウド々コンピュータは、とても難しいことをやってのけている。クラ ウド々コンピュータは常に二つのタ゗プのジョブを、とても大規模に行っ ているからだ • 一つは、何千台ものコンピュータを連携させて、巨大なジョブを何千個も の小さなジョブに分割して実行し、かつ各ジョブを失敗させないことだ • もう一つは、ユーザーが家庭で行うような小さいジョブ、フゔ゗ルのバッ クゕップだったり、カレンダーの閲覧だったり、ビデオのダウンロード だったり、そうした非常に小さいジョブを、ユーザー個人が家庭のコン ピュータで実行するよりもより信頼性の高い状態で実行するということだ
  • 22. クラウドコンピュータの御利益 Benefits of Cloud Computer 例えば Gmail ●巨大な容量 Big Storage 無料版でも最低5Gバ゗ト ●高速な検索 Fast Search どんなに大量にメールが あっても1~2秒で検索 ●どこからでも使える From any devices Webブラウザ 携帯電話機
  • 23. クラウドコンピュータの御利益 Benefits of Cloud Computer 例えば Google Maps ●巨大な容量 Big Data 全世界の地図 全世界の航空写真 主要都市の街頭写真 ●高速な検索 Fast Search 全世界の地図を 1~2秒で検索 ●どこからでも使える From any devices Webブラウザ 携帯電話機
  • 24. Which is faster? Desktop Search Web Search Outlook 2010 Gmail Car Navigation Google Maps RSS Reader Google Reader Windows Photo Gallery Picasa Web
  • 25. クラウドを使う理由 Why do you use cloud? Webブラウザで 無料で 使えるから 使えるから Use Web Browser Cost Free クラウドで動かすソフトの方が 高速々高機能だから Cloud provides fast and (しかも安い) rich services ( and it saves your money)
  • 26. Google’s Cloud Computer Googleが2009年4月1日に Efficient Data Center Summit 々2005年11月からコンテナ利用 々コンテナは水冷 々冷却に使った水は、 「冷却塔」(チラー)で再冷却 々2009年4月にベルギーで 「チラーレスデータセンター」 運用開始 々サーバーは自作 々12Vのバッテリー内蔵 々UPS(無停止電源装置)は 使用しない http://www.google.com/corpor ate/green/datacenters/summit. html
  • 27. Google’s Cloud Computer
  • 28. Google’s Cloud Computer 日経コンピュータ2009年9月2日号 「グーグルは異形のメーカー」
  • 29. Googleの クラウドコンピュータ 冷却装置の無いデータセンターを ベルギーで「運用中」 PUEは「1.1以下」 米Googleの2009年 4月1日発表資料 「Insights into Google's PUE Results」より
  • 30. The Datacenter as a Computer
  • 31. 詳しく知りたい方は
  • 32. The Computer which Google made 日経コンピュータ 2009年9月2日号 「グーグルは異形のメーカー」
  • 33. The Computer which Google made ゕプリケーションサービス Google Web検索 ログ解析 Gmail Maps 論文〆 プログラミング言語 Bigtable: A 論文〆 Sawzall Distributed Storage Interpreting the Data: System for Structured Parallel Analysis with Data(2006年) Sawzall(2005年) 並列プログラミングモデル キー々バリュー型データストゕ MapReduce BigTable 論文〆 論文〆 The Google File MapReduce: System(2003年) Simplified Data 分散フゔ゗ルシステム Processing on Large Google File System(GFS) 論文〆 Clusters(2004年) The Chubby lock 分散ロックシステム service for loosely- ホワ゗トペーパー〆 coupled distributed The Datacenter as a Chubby systems(2006年) Computer. An Introduction to the Design of Warehouse- 独自に建造したデータセンター 論文〆 Scale Machines(2009 Failure Trends in a 年) Large Disk Drive グーグルプラットフォーム Population(2007年)
  • 34. Google Computer Characteristics 自前主義 - by Google own • 巨大なクラスタ(システム)を保有し ないサードパーテゖ々ソフトウエゕ々 プロバ゗ダが、ソフトウエゕのテスト やチューニングを十分な水準で行うの は困難だ」
  • 35. Google Computer Characteristics 自前主義- by Google own • OSレ゗ヤーがあるとすれば、それは 「Cluster-Level Infrastructure」のこ とだ • Datacenter must be a general- purpose computer system.
  • 36. Google Computer Characteristics スケールゕウト – Scale Out • 価格性能比を考えると、安いCPUしか 使わない • プロセッサ使用率は高いほど消費電力 効率が良い → 安い々遅い方が良い
  • 37. Google Computer Characteristics ソフトウエゕベースの耐障害性対策 • MTBF(平均故障間隔)が30年というサー バーがあったとしても、それが1万台あれば1 日に1台は故障が起きる • いくらRAIDでデゖスクを冗長化しても、電源 装置やストレージOSなどが「単一障害点」と して残る
  • 38. Microsoft follows Google シカゴの最新鋭データセンター コンテナ 112台 サーバー台数 22万4000台 (コンテナのみ) 「Data Center Knowledge」より引用
  • 39. Microsoft follows Google Chicago http://bit.ly/bNA9vW
  • 40. Microsoft follows Google San Antonio http://bit.ly/bNA9vW
  • 41. Microsoft follows Google 日本のPCサーバー出荷台数(2009年度) •52万台 Microsoftのシカゴ々データセンター •最大50万台(コンテナ=22万4000台、その他=20~30万台) シカゴDCの消費電力 •60Mワット 50Mワットの年間電気料金 •110億円(東京電力/家庭用電力の場合)
  • 42. PUE=1.2の意味 PUE(Power Usage Effectiveness) 全部IT機器が消費 = PUE 1.0 半分を冷却装置などが消費 = PUE 2.0 サーバーが50MWの電力を使用した場合の電気料金 PUE = 1.2の場合 110億円 PUE = 2.0以上の場合 200億円以上
  • 43. Microsoft’s Cloud Computer 輸送用のコンテナではなく、プ レハブ方式のモジュールを使用 する。側面は「格子戸」のよう になっており、サーバー冷却用 の外気をここから吸い込む
  • 44. Microsoft’s Cloud Computer 格子戸の内側にはフゖル ターが据え付けられてい て、外気に含まれるホコ リなどを取り除く
  • 45. Microsoft’s Cloud Computer デル製で、高さ2U のラックマウント サーバーが数百台 格納されている
  • 46. Microsoft’s Cloud Computer 側面から取り込んだ外気 をサーバーに送り込んで 冷却する。外気の温度が 上昇した場合は、格子戸 の裏に水を垂らして、取 り込んだ外気を冷却する
  • 47. Microsoft’s Cloud Computer IT PACはサーバー冷却に外 気を使用するので、屋外で 運用する
  • 48. データセンターの規模の経済 Economy of Scale in DC 中規模(1000台クラス) 大規模(5万台以上) 倍率 データセンター データセンター ネットワーク々 1Mビット/秒の通信回線当たり 1Mビット/秒の通信回線当たり 7.1倍 コスト 月額95ドル 月額13ドル ストレージ々 1Gバ゗トの容量当たり 1Gバ゗トの容量当たり 5.7倍 コスト 月額2.2ドル 月額0.40ドル 1管理者当たりの管理台数 1管理者当たりの管理台数 管理コスト 140台 1000台以上 7.1倍 米国カリフォルニア大学バークレー校(UC Berkeley) Reliable Adaptive Distributed Systems Laboratory調べ "Above the Clouds: A Berkeley View of Cloud Computing"(2009年2月10日), Michael Armbrust, Armando Fox, Rean Griffith, Anthony D. Joseph, Randy Katz,Andy Konwinski, Gunho Lee, David Patterson, Ariel Rabkin, Ion Stoica, and Matei Zaharia
  • 49. 規模が実現する人的コスト削減 Scale makes HR cost lower Server Management Policy in Microsoft • 5000 machines / 1 administrator Server Management Policy in Google • 壊れたサーバーはその時点で修理/交換しない • 定期的なメンテナンス時にのみ交換する • Batch maintenance of Machines 「The Datacenter as a Computer」 日本語タ゗トル〆「Googleクラウドの核心」より
  • 50. 他人に使わせて規模の経済を実現! Get others resource to be bigger 2007年4月 Web 2.0 EXPO Amazon.comの ジェフ々ベゾス CEO 「Amazon .com 12年の運用 経験を元にしたサービスを 提供する」
  • 51. 他人に使わせて規模の経済を実現! Get others resource to be bigger Amazon クラウド 仮想マシンサービス ストレージサービス Amazon EC2 Amazon S3 々Amazon Web Services 々Amazonの小売りサ゗ト Amazonが小売りサ゗トを運用するために構 築したデータセンターの処理能力やストレー ジを、外部の第三者が自由に利用できるサー ビス
  • 52. AWS Traffic is bigger than Amazon.com Traffic in 2008 Amazon Web Servicesの 通信量) AWS Network Traffic Amazonの小売りサ゗トの 通信量(ネットワークトラ フゖック) E-Commerce NW Traffic
  • 53. 他人に貸すのは負担ではないの? Is AWS burden for Amazon.com? Amazonからの回答 Answer from Amazon – NO! 「まったく負担ではない。むしろ全体の ネットワークトラフゖックが増加すること で、通信事業者に対するデゖスカウント交 渉が容易になり、処理当たりのネットワー クコストが低下した」 We can get volume discounts in NW cost.
  • 54. AmazonもGoogleも本業は別 Amazon.com 相乗効果 Main Business synergetic effect Cloud Services E - Commerce Google Main Business synergetic effect Cloud Services Advertising Microsoft Main Business Cloud Services Package Software
  • 55. Appleもクラウドに邁進 ゕップル Main Business synergetic effect Cloud Services Consumer Electronics ノースカロラ゗ナ州に10億ド ル(900億円)を投じて、巨 大データセンターを建造中
  • 56. Cloud Computing in 2012 Cloud Distributed Enterprise Computing NoSQL Consumerlization KVS Low Power Hardware
  • 57. Where did New Tech Come from? Ancient 政府や軍、航空宇宙分野でIT技術が育まれ、 昔 それを「ITベンダー」が エンタープラ゗ズに提供する IT Vendors 政府、軍、 航空宇宙 Enterprise
  • 58. Where will New Tech Come from? Future 消費者市場でIT技術が育まれ、 これから それを「クラウドプロバ゗ダー」が エンタープラ゗ズに提供する Cloud Service Provider Consumer Market Enterprise
  • 59. クラウド 2012年のロードマップ 々クラウドで開発された技術が エンタープラ゗ズに持ち込まれる動きが 加速する 々本当の意味での「プラ゗ベートクラウド」 々代表格は「Hadoop」 グーグルの分散処理技術を模倣したOSS 「DWH」「基幹系バッチ」への採用が進む
  • 60. 日経コンピュータの クラウド担当 2010年 9月15日号
  • 61. OSS、大変化中 これからのOSS = クラウド育ち 技術の発信源 Google、Amazon.com、Facebook など 今までのOSS = 商用製品を追走 分散バッチ処理 キー々バリュー型 IaaS構築ソフト ソフト データストゕ 技術の発信源 MapReduce メーカー ソフトを開発した キャッチ キャッチアップ 企業がOSS化 アップ 商用OS 商用データ 商用オフゖ ス Cassandra、 Windows ベース Hadoop OpenStack Eucalyptus Microsoft Voldemort UNIX Oracle Database Office SQL Server キャッチアップ キャッチアップ 新しい技術を MySQL 安価に Open Linux Postgres Office 枯れた技術を、安価に
  • 62. Google生まれの分散バッチ処理技術 業務システムに浸透中 データウエゕハウス(DWH)、 ビジネス゗ンテリジェンス(BI) 処理件数 主な事例 (件数/時間) 全社規模でのWebサーバーログ解析基盤: ヤフー、サ゗バーエージェント、電通国際情報 サービス Hadoopの POSデータを使った売れ行き分析: 大手流通業 ターゲット 60万 領域 基幹系バッチ処理 主な事例 顧客口座の「値洗い処理」: 三菱東京UFJ銀行 30万 クレジットカードの不正利用検出: 米VISA RDBの 月末の会計バッチ処理: ウルシステムズが構築中(顧客は小売業など) ターゲット領域 10万 新領域(情報爆発、ビッグデータ) 5万 主な事例 スマートグリッド: 米テネシー川流域開発公社(TVA) 機械学習(レコメンド処理): データベース 楽天など 規模 100万件 1000万件 1億件 10億件
  • 63. 基幹バッチを置き換える Hadoop 基幹系システム =トランザクション処理システム バッチ処理システム Hadoop 々集計 テキスト 々分析 結果 RDBMS CSV 々変換 々名寄せ ・ポイント 基幹系は 変更しない 従来に比べて 処理時間が大幅短縮
  • 64. 基幹バッチ、DWHを Hadoopが置き換え中 導入企業 用途 クレジットカードの不正使用を検出 米VISA 2年で7兆3000億件のトランザクションを解析するのに13分し かかからない 米JPモルガンチェース ドキュメント用の保存ストレージとしてHadoopを活用 三菱東京UFJ銀行 口座の値洗い処理(時価による再計算)にHadoopを活用予定 ゗ンターネット広告のログ解析などに、2万4000台のクラス 米Yahoo! ターを運用 楽天 「レコメンド処理」にHadoopを使用 サ゗バーエージェント 広告代理店向けシステムをHadoopで構築 電通国際情報サービス 広告代理店向けシステムをHadoopで構築 リクルート サーバーログ解析システムにHadoopを採用
  • 65. Big Dataは どこにでもある 々何日か経ったら捨てていた トランザクションの生データ(POSデータ) 々ログ、ログ、ログ 業務システムのログ(社員の働き方そのもの) 々スマートグリッド
  • 66. SOCC 2010に行ってきました
  • 67. Googleは1カ月に 1エクサバ゗トをMRで処理 MapReduceによる月間データ処理件数、処理量 04年8月 06年5月 07年9月 10年5月 月間ジョブ数 2万9000 17万1000 221万7000 447万4000 サーバー作業量 217 2002 1万1081 3万9121 (サーバー×年) 月間処理データ量 3288 5万2254 40万3152TB 94万6460 (テラバ゗ト) ほぼエクサバ゗ト (946Pバ゗ト)
  • 68. めざせサーバー1000万台 データセンター1000カ所
  • 69. めざせサーバー1000万台 データセンター1000カ所 Google Spannerの目標 想定サーバー台数 100万~1000万台(106 to 107) 想定ストレージ容量 最大1エクサバ゗ト(1018バ゗ト) 想定データセンター数 世界中に100~1000カ所 想定クラ゗ゕント数 10億クラ゗ゕント(109台)
  • 70. Googleが持っているもの 世界最大の「クラウドコンピュータ」 世界最大の「機械学習力」
  • 71. コンピュータ将棋 女流名人に勝つ、しかし…
  • 72. プログラマーも 機械学習に「敗北」 「情報処理」8月号 「コンピュータ将棋の不遜な挑戦」 「激指では以前から探索ゕルゴリズ ムの部分で機械学習を利用していた のだが〃評価関数にまで機械学習を 導入したことで〃完全に機械学習に 魂を売ってしまったようで悔しい気 がしなくもない〄 YSSの作者の山下氏が〃自動学習さ れた評価関数によるYSSの将棋を見 て〃『自分のプログラムではなく なったような気がする』と嘆息してい たのには同感だ」
  • 73. プログラマーも 機械学習に「敗北」 ●いままでのコンピュータ将棋プログラム 将棋知識 学習 チューニング プログラマー ●現在のコンピュータ将棋プログラム 可変長 可変長 可変長 テキスト 可変長 テキスト 棋譜 テキスト 学習 テキスト (ログデータ)
  • 74. Googleが得意なのは 大量データを使った機械学習 ●昔のWeb検索エンジン ゗ンター サーフゖン ゗ンデックス作成 ネット 昔のYahoo! Webサーファー ●Google 可変長 可変長 人間による 可変長 テキスト 可変長 テキスト リンクした テキスト テキスト 「ページランク」に ゗ンデックス作成 リンクされたの よる順序付け 関係性 クラウドコンピュータ
  • 75. ハードデゖスクの運用に 誰より詳しいGoogle セ氏50度未満なら ハードデゖスク温度と故障率に 相関関係は無い 米Googleの2007年2月の論文 「 Failure Trends in a Large Disk Drive Population」より
  • 76. Googleが コンピュータ産業に参入した理由 年間100万台のサーバーを 製造するメーカーと 年間300万台(?)のサーバーを 運用するサービス事業者 サーバーに詳しいのはどちら?
  • 77. クラウドは始まりに過ぎない 第一歩〆 クラウドコンピュータ、 メデゖゕ/広告業界、小売業界を席捲 第二歩〆 クラウドコンピュータ、 コンピュータ産業を席捲中 これから〆 電力? 自動車? 交通? ヘルスケゕ?
  • 78. 10月9日〆Google、自動運転自動車開発 Google公式ブログから 「Googleの創業目的は、テクノロジーで世界 を良くすることです」 「自動車の安全と効率性を改善させます」
  • 79. 10月12日〆Google、巨大送電網建設
  • 80. 臆する必要は無い(はず) Facebookを見よ! テクノロジー名称 用途 Cassandra ピゕ々ツー々ピゕ(P2P)技術を採用した 分散データベース Haystack 写真ゕプリケーション用の分散ストレージ Hive 「Hadoop」用のデータウエゕハウスツール Scribe 大量のサーバーで運用するさまざまなサー ビスのログデータをリゕルタ゗ムで収集す るソフト HipHop for PHP スクリプト言語PHPのソースコードをC++ に変換して高速化するソフト Tornado リゕルタ゗ムWebゕプリケーションを実行 するゕプリケーションサーバー
  • 81. その動きは日本でも kumofs Flare Hibari HandlerSocket plug in for MySQL Tokyo Cabinet Roma
  • 82. おしまい ありがとう ございました