Download as PDF, PPTX
Uploaded byAtsushi Nakada
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
2010年10月16日に開催された「楽天テクノロジーカンファレンス」での講演スライドです。 ----- 「クラウドコンピュータ」の経済学 中田敦（日経BP社日経コンピュータ記者） 「クラウドコンピューティング」とは、恐ろしく高性能なのにびっくりするぐらい安く使える「クラウドコンピュータ」を使うこと、です。ではなぜ、クラウドコンピュータは高性能で安いのでしょうか。その理由を、データセンター視点と産業視点の二つから考えてみます。 【プロフィール】 1998年慶応義塾大学商学部卒業後、日経BP社に入社。「日経レストラン」「BizTech」「日経Windowsプロ」「ITpro」を経て、 2008年10月より「日経コンピュータ」記者。共著として「クラウド大全」「クラウド大全第二版」（日経BP社）、「Googleの全貌」（同）がある。 twitter: @Nakada_itpro
![[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話](https://cdn.slidesharecdn.com/ss_thumbnails/thestorythatbecamehappyaftermovinglegacysystemtoaws-190911051101-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Compute Engine に Deep Dive！ 基本から運用時のベストプラクティスまで 2018年7月1...](https://cdn.slidesharecdn.com/ss_thumbnails/uuuuuu-180719094903-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] そのデータ、今すぐ分析したくありませんか？ クラウドを活用したリアルタイムなデータ分析の方法をお教えします (e-Learni...](https://cdn.slidesharecdn.com/ss_thumbnails/aa-180517084320-thumbnail.jpg?width=640&height=640&fit=bounds)
![[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験](https://cdn.slidesharecdn.com/ss_thumbnails/faasrps-171104115940-thumbnail.jpg?width=640&height=640&fit=bounds)
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
- 1. クラウドコンピュータの経済学 The Economics ofa Cloud Computer 日経コンピュータ編集部 Nikkei Computer Magazine 中田 敦 @Nakada_itpro Atsushi Nakada 2010年10月16日 楽天テクノロジーカンフゔレンス2010 講演
- 2. 自己紹介 中田 敦 Atsushi Nakada @Nakada_itpro 日経コンピュータ記者 Nikkei Computer Magazine Staff Writer
- 3. Writing articles aboutCloud for 3 years 2009年 4月29日号 2010年 7月7日号 2009年 9月2日号
- 4. Writing articles aboutCloud for 3 years 2010年 9月15日号
- 5. はじめに Introductions 10月に入って、気になった クラウド関連ニュース Interesting News about CloudComputing in December
- 6. 10月5日〆トヨタ、スマートグリッド自社開発 Toyota builds theirown Smart Grid for EV
- 7. 日経産業新聞曰く Nikkei Shimbun Said 々「スマートグリッドで攻め込まれた ら事業の根幹が崩れる」（トヨタ幹 部） 々仮にエコカーを取り巻く周辺ンフ ラを抑えられ、規格や仕様が相手側に 支配されれば「車を自由につくれなく なる」（幹部） Ifsomeone build smart grids as the Infrastructure of Car Industries, we can’t make cars by ourselves --- Toyota
- 8. 10月9日〆Google、自動運転自動車開発 Google公式ブログから 「Googleの創業目的は、テクノロジーで世界 を良くすることです」 「自動車の安全と効率性を改善させます」 Larry and Sergeyfounded Google because they wanted to help solve really big problems using technology. And one of the big problems we’re working on today is car safety and efficiency.
- 9. 10月12日〆Google、巨大送電網建設 Google to buildSmart Grids
- 10.
- 11. 500B Yen, 6000MW Googleand Marubeni will invest in the development of a backbone transmission project off the Mid-Atlantic coast. The Atlantic Wind Connection (AWC) backbone will stretch 350 miles off the coast from New Jersey to Virginia and will be able to connect 6,000MW of offshore wind turbines. Google公式ブログより
- 12. 5000億円、600万KW？ 500B Yen, 6000MW 東京電力の最大電力 2009年7月30日 TokyoElectronic Power Corp Google/丸紅の最大 電力 Google/Marubeni 5450万KW （54,500MW） 600万KW （6,000MW） 東京電力が供給する最大電力の10分の1強を、 Google/丸紅連合が供給可能（しかも風力発電）
- 13. なぜこのニュースが気になった？ Why am Iinterested in theese news? クラウドコンピューテゖングの その次の展開を予見させるから This is the next step of the Cloud Computing.
- 14. What is CloudComputing? Using a “Cloud Computer”
- 15. クラウドコンピューテゖング とは？ Personal Computing : Usinga PC Mobile Computing : Using a Mobile Device Cloud Computing : Using a Cloud Computer
- 16. What do youthink abou Cloud? • some sort of – not Cloud Computing but a Cloud Computer; something that is always there and always be accessed and always store data and always give it back. Ken Thompson
- 17.
- 18.
- 19. Ken Thompson said •I think that is very hard. There is two types of jobs; • one where you want to do something huge, • one job that takes thousands of computers to do or you want to do thousands of little jobs and never fail. And those are almost like two separate problems, like MapReduce ケン々トンプソン氏
- 20. Ken Thompson said •I am actually more interested in the second, in trying to get small jobs, the kind of jobs that a user at home will be restore a file, look at his date book, or pull a video, little small jobs that are much more reliable than anything he can do at home. ケン々トンプソン氏
- 21. ケン々トンプソン氏曰く • クラウド々コンピュータは、とても難しいことをやってのけている。クラ ウド々コンピュータは常に二つのタプのジョブを、とても大規模に行っ ているからだ • 一つは、何千台ものコンピュータを連携させて、巨大なジョブを何千個も の小さなジョブに分割して実行し、かつ各ジョブを失敗させないことだ •もう一つは、ユーザーが家庭で行うような小さいジョブ、フゔルのバッ クゕップだったり、カレンダーの閲覧だったり、ビデオのダウンロード だったり、そうした非常に小さいジョブを、ユーザー個人が家庭のコン ピュータで実行するよりもより信頼性の高い状態で実行するということだ ケン々トンプソン氏
- 22. クラウドコンピュータの御利益 Benefits of CloudComputer 例えば Gmail ●巨大な容量 Big Storage 無料版でも最低5Gバト ●高速な検索 Fast Search どんなに大量にメールが あっても1～2秒で検索 ●どこからでも使える From any devices Webブラウザ 携帯電話機
- 23. クラウドコンピュータの御利益 Benefits of CloudComputer 例えば Google Maps ●巨大な容量 Big Data 全世界の地図 全世界の航空写真 主要都市の街頭写真 ●高速な検索 Fast Search 全世界の地図を 1～2秒で検索 ●どこからでも使える From any devices Webブラウザ 携帯電話機
- 24. Which is faster? DesktopSearch Web Search Outlook 2010 Gmail Car Navigation Google Maps RSS Reader Google Reader Windows Photo Gallery Picasa Web
- 25. クラウドを使う理由 Why do youuse cloud? Webブラウザで 使えるから クラウドで動かすソフトの方が 高速々高機能だから （しかも安い） 無料で 使えるから Cost FreeUse Web Browser Cloud provides fast and rich services ( and it saves your money)
- 26. Google’s Cloud Computer Googleが2009年4月1日に EfficientData Center Summit 々2005年11月からコンテナ利用 々コンテナは水冷 々冷却に使った水は、 「冷却塔」（チラー）で再冷却 々2009年4月にベルギーで 「チラーレスデータセンター」 運用開始 々サーバーは自作 々12Vのバッテリー内蔵 々UPS（無停止電源装置）は 使用しない http://www.google.com/corpor ate/green/datacenters/summit. html
- 27.
- 28.
- 29.
- 30. The Datacenter asa Computer
- 31.
- 32. The Computer whichGoogle made 日経コンピュータ 2009年9月2日号 「グーグルは異形のメーカー」
- 33. The Computer whichGoogle made 独自に建造したデータセンター 分散ロックシステム Chubby 分散フゔルシステム Google File System（GFS） 並列プログラミングモデル MapReduce キー々バリュー型データストゕ BigTable プログラミング言語 Sawzall グーグルプラットフォーム Web検索 ログ解析 Gmail Google Maps ゕプリケーションサービス 論文〆 Interpreting the Data: Parallel Analysis with Sawzall（2005年） 論文〆 MapReduce: Simplified Data Processing on Large Clusters（2004年） ホワトペーパー〆 The Datacenter as a Computer. An Introduction to the Design of Warehouse- Scale Machines（2009 年） 論文〆 Bigtable: A Distributed Storage System for Structured Data（2006年） 論文〆 The Google File System（2003年） 論文〆 The Chubby lock service for loosely- coupled distributed systems（2006年） 論文〆 Failure Trends in a Large Disk Drive Population（2007年）
- 34.
- 35. Google Computer Characteristics • OSレヤーがあるとすれば、それは 「Cluster-LevelInfrastructure」のこ とだ • Datacenter must be a general- purpose computer system. 自前主義- by Google own
- 36. Google Computer Characteristics • 価格性能比を考えると、安いCPUしか 使わない •プロセッサ使用率は高いほど消費電力 効率が良い → 安い々遅い方が良い スケールゕウト – Scale Out
- 37. Google Computer Characteristics • MTBF（平均故障間隔）が30年というサー バーがあったとしても、それが1万台あれば1 日に1台は故障が起きる •いくらRAIDでデゖスクを冗長化しても、電源 装置やストレージOSなどが「単一障害点」と して残る ソフトウエゕベースの耐障害性対策
- 38. Microsoft follows Google シカゴの最新鋭データセンター コンテナ 112台 サーバー台数 22万4000台 （コンテナのみ） 「DataCenter Knowledge」より引用
- 39.
- 40. Microsoft follows Google SanAntonio http://bit.ly/bNA9vW
- 41.
- 42. PUE=1.2の意味 PUE（Power Usage Effectiveness） 全部IT機器が消費＝ PUE 1.0 半分を冷却装置などが消費 ＝ PUE 2.0 サーバーが50MWの電力を使用した場合の電気料金 PUE = 1.2の場合 110億円 PUE = 2.0以上の場合 200億円以上
- 43.
- 44.
- 45.
- 46.
- 47. Microsoft’s Cloud Computer ITPACはサーバー冷却に外 気を使用するので、屋外で 運用する
- 48. データセンターの規模の経済 Economy of Scalein DC 中規模（1000台クラス） データセンター 大規模（5万台以上） データセンター 倍率 ネットワーク々 コスト 1Mビット/秒の通信回線当たり 月額95ドル 1Mビット/秒の通信回線当たり 月額13ドル 7.1倍 ストレージ々 コスト 1Gバトの容量当たり 月額2.2ドル 1Gバトの容量当たり 月額0.40ドル 5.7倍 管理コスト 1管理者当たりの管理台数 140台 1管理者当たりの管理台数 1000台以上 7.1倍 米国カリフォルニア大学バークレー校（UC Berkeley） Reliable Adaptive Distributed Systems Laboratory調べ "Above the Clouds: A Berkeley View of Cloud Computing"（2009年2月10日）, Michael Armbrust, Armando Fox, Rean Griffith, Anthony D. Joseph, Randy Katz,Andy Konwinski, Gunho Lee, David Patterson, Ariel Rabkin, Ion Stoica, and Matei Zaharia
- 49. 規模が実現する人的コスト削減 Scale makes HRcost lower • 5000 machines / 1 administrator Server Management Policy in Microsoft • 壊れたサーバーはその時点で修理/交換しない • 定期的なメンテナンス時にのみ交換する • Batch maintenance of Machines Server Management Policy in Google 「The Datacenter as a Computer」 日本語タトル〆「Googleクラウドの核心」より
- 50. 他人に使わせて規模の経済を実現！ Get others resourceto be bigger 2007年4月 Web 2.0 EXPO Amazon.comの ジェフ々ベゾス CEO 「Amazon .com 12年の運用 経験を元にしたサービスを 提供する」
- 51. 他人に使わせて規模の経済を実現！ Get others resourceto be bigger Amazon クラウド 仮想マシンサービス Amazon EC2 ストレージサービス Amazon S3 々Amazonの小売りサト 々Amazon Web Services Amazonが小売りサトを運用するために構 築したデータセンターの処理能力やストレー ジを、外部の第三者が自由に利用できるサー ビス
- 52. AWS Traffic isbigger than Amazon.com Traffic in 2008 Amazonの小売りサトの 通信量（ネットワークトラ フゖック） E-Commerce NW Traffic Amazon Web Servicesの 通信量） AWS Network Traffic
- 53. 他人に貸すのは負担ではないの？ Is AWS burdenfor Amazon.com? Amazonからの回答 Answer from Amazon – NO! 「まったく負担ではない。むしろ全体の ネットワークトラフゖックが増加すること で、通信事業者に対するデゖスカウント交 渉が容易になり、処理当たりのネットワー クコストが低下した」 We can get volume discounts in NW cost.
- 54. AmazonもGoogleも本業は別 Amazon.com Google Main Business E -Commerce Cloud Services Main Business Advertising Cloud Services Microsoft Main Business Package Software Cloud Services synergetic effect synergetic effect 相乗効果
- 55. Appleもクラウドに邁進 ゕップル Main Business Consumer Electronics CloudServicessynergetic effect ノースカロラナ州に10億ド ル（900億円）を投じて、巨 大データセンターを建造中
- 56. Cloud Computing in2012 Cloud Enterprise Distributed Computing NoSQL KVS Low Power Hardware Consumerlization
- 57. Where did NewTech Come from? Ancient 昔 IT Vendors Enterprise 政府、軍、 航空宇宙 政府や軍、航空宇宙分野でIT技術が育まれ、 それを「ITベンダー」が エンタープラズに提供する
- 58. Where will NewTech Come from? Future これから Enterprise Consumer Market Cloud Service Provider 消費者市場でIT技術が育まれ、 それを「クラウドプロバダー」が エンタープラズに提供する
- 59.
- 60.
- 61. OSS、大変化中 今までのOSS ＝ 商用製品を追走 これからのOSS＝ クラウド育ち 新しい技術を 安価に Google、Amazon.com、Facebook など 技術の発信源 商用OS Windows UNIX 商用データ ベース Oracle Database SQL Server 商用オフゖ ス Microsoft Office Linux MySQL Postgres Open Office 枯れた技術を、安価に キャッチアップ キャッチアップ 技術の発信源 分散バッチ処理 ソフト MapReduce キー々バリュー型 データストゕ IaaS構築ソフト メーカー Hadoop キャッチアップ Cassandra、 Voldemort ソフトを開発した 企業がOSS化 OpenStack Eucalyptus キャッチ アップ
- 62.
- 63.
- 64. 基幹バッチ、DWHを Hadoopが置き換え中 導入企業 用途 米VISA クレジットカードの不正使用を検出 2年で7兆3000億件のトランザクションを解析するのに13分し かかからない 米JPモルガンチェース ドキュメント用の保存ストレージとしてHadoopを活用 三菱東京UFJ銀行口座の値洗い処理（時価による再計算）にHadoopを活用予定 米Yahoo! ンターネット広告のログ解析などに、2万4000台のクラス ターを運用 楽天 「レコメンド処理」にHadoopを使用 サバーエージェント 広告代理店向けシステムをHadoopで構築 電通国際情報サービス 広告代理店向けシステムをHadoopで構築 リクルート サーバーログ解析システムにHadoopを採用
- 65.
- 66.
- 67. 04年8月 06年5月 07年9月10年5月 月間ジョブ数 2万9000 17万1000 221万7000 447万4000 サーバー作業量 （サーバー×年） 217 2002 1万1081 3万9121 月間処理データ量 （テラバト） 3288 5万2254 40万3152TB 94万6460 MapReduceによる月間データ処理件数、処理量 ほぼエクサバト （946Pバト） Googleは1カ月に 1エクサバトをMRで処理
- 68.
- 69. めざせサーバー1000万台 データセンター1000カ所 Google Spannerの目標 想定サーバー台数 100万～1000万台（106to 107） 想定ストレージ容量 最大1エクサバト（1018バト） 想定データセンター数 世界中に100～1000カ所 想定クラゕント数 10億クラゕント（109台）
- 70.
- 71.
- 72.
- 73.
- 74.
- 75. ハードデゖスクの運用に 誰より詳しいGoogle セ氏50度未満なら ハードデゖスク温度と故障率に 相関関係は無い 米Googleの2007年2月の論文 「 Failure Trendsin a Large Disk Drive Population」より
- 76.
- 77.
- 78.
- 79.
- 80. 臆する必要は無い（はず） テクノロジー名称 用途 Cassandra ピゕ々ツー々ピゕ（P2P）技術を採用した 分散データベース Haystack写真ゕプリケーション用の分散ストレージ Hive 「Hadoop」用のデータウエゕハウスツール Scribe 大量のサーバーで運用するさまざまなサー ビスのログデータをリゕルタムで収集す るソフト HipHop for PHP スクリプト言語PHPのソースコードをC++ に変換して高速化するソフト Tornado リゕルタムWebゕプリケーションを実行 するゕプリケーションサーバー Facebookを見よ！
- 81. その動きは日本でも kumofs Flare Hibari HandlerSocket plug infor MySQL Tokyo Cabinet Roma
- 82.