The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演

2010年10月16日楽天テクノロジーカンフゔレンス2010 講演クラウドコンピュータの経済学 The Economics of a Cloud Computer 日経コンピュータ編集部 Nikkei Computer Magazine 中田敦 @Nakada_itpro Atsushi Nakada

自己紹介中田敦 Atsushi Nakada @Nakada_itpro 日経コンピュータ記者 Nikkei Computer Magazine Staff Writer

Writing articles about Cloud for 3 years 2010年 7月7日号 2009年 4月29日号 2009年 9月2日号

Writing articles about Cloud for 3 years 2010年 9月15日号

はじめに Introductions 10月に入って、気になったクラウド関連ニュース Interesting News about Cloud Computing in December

10月5日〆トヨタ、スマートグリッド自社開発 Toyota builds their own Smart Grid for EV

日経産業新聞曰く Nikkei Shimbun Said 々「スマートグリッドで攻め込まれたら事業の根幹が崩れる」（トヨタ幹部）々仮にエコカーを取り巻く周辺゗ンフラを抑えられ、規格や仕様が相手側に支配されれば「車を自由につくれなくなる」（幹部） If someone build smart grids as the Infrastructure of Car Industries, we can’t make cars by ourselves --- Toyota

10月9日〆Google、自動運転自動車開発 Google公式ブログから「Googleの創業目的は、テクノロジーで世界を良くすることです」「自動車の安全と効率性を改善させます」 Larry and Sergey founded Google because they wanted to help solve really big problems using technology. And one of the big problems we’re working on today is car safety and efficiency.

10月12日〆Google、巨大送電網建設 Google to build Smart Grids

5000億円、600万KW？々Googleや丸紅が出資して、大西洋沖の洋上風力発電所と米国東部を結ぶ大規模な海底送電網を建設する々洋上風力発電所は、独立系発電事業者が建設。それをニュージャージ州、デラウエゕ州、メリーランド州、バージニゕ州に送る々総事業費は最大5000億円。 6000ＭW（600万KW）を供給する Google公式ブログより

500B Yen, 6000MW Google and Marubeni will invest in the development of a backbone transmission project off the Mid-Atlantic coast. The Atlantic Wind Connection (AWC) backbone will stretch 350 miles off the coast from New Jersey to Virginia and will be able to connect 6,000MW of offshore wind turbines. Google公式ブログより

5000億円、600万KW？ 500B Yen, 6000MW 東京電力の最大電力 Google/丸紅の最大 2009年7月30日電力 Tokyo Electronic Google/Marubeni Power Corp 5450万KW 600万KW （54,500MW）（6,000MW）東京電力が供給する最大電力の10分の1強を、 Google/丸紅連合が供給可能（しかも風力発電）

なぜこのニュースが気になった？ Why am I interested in theese news? クラウドコンピューテゖングのその次の展開を予見させるから This is the next step of the Cloud Computing.

What is Cloud Computing? Using a “Cloud Computer”

クラウドコンピューテゖングとは？ Personal Computing : Using a PC Mobile Computing : Using a Mobile Device Cloud Computing : Using a Cloud Computer

What do you think abou Cloud? Ken Thompson • some sort of – not Cloud Computing but a Cloud Computer; something that is always there and always be accessed and always store data and always give it back.

Ken Thompson UNIXオリジナル開発者の一人 C言語の元となった「B言語」を開発現在はGoogleに所属

Ken Thompson said ケン々トンプソン氏 • それはある種の、クラウド々コンピューテゖングではなく、クラウドコンピュータの問題だ。 • いつでも「あそこ」にあって、いつでもゕクセス可能で、いつでもデータを保存できて、いつでも保存したデータを取り出せる。

Ken Thompson said ケン々トンプソン氏 • I think that is very hard. There is two types of jobs; • one where you want to do something huge, • one job that takes thousands of computers to do or you want to do thousands of little jobs and never fail. And those are almost like two separate problems, like MapReduce

Ken Thompson said ケン々トンプソン氏 • I am actually more interested in the second, in trying to get small jobs, the kind of jobs that a user at home will be restore a file, look at his date book, or pull a video, little small jobs that are much more reliable than anything he can do at home.

ケン々トンプソン氏曰くケン々トンプソン氏 • クラウド々コンピュータは、とても難しいことをやってのけている。クラウド々コンピュータは常に二つのタ゗プのジョブを、とても大規模に行っているからだ • 一つは、何千台ものコンピュータを連携させて、巨大なジョブを何千個もの小さなジョブに分割して実行し、かつ各ジョブを失敗させないことだ • もう一つは、ユーザーが家庭で行うような小さいジョブ、フゔ゗ルのバックゕップだったり、カレンダーの閲覧だったり、ビデオのダウンロードだったり、そうした非常に小さいジョブを、ユーザー個人が家庭のコンピュータで実行するよりもより信頼性の高い状態で実行するということだ

クラウドコンピュータの御利益 Benefits of Cloud Computer 例えば Gmail ●巨大な容量 Big Storage 無料版でも最低5Gバ゗ト ●高速な検索 Fast Search どんなに大量にメールがあっても1～2秒で検索 ●どこからでも使える From any devices Webブラウザ携帯電話機

クラウドコンピュータの御利益 Benefits of Cloud Computer 例えば Google Maps ●巨大な容量 Big Data 全世界の地図全世界の航空写真主要都市の街頭写真 ●高速な検索 Fast Search 全世界の地図を 1～2秒で検索 ●どこからでも使える From any devices Webブラウザ携帯電話機

Which is faster? Desktop Search Web Search Outlook 2010 Gmail Car Navigation Google Maps RSS Reader Google Reader Windows Photo Gallery Picasa Web

クラウドを使う理由 Why do you use cloud? Webブラウザで無料で使えるから使えるから Use Web Browser Cost Free クラウドで動かすソフトの方が高速々高機能だから Cloud provides fast and （しかも安い） rich services ( and it saves your money)

Google’s Cloud Computer Googleが2009年4月1日に Efficient Data Center Summit 々2005年11月からコンテナ利用々コンテナは水冷々冷却に使った水は、「冷却塔」（チラー）で再冷却々2009年4月にベルギーで「チラーレスデータセンター」運用開始々サーバーは自作々12Vのバッテリー内蔵々UPS（無停止電源装置）は使用しない http://www.google.com/corpor ate/green/datacenters/summit. html

Google’s Cloud Computer

Google’s Cloud Computer 日経コンピュータ2009年9月2日号「グーグルは異形のメーカー」

Googleのクラウドコンピュータ冷却装置の無いデータセンターをベルギーで「運用中」 PUEは「1.1以下」米Googleの2009年 4月1日発表資料「Insights into Google's PUE Results」より

The Datacenter as a Computer

詳しく知りたい方は

The Computer which Google made 日経コンピュータ 2009年9月2日号「グーグルは異形のメーカー」

The Computer which Google made ゕプリケーションサービス Google Web検索ログ解析 Gmail Maps 論文〆プログラミング言語 Bigtable: A 論文〆 Sawzall Distributed Storage Interpreting the Data: System for Structured Parallel Analysis with Data（2006年） Sawzall（2005年）並列プログラミングモデルキー々バリュー型データストゕ MapReduce BigTable 論文〆論文〆 The Google File MapReduce: System（2003年） Simplified Data 分散フゔ゗ルシステム Processing on Large Google File System（GFS）論文〆 Clusters（2004年） The Chubby lock 分散ロックシステム service for loosely- ホワ゗トペーパー〆 coupled distributed The Datacenter as a Chubby systems（2006年） Computer. An Introduction to the Design of Warehouse- 独自に建造したデータセンター論文〆 Scale Machines（2009 Failure Trends in a 年） Large Disk Drive グーグルプラットフォーム Population（2007年）

Google Computer Characteristics 自前主義 - by Google own • 巨大なクラスタ（システム）を保有しないサードパーテゖ々ソフトウエゕ々プロバ゗ダが、ソフトウエゕのテストやチューニングを十分な水準で行うのは困難だ」

Google Computer Characteristics 自前主義- by Google own • OSレ゗ヤーがあるとすれば、それは「Cluster-Level Infrastructure」のことだ • Datacenter must be a general- purpose computer system.

Google Computer Characteristics スケールゕウト – Scale Out • 価格性能比を考えると、安いCPUしか使わない • プロセッサ使用率は高いほど消費電力効率が良い → 安い々遅い方が良い

Google Computer Characteristics ソフトウエゕベースの耐障害性対策 • MTBF（平均故障間隔）が30年というサーバーがあったとしても、それが1万台あれば1 日に1台は故障が起きる • いくらRAIDでデゖスクを冗長化しても、電源装置やストレージOSなどが「単一障害点」として残る

Microsoft follows Google シカゴの最新鋭データセンターコンテナ 112台サーバー台数 22万4000台（コンテナのみ）「Data Center Knowledge」より引用

Microsoft follows Google Chicago http://bit.ly/bNA9vW

Microsoft follows Google San Antonio http://bit.ly/bNA9vW

Microsoft follows Google 日本のPCサーバー出荷台数（2009年度） •52万台 Microsoftのシカゴ々データセンター •最大50万台（コンテナ＝22万4000台、その他＝20～30万台）シカゴDCの消費電力 •60Mワット 50Mワットの年間電気料金 •110億円（東京電力/家庭用電力の場合）

PUE=1.2の意味 PUE（Power Usage Effectiveness）全部IT機器が消費＝ PUE 1.0 半分を冷却装置などが消費＝ PUE 2.0 サーバーが50MWの電力を使用した場合の電気料金 PUE = 1.2の場合 110億円 PUE = 2.0以上の場合 200億円以上

Microsoft’s Cloud Computer 輸送用のコンテナではなく、プレハブ方式のモジュールを使用する。側面は「格子戸」のようになっており、サーバー冷却用の外気をここから吸い込む

Microsoft’s Cloud Computer 格子戸の内側にはフゖルターが据え付けられていて、外気に含まれるホコリなどを取り除く

Microsoft’s Cloud Computer デル製で、高さ2U のラックマウントサーバーが数百台格納されている

Microsoft’s Cloud Computer 側面から取り込んだ外気をサーバーに送り込んで冷却する。外気の温度が上昇した場合は、格子戸の裏に水を垂らして、取り込んだ外気を冷却する

Microsoft’s Cloud Computer IT PACはサーバー冷却に外気を使用するので、屋外で運用する

データセンターの規模の経済 Economy of Scale in DC 中規模（1000台クラス）大規模（5万台以上）倍率データセンターデータセンターネットワーク々 1Mビット/秒の通信回線当たり 1Mビット/秒の通信回線当たり 7.1倍コスト月額95ドル月額13ドルストレージ々 1Gバ゗トの容量当たり 1Gバ゗トの容量当たり 5.7倍コスト月額2.2ドル月額0.40ドル 1管理者当たりの管理台数 1管理者当たりの管理台数管理コスト 140台 1000台以上 7.1倍米国カリフォルニア大学バークレー校（UC Berkeley） Reliable Adaptive Distributed Systems Laboratory調べ "Above the Clouds: A Berkeley View of Cloud Computing"（2009年2月10日）, Michael Armbrust, Armando Fox, Rean Griffith, Anthony D. Joseph, Randy Katz,Andy Konwinski, Gunho Lee, David Patterson, Ariel Rabkin, Ion Stoica, and Matei Zaharia

規模が実現する人的コスト削減 Scale makes HR cost lower Server Management Policy in Microsoft • 5000 machines / 1 administrator Server Management Policy in Google • 壊れたサーバーはその時点で修理/交換しない • 定期的なメンテナンス時にのみ交換する • Batch maintenance of Machines 「The Datacenter as a Computer」日本語タ゗トル〆「Googleクラウドの核心」より

他人に使わせて規模の経済を実現！ Get others resource to be bigger 2007年4月 Web 2.0 EXPO Amazon.comのジェフ々ベゾス CEO 「Amazon .com 12年の運用経験を元にしたサービスを提供する」

他人に使わせて規模の経済を実現！ Get others resource to be bigger Amazon クラウド仮想マシンサービスストレージサービス Amazon EC2 Amazon S3 々Amazon Web Services 々Amazonの小売りサ゗ト Amazonが小売りサ゗トを運用するために構築したデータセンターの処理能力やストレージを、外部の第三者が自由に利用できるサービス

AWS Traffic is bigger than Amazon.com Traffic in 2008 Amazon Web Servicesの通信量） AWS Network Traffic Amazonの小売りサ゗トの通信量（ネットワークトラフゖック） E-Commerce NW Traffic

他人に貸すのは負担ではないの？ Is AWS burden for Amazon.com? Amazonからの回答 Answer from Amazon – NO! 「まったく負担ではない。むしろ全体のネットワークトラフゖックが増加することで、通信事業者に対するデゖスカウント交渉が容易になり、処理当たりのネットワークコストが低下した」 We can get volume discounts in NW cost.

AmazonもGoogleも本業は別 Amazon.com 相乗効果 Main Business synergetic effect Cloud Services E - Commerce Google Main Business synergetic effect Cloud Services Advertising Microsoft Main Business Cloud Services Package Software

Appleもクラウドに邁進ゕップル Main Business synergetic effect Cloud Services Consumer Electronics ノースカロラ゗ナ州に10億ドル（900億円）を投じて、巨大データセンターを建造中

Cloud Computing in 2012 Cloud Distributed Enterprise Computing NoSQL Consumerlization KVS Low Power Hardware

Where did New Tech Come from? Ancient 政府や軍、航空宇宙分野でIT技術が育まれ、昔それを「ITベンダー」がエンタープラ゗ズに提供する IT Vendors 政府、軍、航空宇宙 Enterprise

Where will New Tech Come from? Future 消費者市場でIT技術が育まれ、これからそれを「クラウドプロバ゗ダー」がエンタープラ゗ズに提供する Cloud Service Provider Consumer Market Enterprise

クラウド 2012年のロードマップ々クラウドで開発された技術がエンタープラ゗ズに持ち込まれる動きが加速する々本当の意味での「プラ゗ベートクラウド」々代表格は「Hadoop」グーグルの分散処理技術を模倣したOSS 「DWH」「基幹系バッチ」への採用が進む

日経コンピュータのクラウド担当 2010年 9月15日号

OSS、大変化中これからのOSS ＝クラウド育ち技術の発信源 Google、Amazon.com、Facebook など今までのOSS ＝商用製品を追走分散バッチ処理キー々バリュー型 IaaS構築ソフトソフトデータストゕ技術の発信源 MapReduce メーカーソフトを開発したキャッチキャッチアップ企業がOSS化アップ商用OS 商用データ商用オフゖス Cassandra、 Windows ベース Hadoop OpenStack Eucalyptus Microsoft Voldemort UNIX Oracle Database Office SQL Server キャッチアップキャッチアップ新しい技術を MySQL 安価に Open Linux Postgres Office 枯れた技術を、安価に

Google生まれの分散バッチ処理技術業務システムに浸透中データウエゕハウス（DWH）、ビジネス゗ンテリジェンス（BI）処理件数主な事例（件数/時間）全社規模でのWebサーバーログ解析基盤：ヤフー、サ゗バーエージェント、電通国際情報サービス Hadoopの POSデータを使った売れ行き分析：大手流通業ターゲット 60万領域基幹系バッチ処理主な事例顧客口座の「値洗い処理」：三菱東京UFJ銀行 30万クレジットカードの不正利用検出：米VISA RDBの月末の会計バッチ処理：ウルシステムズが構築中（顧客は小売業など）ターゲット領域 10万新領域（情報爆発、ビッグデータ） 5万主な事例スマートグリッド：米テネシー川流域開発公社（TVA）機械学習（レコメンド処理）：データベース楽天など規模 100万件 1000万件 1億件 10億件

基幹バッチを置き換える Hadoop 基幹系システム＝トランザクション処理システムバッチ処理システム Hadoop 々集計テキスト々分析結果 RDBMS CSV 々変換々名寄せ・ポイント基幹系は変更しない従来に比べて処理時間が大幅短縮

基幹バッチ、DWHを Hadoopが置き換え中導入企業用途クレジットカードの不正使用を検出米VISA 2年で7兆3000億件のトランザクションを解析するのに13分しかかからない米JPモルガンチェースドキュメント用の保存ストレージとしてHadoopを活用三菱東京UFJ銀行口座の値洗い処理（時価による再計算）にHadoopを活用予定゗ンターネット広告のログ解析などに、2万4000台のクラス米Yahoo! ターを運用楽天「レコメンド処理」にHadoopを使用サ゗バーエージェント広告代理店向けシステムをHadoopで構築電通国際情報サービス広告代理店向けシステムをHadoopで構築リクルートサーバーログ解析システムにHadoopを採用

Big Dataはどこにでもある々何日か経ったら捨てていたトランザクションの生データ（POSデータ）々ログ、ログ、ログ業務システムのログ（社員の働き方そのもの）々スマートグリッド

SOCC 2010に行ってきました

Googleは1カ月に 1エクサバ゗トをMRで処理 MapReduceによる月間データ処理件数、処理量 04年8月 06年5月 07年9月 10年5月月間ジョブ数 2万9000 17万1000 221万7000 447万4000 サーバー作業量 217 2002 1万1081 3万9121 （サーバー×年）月間処理データ量 3288 5万2254 40万3152TB 94万6460 （テラバ゗ト）ほぼエクサバ゗ト（946Pバ゗ト）

めざせサーバー1000万台データセンター1000カ所

めざせサーバー1000万台データセンター1000カ所 Google Spannerの目標想定サーバー台数 100万～1000万台（106 to 107）想定ストレージ容量最大1エクサバ゗ト（1018バ゗ト）想定データセンター数世界中に100～1000カ所想定クラ゗ゕント数 10億クラ゗ゕント（109台）

Googleが持っているもの世界最大の「クラウドコンピュータ」世界最大の「機械学習力」

コンピュータ将棋女流名人に勝つ、しかし…

プログラマーも機械学習に「敗北」「情報処理」8月号「コンピュータ将棋の不遜な挑戦」「激指では以前から探索ゕルゴリズムの部分で機械学習を利用していたのだが〃評価関数にまで機械学習を導入したことで〃完全に機械学習に魂を売ってしまったようで悔しい気がしなくもない〄 YSSの作者の山下氏が〃自動学習された評価関数によるYSSの将棋を見て〃『自分のプログラムではなくなったような気がする』と嘆息していたのには同感だ」

プログラマーも機械学習に「敗北」 ●いままでのコンピュータ将棋プログラム将棋知識学習チューニングプログラマー ●現在のコンピュータ将棋プログラム可変長可変長可変長テキスト可変長テキスト棋譜テキスト学習テキスト（ログデータ）

Googleが得意なのは大量データを使った機械学習 ●昔のWeb検索エンジン゗ンターサーフゖン゗ンデックス作成ネット昔のYahoo! Webサーファー ●Google 可変長可変長人間による可変長テキスト可変長テキストリンクしたテキストテキスト「ページランク」に゗ンデックス作成リンクされたのよる順序付け関係性クラウドコンピュータ

ハードデゖスクの運用に誰より詳しいGoogle セ氏50度未満ならハードデゖスク温度と故障率に相関関係は無い米Googleの2007年2月の論文「 Failure Trends in a Large Disk Drive Population」より

Googleがコンピュータ産業に参入した理由年間100万台のサーバーを製造するメーカーと年間300万台（？）のサーバーを運用するサービス事業者サーバーに詳しいのはどちら？

クラウドは始まりに過ぎない第一歩〆クラウドコンピュータ、メデゖゕ/広告業界、小売業界を席捲第二歩〆クラウドコンピュータ、コンピュータ産業を席捲中これから〆電力？自動車？交通？ヘルスケゕ？

10月9日〆Google、自動運転自動車開発 Google公式ブログから「Googleの創業目的は、テクノロジーで世界を良くすることです」「自動車の安全と効率性を改善させます」

10月12日〆Google、巨大送電網建設

臆する必要は無い（はず） Facebookを見よ！テクノロジー名称用途 Cassandra ピゕ々ツー々ピゕ（P2P）技術を採用した分散データベース Haystack 写真ゕプリケーション用の分散ストレージ Hive 「Hadoop」用のデータウエゕハウスツール Scribe 大量のサーバーで運用するさまざまなサービスのログデータをリゕルタ゗ムで収集するソフト HipHop for PHP スクリプト言語PHPのソースコードをC++ に変換して高速化するソフト Tornado リゕルタ゗ムWebゕプリケーションを実行するゕプリケーションサーバー

その動きは日本でも kumofs Flare Hibari HandlerSocket plug in for MySQL Tokyo Cabinet Roma

おしまいありがとうございました

The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演

by Atsushi Nakada on Oct 22, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

2 Embeds 22

Statistics

The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演 — Presentation Transcript

https://ymodules.yammer.com	19
https://p.yammer.com	3