Cloud impact on IT industry (in Japanese)

Cloud impact on IT industry (in Japanese)
2011-12-16 クラウドの衝撃 ★ キー・バリュー型データストア：Google App Engine ★ 激変するIT市場 1
自己紹介島根大学総合理工学部数理・情報システム学科教授田中章司郎 http://www.linkedin.com/in/shojirotanaka http://www.shojiro-tanaka.net －情報処理学会情報規格調査会 SC32/WG4 SQL/MM委員－元情報処理学会中国支部長－元情報処理学会代表会員 2
Sober researcher … (1/2) 3
Sober researcher … (2/2) 4
はじめに少しお断り … • 非公開技術情報が多く，製品市場も激しく変化しているため，この講演の内容は推測を含みます • スライドの多くはインターネットで集めました。引用先の原著作権を尊重ください 5
Agenda (1/2) ★キー・バリュー型データストア： Google App Engine • ホワイトハウスOpen for Questions: 700 queries/sec. • 圧倒的なコスト差 • どこまでもスケールアウトさせるテクノロジ • ACIDからBASEへ • アンドロイド端末組込DBとの連携 6
Agenda (2/2) ★ 激変するIT市場 • コンテナ利用データセンターに見える Googleの戦略 • KVSが日米の業界で騒がれ始めた時は… • Google KVSの基礎となる論文は2004年！ • 日本のテクニカルライタの目は比較的確か • 旧電電ファミリー，他社の動向 • KVS再考 • Googleの文化と今後の技術展開 7
第１部 ★キー・バリュー型データストア： Google App Engine 8
Open for Questions, 3/24/2009 9
Open for Questions, 3/24/2009 • テレビと連動した初めての試みでアクセス予測不可能 • ピークは1秒当たり700問合せ • 全投票数は180（360?）万件，問合せ10万件 • ホワイトハウス側の技術者がオープンソースの Google Moderatorをベースにチューニング • （App Engineで運用中だった45,000のアプリに影響なし） • ホワイトハウスの開発期間と支払った金額は不明 [推定1ヶ月，数百万円程度か？] http://itpro.nikkeibp.co.jp/article/COLUMN/20090702/333140/ 10
２ケタ安？！ • GClue社 http://www.gclue.com/ 月3,000万PV → 月額3万円程度（US $360） • X社 400万件，約11GBのデータをApp Engineに移行 → 月額US $4 （日経BP，DVD，佐藤一憲（ペンネーム吉川和巳）氏） 11
無償分を超えると有償に（日経BP，DVD，佐藤一憲氏） 12
いまITで何が起きているか？ http://itpro.nikkeibp.co.jp/article/COLUMN/20101101/353684/ 13
いまITで何が起きているか？ http://itpro.nikkeibp.co.jp/article/COLUMN/20101101/353684/ KVSによる分散巨大 Super Big Data! データ管理 14
基本技術：ハッシュの応用（日経BP，「クラウドマガジン Vol.1」，p.57 15
RDBはスケールしない？（日経BP，DVD，佐藤一憲，2010） 16
どこまでもスケールアウト技術 App Engine Stack Bigtable 17 （日経BP，DVD，佐藤一憲，2010）
Google App Engineとは（日経BP，DVD，佐藤一憲，2010） 18
Google App EngineのAPI 19 （日経BP，DVD，佐藤一憲，2010）
App Server （日経BP，DVD，佐藤一憲，2010） 20
App Serverのスケールアウト（日経BP，DVD，佐藤一憲，2010） 21
どこまでもスケールアウト技術 App Engine Stack Bigtable （日経BP，DVD，佐藤一憲，2010） 22
分散KVS （Bigtable）（日経BP，DVD，佐藤一憲，2010） 23
分散KVS （Bigtable）（日経BP，DVD，佐藤一憲，2010） 24
ACID Atomicity, Consistency, Isolation, Durability 処理１：母親がA君の口座へ振り込む処理２：A君が口座からお金を引き出す 1:Select ントラ 2：Select ンザクシ DB ョ 3：Update&Commit 4：Update&Commit 25
ACID特性処理１：母親がA君の口座へ振り込む処理２：A君が口座からお金を引き出す 1:Select 2：Lock 待機 5:Select 3：Update DB 4:Commit&UnLock 6:Lock 7：Update 8:Commit&UnLock 26
楽観的なロック http://itpro.nikkeibp.co.jp/article/COLUMN/20101101/353684/ 27
ACIDからBASEへ（日経BP，DVD，佐藤一憲，2010） 28
Bigtableとは（日経BP，DVD，佐藤一憲，2010） 29
Bigtable （日経BP，DVD，佐藤一憲，2010） 30
Bigtable （日経BP，DVD，佐藤一憲，2010） 31
Datastoreサービスとは（日経BP，DVD，佐藤一憲，2010） 33
Datastoreサービスとは（日経BP，DVD，佐藤一憲，2010） 34
Datastoreクエリ（日経BP，DVD，佐藤一憲，2010） 35
いまITで何が起きているか？ http://itpro.nikkeibp.co.jp/article/COLUMN/20101101/353684/ KVSによる分散巨大 Super Big Data! データ管理 36
先にJoinした表設計にする（日経BP，DVD，佐藤一憲，2010） 39
端末DBとの連携 (GET/POST) 41 http://itpro.nikkeibp.co.jp/article/COLUMN/20111130/375391/
！（第2部へ） 42
第２部 ★激変するIT市場 43
米国・世界の情報収集 44
コンテナ型データセンター記事 eWeek (08/03/2007) Preimesberger, Chris Researchers at IBM, Hewlett-Packard, Sun Microsystems, and undoubtedly other companies are exploring technologies that might lead to data centers that require no cooling equipment, which would lower power usage dramatically. EE Times (02/13/2009) Merritt, Rick University of California, Berkeley professor Randy Katz says future computers need to be designed to meet the energy efficiency needs of data centers, and the power grid needs to adapt and become more like the Internet. 45
コンテナ型データセンター実際 46 http://tsugawa.tv/2009/04/10/google_unveil_datacenters/
KVSが騒がれ始める(2008年～) http://hadoop.apache.org/ 47
KVSが騒がれ始める(2008年～) http://www.dbms2.com/2008/09/04/mike-stonebraker-mapreduce/ 48
KVSが騒がれ始める(2008年～) http://itpro.nikkeibp.co.jp/article/OPINION/20090226/325527/?ST=cloud&P=1 49
KVSが騒がれ始める(2008年～) （情報処理 Vol. 50, No. 11, 2009） 50
KVSが騒がれ始める(2008年～) 51 http://itpro.nikkeibp.co.jp/article/Watcher/20100427/347564/
Google論文：実は… 2004年 52
Google KVS 実装プロジェクト http://nutch.apache.org/ 53
KVSが騒がれ始める(2008年～) http://hadoop.apache.org/ 54
Microsoft – Windows Azure http://codezine.jp/article/detail/3970 55
Microsoft – SQL Azure DB http://msdn.microsoft.com/ja-jp/magazine/ee321567.aspx 56
SQL Azure：スケールアウトに限界 http://msdn.microsoft.com/ja-jp/windowsazure/gg465295 （1GBytes, 10GBytes容量制限有り） http://www.atmarkit.co.jp/fdotnet/dnfuture/intvwdavidchappell_01/intvwdavidchappell_01_03.html 57
Azure DBとAzure Table Storage http://itpro.nikkeibp.co.jp/article/COLUMN/20101101/353684/ 58
ついにGoogle Cloud SQL！ Google、App EngineにSQLデータベース追加 2011/10/07 （鈴木英子＝ニューズフロント）米Googleは米国時間2011年10月6日、Webアプリケーション開発／実行環境「Google App Engine」にクラウドベースのリレーショナルデータベース管理システム「Google Cloud SQL」を追加すると発表した。当面、限定的なプレビュー版として提供する。・・・ http://itpro.nikkeibp.co.jp/article/NEWS/20111007/370326/?ST=print 59
KVSクラウドビジネス選択肢 • Google App Engine For Business • Amazon SimpleDB • [salesforce.com] • 上記の組合せ • Microsoft Azure • IBM WebSphere eXtreme Scale （ホスティング/自社センタ） • 自社開発/オープンソース (Cassandra) 60
各社の対応（三菱電機） http://www.itmedia.co.jp/enterprise/articles/1007/21/news037.html 61
各社の対応（沖電気） http://www.oki.com/jp/press/2010/11/z10090.html 62
各社の対応（NEC） http://www.nec.co.jp/outsourcing/riacube-v/index.html ※ （2011年7月6日） http://www.itmedia.co.jp/enterprise/articles/1107/11/news021.html 63
各社の対応（日立製作所） http://cloud.watch.impress.co.jp/epw/docs/news/20100527_369810.html 64
各社の対応（富士通） http://jp.fujitsu.com/solutions/cloud/concept/global.html 65
各社の対応（NTTデータ） http://cloud.watch.impress.co.jp/docs/news/20101122_408777.html 66
各社の対応（NTTデータ） http://www.asp-navi.jp/news/122010/nttaig.html 67
各社の対応（IIJ：KVS対応予定） http://www.atmarkit.co.jp/news/201109/05/mogok.html 68
各社の対応（NTT docomo） 69 http://www.atmarkit.co.jp/news/201109/05/mogok.html
各社の対応（IBM？） http://www-935.ibm.com/services/jp/igs/cloud-development/ http://www-06.ibm.com/software/jp/websphere/apptransaction/virtualization.html 70
各社の対応（IBM） 71 http://www.ibm.com/developerworks/jp/websphere/category/wxd/wxs.html
各社の対応（IBM！） http://www-06.ibm.com/systems/jp/z/hardware/z196/ 72
Revisit KVS http://thinkit.co.jp/story/2011/03/18/2053?page=0,0 73
各社の対応（Oracle） http://itpro.nikkeibp.co.jp/article/NEWS/20110523/360550/ 76
Google’s quirky culture, TGIF http://www.zdnet.com/videos/events/obamas-google-moderator-stats/285246 78
Google’s quirky culture… Larry Page（創業者,1998年）は，自分のいたスタンフォード大学の計算機科学の教授を5人を相談役として雇う。その教授のネットワークで「これは天才だ」という学生を見つける。その全ての学生にFedExで，スタンフォード大学の教授の手紙とファーストクラスの往復チケットを送る。「是非あなたの研究について話して欲しい。パロアルトに来て話してくれませんか？」 http://jp.blogs.com/2009/10/googlerecruiting.html Sergey Brin（創業者,1998年） Eric E. Schmidt（2001年） http://yokudeki.com/business/google_story/ 79
Google’s 20% rule グーグルは社員のビジョンを重視し、社員は社内で過ごす時間の20%を、自分が担当している業務以外の分野に使うことが義務づけられている Workers are asked to spend 20% of their time on something that interests them, away from their main jobs. Googleは8割のパワーで「持続的イノベーション」を開発し，2割のパワーで｢破壊的イノベーション」を創造している。 http://blogs.itmedia.co.jp/saito/2009/12/google20-9d35.html 80
Google’s TGIF TGIF（Thank God! It’s Friday! 今日で今週も終わりだ！花の金曜日だ！の意）ミーティングは物理的なインフラである。マウンテンビュー本社敷地内の1,000名程度収容のホールで行われる。いわゆるフルタイムで雇用される従業員は全員参加できる。創業以来続けられているこのミーティングの特徴は「一切タブーなし」というのが基本ルールだそうで，情報共有の原点といわれている。お楽しみ半分，業務目的半分の会である。 http://itpro.nikkeibp.co.jp/article/Watcher/20070125/259618/ 81

Check these out next

Cloud impact on IT industry (in Japanese)

Recommended

More Related Content

Slideshows for you(20)

Similar to Cloud impact on IT industry (in Japanese)(20)

Recently uploaded(20)

Cloud impact on IT industry (in Japanese)