• Like
ザ・パワーシフト
Upcoming SlideShare
Loading in...5
×

ザ・パワーシフト

  • 994 views
Uploaded on

クラウド、情報爆発、パワーシフト …

クラウド、情報爆発、パワーシフト
サード・リアリティ

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
994
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
28
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • でそれが大規模分散メモリストレージのROMAと, 分散並列処理フレームワークのfairyという2つのソフトウェアになります まつもとフェローのRubyを大規模なデータ処理にも使える言語にしていきたい,というモチベーションと, 楽天の大量のデータを効率的に処理する仕組みが欲しい,というモチベーションが 重なって出てきたものです
  • 現在,世の中に存在するデータ量が爆発的に増加する現象が起きています. 世の中のデータ量は2000年から昨年までで45倍に増加しており, 今後2年でさらに6倍増加して, ゼッタバイトという単位のデータ量に達すると言われています.
  • 大量にデータがあるイメージは紙のアンケート集計を 考えていただけると分かりやすいと思います. アンケートは沢山の数回答を集めたほうがいろいろな情報を得ることができますが, 数が増えれば集計自体が大変な作業になります. 8年前は100枚だったものが,2年後には27,000枚になります. こういう状況で効率的に行うには,やはり新しい仕組みが必要になってきます.
  • これにあわせて我々インターネット企業が取り扱うデータ量も増加しています. 楽天でもトラフィック量,会員数,トランザクション数の伸張に合わせ, 取り扱うデータ量はどんどん増えています.
  • http://10.158.15.152/jacket2/flash2/ http://10.158.15.152/jacket2/flash1/ http://10.158.15.152/jacket1/flash4/
  • 楽天トラベルの施設1万点の画像
  • 楽天トラベルの施設1万点の画像

Transcript

  • 1. 楽天株式会社 楽天技術研究所 森正弥 2009 年 4 月 10 日 ザ・パワーシフト ~ サード・リアリティ ~
  • 2. 楽天グループ紹介
  • 3. 楽天市場の成長
      • 店舗数:約 26,000 店
      • 商品数:約 2,800 万点
      • 会員数: 4,800 万人
    日本最大のインターネットのショッピングモール
  • 4. 技術戦略を担う 今後大きく成長する技術のシーズから、 インターネットを活用した人々の生活(リアリティ) を豊かにする 新しいサービス・事業の可能性を創出する ミッション More Than Web - 来るべき豊かなリアリティを - コンセプト 楽天タワー 楽天の技術戦略を担う R&D 組織
  • 5. サード・リアリティ
    • 未来ビジョン「サード・リアリティ」
      • インターネットの未来は?
      • どのようなテクノロジー、ビジネスが来る?
    • ビジョンに基づいた研究開発を推進
  • 6. リアリティの3ステップ 実空間 ネット空間 融合 1 st 2 nd 3 rd 区別がなくなる (地続きとなる) 融合を通して リアリティが変質する 長期的なビジョンであり、クラウド・コンピューティングの先を見据えたもの 本日は深く言及できませんため、「サード・リアリティ 解説」で検索ください
  • 7. 3つの研究領域
    • 「サードリアリティ」の策定を通し、 Web の拡大の方向性について見解をまとめている。
    • そこから、研究領域を、下記3つの分野として設定。
    増え続ける多種多様な テキスト、データ、 コンテンツ より高度な情報、 知識サービス ユーザー エクスペリエンスの 進化 Web の拡大の方向性 企業優位性の 源泉となる 3つのテーマ Power Intelligence Reality Base Back Supported Advanced Front Valued
  • 8. Power ドメイン 【まつもとフェロー】 Ruby にも大規模対応が必要だ 【楽天】 大量データをより効率的・ 生産的に処理したい 分散データストレージの Ruby 実装 分散処理フレームワークの Ruby 実装
  • 9.
    • 自社レコメンデーションエンジンを開発し、
    • 楽天スーパー DB との連携を実施。
    Intelligence ドメイン 楽天 スーパーDB 自社レコメンデーション エンジン開発 + レコメンデーション/パーソナライゼーションされたコンテンツ の提供により、購買転換率を向上
  • 10. 本題
  • 11.
    •  クラウド
    •  情報爆発
    •  パワーシフト
  • 12. クラウド・コンピューティング
  • 13. 第三世代がきて、今どういう変化が起きているか
    • コンピューターの世界(というざっくりとした言い方をしますが)は、
    • 今「第三世代」に入っているというのが一般的認識ですが、
    • インターネットの発展を経て、新しい流れが始まっています。
    • それが 「クラウド・コンピューティング」 です。
    出典:「ウィキペディア (Wikipedia): フリー百科事典」
  • 14. クラウド
    • 2006 年 8 月 9 日 Google の CEO であるエリック・シュミットが、米国カリフォルニア州サンノゼ市 (San Jose, CA) で開催された「検索エンジン戦略会議」 (Search Engine Strategies Conference) の中で言及
    • 2008 年 4 月 SalesForce と提携。
  • 15. 最初の発端: SaaS
    • 最初の発端は、 Google Docs & Spreadsheets です。
    • SalesForce とあいまって、 SaaS の概念を広めました。
  • 16. SalesForce
    • SaaS 型 CRM
  • 17. Zimbra
    • Ajax を使った Web コラボレーションツール
  • 18. Zoho
    • オンラインオフィススイート
      • Zoho Writer
      • Zoho Sheet (表計算)
      • Zoho Show (プレゼンテーション)
      • Zoho Planner
      • Zoho Projects
      • Zoho Creator (データベース)
      • Zoho Wiki
      • Zoho Chat
      • Zoho CRM
      • Zoho Virtual Office
  • 19. 次の発端: インフラ・サービス
    • 次の発端は、 2 年前に始まった、 Amazon のサービスにあります。
      • 仮想マシンの時間貸しサービス「 Amazon EC2 」
      • ネットワーク・ストレージ・サービス「 Amazon S3 」
    アマゾン本社 出典:「ウィキペディア (Wikipedia): フリー百科事典」
  • 20. Smugmug
    • 数字
      • 40万ユーザー(2007.12)
      • 500TB(2008.6)、Amazon S3使用
    • Smugmug という PhotoService の会社
    • インフラは自前で用意せず、 Amazon を利用
  • 21. ANIMOTO
    • Amazon EC2 を利用
    • Facebook のアプリとなり、 3 日でユーザー数が 2 万 5000 人 -> 25 万人、 Server 50 台 -> 3,500 台に増強させていますが、 EC2 を利用しているがゆえの拡張性
  • 22. NewYorkTimes
    • NewYorkTimes 誌の過去記事アーカイブも、 Amazon のインフラサービスを活用しています。
  • 23. PaaS
    • サービスのあるサーバー側でユーザーがプログラムを開発し、自分の好みのアプリケーションを動かす。
    • SaaS = ソフトウェアが Web に
    • PaaS = 開発環境が Web に
  • 24. Salesforce
    • 「 Apex 」という Java ベースの専用プログラム開発言語
  • 25. Facebook platform FBML (Facebook Markup Language) 、 FQL (Facebook Query Language) という独自の言語
  • 26. PaaS : エコシステム : (参考) Force.com Native
    • エコシステムが構築されている(その上でビジネスをやっているプレーヤーがいる)というのがポイント。
    • 以下は、 SalesForce のエコシステム上のプレーヤー
  • 27. エコシステム上のプレーヤー
    • 米 RightScale は, Amazon EC2 の仮想マシンを管理するための Web 管理コンソールや, EC2 のクラスタリング・サービス, EC2 上での「 MySQL 」の運用サービス等を提供。
    • また米 Heroku は, EC2 上で「 Ruby on Rails 」を運用するサービスを提供。
  • 28. 大きな流れとしてのクラウドコンピューティング ( ASP ) SaaS DC ISP インフラ・サービス NW 帯域高速化 分散処理 仮想化 CPU, Memory, HDD 低価格化 Data Portability Data Availability Ubiquitous mobility Ajax PaaS エコシステム
  • 29. Nicholas Carr 氏 の 「BIG SWITCH」
  • 30. 電力の話
    • 19 世紀末~ 20 世紀初頭、多くの工場では自前で発電機運用、電力を得ていた。
    • が、 1910 年代に電力会社ができ、 1930 年代までにほとんどの企業がやめる。
    • 発電機の運用が企業にとって複雑であり、重荷であったため。
    • 現在の IT も企業にとって重荷であり、同様のシフトが起こる。
    コモディティ化され、競争力の源泉ではなくなる
  • 31. 情報爆発
  • 32. 答えの鍵は
    • なぜクラウドにつながる技術群が生まれてきたのか?
    • 大規模なインフラ技術がどうして生まれてきたのか?
    情報爆発
  • 33. 情報爆発 2000 年 6.2EB 2007 年 281EB 2011 年 1.8ZB 45 倍 6 倍 ZB (ゼッタバイト) ⇒ 10 21 ⇒ 1,000,000,000,000,000,000,000
  • 34. 書類で考えてみる 9 年前 100 枚 2 年前 4,500 枚 そして 2 年後 27,000 枚
  • 35. デジタル化・ユビキタス化の進行
  • 36. Web は現実を取り入れる目・耳を手にしている
    • Web は、センサーによって拡大
      • 今までの、ドキュメントやコンテンツのハイパーリンクだけではなくなっている
      • センサーネットワークの接続、センサネット 2.0
        • 東京アメッシュ
      • 現実解析技術、メタデータ付与技術
  • 37. 例 SenseNetworks
  • 38. 大量データの統合による「巨大知」の登場
    • あらゆるものがデータになり、多段階に組織化
    • 我々はそれを、 「巨大知 (Organic Intelligence) 」 と呼んでいます。
      • 従来の集合知を超えた 新しい知
      • 各種 DB やセンサーネットワークの結合
      • 産業用データ、医療、気象、交通、農業、 SCM/CRM
      • GEO Grid ( 産総研のデータ統合実用化研究 )
    • 大量の「生データ」はそれだけで「知」となる
      • 多種大量の情報からの洞察、違いを生み出す違い
      • 断片情報の集積からの一次情報の近似
      • いかに巨大知データベースを構築するかの戦い
  • 39. 文科省と経済産業省
  • 40. 各社技術開発
    • そのような背景の中、各社・機関、大規模・分散に向けた技術群の開発を行なっている。
    Google MapReduce, GFS, BigTable Yahoo 他 Hadoop, HDFS, hBase Amazon Dynamo IBM Object Grid Microsoft Velocity, SDS Oracle Coherence KLAB repcached ミクシィ Tokyo Cabinet, Tokyo Tyrant グリー Flare 他 JBoss Cache, Skynet, Starfish
  • 41. 独自の概念
    • エラー忘却型コンピューティング
      • MIT マーティン・リナード氏 ( 2004 )
      • 想定外のエラーが出ても、とりあえずほっておいて(忘却して)、処理は継続させる
      • 正確さより、高速性・大規模性を優先
    • 結果一貫性 ( Eventual Consistency )
      • キーに対してデータが二重になってもとりあえずは放置
      • アプリケーション側で修正されるだろうから、結果的に一貫性が保たれる、という考え方
    Starbacks doesn’t use 2 phase commit.
  • 42. 楽天のデータ量も増えている 4,600 万会員 流通日商 30 億
  • 43. 3領域 Power Intelligence Reality ROMA & fairy スーパー DB レコメンデーション& パーソナライゼーション 大規模マルチメディア 対応
  • 44. Power ドメイン 【まつもとフェロー】 Ruby にも大規模対応が必要だ 【楽天】 大量データをより効率的・ 生産的に処理したい 分散データストレージの Ruby 実装 分散処理フレームワークの Ruby 実装
  • 45. 大規模な分析と高速処理の基盤 分散データ ストレージ ROMA 分散処理 フレームワーク fairy 共通 API サーバー スーパー DB サービスを横断して データを分析 (各サービス) 各種 DB ユーザーに最適な 情報・サービスを提供する 永続化 DB
  • 46. スーパーDB 楽天 スーパーDB リコメンデーション KPI モニタリング 購買予測 パーソナライズ データの集約 データの分析・利用
  • 47.
    • 自社レコメンデーションエンジンを開発し、
    • 楽天スーパー DB との連携を実施。
    Intelligence ドメイン 楽天 スーパーDB 自社レコメンデーション エンジン開発 + レコメンデーション/パーソナライゼーションされたコンテンツ の提供により、購買転換率を向上
  • 48. 楽天ブックス
  • 49. レコメンド例
  • 50. 「ジャケ買い」アプリケーション
    • 【技研技術の価値】
    • 色で探せる (縦横に色で配置)
    • ドラッグでぐりぐりと動かす
    • ズーム in/out でよりよく見れる
  • 51. 10万枚
  • 52. ズーム
  • 53. グリグリ動かせる
  • 54. 大量画像処理
  • 55. 2 万施設
  • 56. 市場の商品の画像を並べてみました
  • 57. 2300万枚
  • 58. パワーシフト
  • 59. Web2.0 オープンソース WebAPI マッシュアップ ロングテール 新しい情報価値の 製造・流通・利用 集合知 CGM ・ UGM
  • 60. HousingMaps & Mint
  • 61. Web2.0 オープンソース WebAPI マッシュアップ ロングテール 新しい情報価値の 製造・流通・利用 集合知 CGM ・ UGM しかし、序章、夜明前
  • 62. 大規模分散技術は誰でも手に入る
    • 各社技術のほとんどは論文が公開されていたり、オープンソース
    • 優秀な技術者がいれば、誰もが、大規模分散技術を手にすることが可能
    Google MapReduce, GFS, BigTable Yahoo 他 Hadoop, HDFS, hBase Amazon Dynamo IBM Object Grid Microsoft Velocity, SDS Oracle Coherence KLAB repcached ミクシィ Tokyo Cabinet, Tokyo Tyrant グリー Flare 他 JBoss Cache, Skynet, Starfish
  • 63. ANIMOTOのようにインフラも手に入る
    • Amazon EC2 を利用
    • Facebook のアプリとなり、 3 日でユーザー数が 2 万 5000 人 -> 25 万人、 Server 50 台 -> 3,500 台に増強させていますが、 EC2 を利用しているがゆえの拡張性
  • 64. Amazon Elastic MapReduce
  • 65. よって、誰もが巨大知を操る
  • 66. フラット化する世界 世界は ヒエラルキーから平らに 企業の時代は終わり、 グローバルに個人同士が つながる時代へ いかに、個人の力を 引き出させるかが 今後の企業の鍵
  • 67. ジャングル
    • 自由な開発を行なうことができる社内クラウド
    • 「誰でも利用可能な自由な開発環境」 の企画・提供
    • 一部データも利用可能
    • パワーシフト、イノベーションの醸成
    • ■ 内容
    • 社内で自由に活用可能な開発・テスト用インフラ環境
    • 社内の開発者であれば、自らのクリエイティビティに基づいて、自由に活用できる
    • 楽天技術研究所の技術も利用可能
    • 実際の利用例
      • 学習による自己研鑽
      • 新しいサービスの開発
      • 社内生産性向上のためのツールのテスト開発
  • 68. 真なる夜明けはこれから来る 大規模分散技術 スケールによらないフラット化 パワーシフト 情報爆発 巨大知 クラウド・インフラ
  • 69.
    •  クラウド
    •  情報爆発
    •  パワーシフト
  • 70. 最後に・・・・
  • 71. 技術者としての夢
  • 72. 技術者としての夢
    • 技術者としての自分の夢は、
    • 今までのコンピューターサイエンスの潮流とは全く異なる、新しい分野 を創りだすことです。
    • 何十年かかるかわかりませんが・・・
    • 気恥ずかしいですが、それを通して社会や人々のお役に立てれればと思っています。
  • 73. メッセージ
    • 今はまだ夜明け前です。
    • Web2.0 も、クラウドも、インターネットが発展していくための通過点でしかなく、本当の変化はこれから起こります。
    • その変化の起こる新しい時代に、第一線で、技術者として関われることほど、素晴らしいことはないのだと思っています。
  • 74. ご清聴いただき ありがとうございました