Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

DeNAの大規模データマイニング活用したサービス開発

44,306 views

Published on

「DeNAの大規模データマイニング活用したサービス開発」

慶應義塾大学大学院 理工学研究科 2014年度下期 「ビックデータ実践論」 特別講義 の講義資料です。 実際の大規模データマイニング活用したサービス開発での各種挑戦、心がけていること、分散処理基盤、等、話しています。興味ある方はぜひ。

Published in: Technology

DeNAの大規模データマイニング活用したサービス開発

  1. 1. 1 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 慶應義塾大学大学院 理工学研究科 2014年度下期 ビックデータ実践論 特別講義 DeNAの 大規模データマイニング活用した サービス開発 株式会社ディー・エヌ・エー 濱田晃一 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
  2. 2. 2 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  3. 3. 3 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  4. 4. 4 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
  5. 5. 5 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Mobageの1日あたりの ユーザアクション数?
  6. 6. 6 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Mobageの1日あたりの ユーザアクション数? 35億以上/Day
  7. 7. 7 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 日本最大規模のWebサービス Mobageの1日あたりの ユーザアクション数? 35億以上/Day
  8. 8. 8 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Mobageの1日あたりの ログデータ量?
  9. 9. 9 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Mobageの1日あたりの ログデータ量? 1.2TB/Day
  10. 10. 10 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 何の数値?
  11. 11. 11 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 3.8倍
  12. 12. 12 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 3.8倍 Install/Impression (CTR x CVR)
  13. 13. 13 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 3.8倍 Install/Impression (CTR x CVR) デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した パーソナルゲームレコメンドの数値増加効果(※1) ※1: 表示位置等、同条件での比較。2014年上期時点
  14. 14. 14 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 3.8倍 9.7倍 デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した パーソナルゲームレコメンドの数値増加効果(※1) Install/Impression (CTR x CVR) ※1: 表示位置等、同条件での比較。2014年上期時点
  15. 15. 15 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 9.7倍 ※2: 利用継続数値: Install後のN日後のInstallゲームの来訪ユーザ数 等 利用継続数値/Impression (※2) 3.8倍 Install/Impression (CTR x CVR) デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した パーソナルゲームレコメンドの数値増加効果(※1) ※1: 表示位置等、同条件での比較。2014年上期時点
  16. 16. 16 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 3.8倍 効果規模例 9.7倍 興味と合い楽しめるゲームに出会えることにより よりゲームを楽しみ継続してもらえる体験を提供 利用継続数値/Impression (※2) ※2: 利用継続数値: Install後のN日後のInstallゲームの来訪ユーザ数 等 Install/Impression (CTR x CVR) デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した パーソナルゲームレコメンドの数値増加効果(※1) ※1: 表示位置等、同条件での比較。2014年上期時点
  17. 17. 17 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. パーソナルレコメンデーション例 興味にあったゲームに出会い楽しめるレコメンド 行動・反応から興味を学習。使えば使うほど推薦内容が洗練されていく 自分の興味にあい 楽しみ継続利用する確率が高いゲーム ・各ユーザごとに、各レコメンドに対す る反応から興味を学習 (強化学習) 自分がはまっているゲーム User Reaction Log Personalized Data for Each User Impression Game Play Install user_id, recdata ・ゲームプレイ特徴、ゲームインストー ル特徴、インストール後継プレイ特徴、 の条件付き確率構造を学習 ・各ユーザーごとに、プレイ特徴に応じ た、各ゲームの継続利用確率を算出 分散処理: 機械学習 Click Install プレイ・継続特徴学習、利用継続確率 リアクション学習 Play Continuity after install
  18. 18. 18 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 12.7倍
  19. 19. 19 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 効果規模例 サービス横断で親しいユーザを用いたパーソナル友達レコメンド効果 全体で友達成立しやすい人とのリスティング比較(※) 12.7倍 友達成立数/Impression ※表示位置等、同条件での比較。
  20. 20. 20 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 効果規模例 サービス横断で友達を増やし 一緒にゲーム・コミュニティを楽しむ機会を創出 ※表示位置等、同条件での比較。 サービス横断で親しいユーザを用いたパーソナル友達レコメンド効果 全体で友達成立しやすい人とのリスティング比較(※) 12.7倍 友達成立数/Impression
  21. 21. 21 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理: 機械学習 パーソナルレコメンデーション例 サービス横断で友達を増やし 一緒にゲーム・コミュニティを楽しむ機会を創出 興味あるゲーム・コミュニティで親しいユーザ 一緒に楽しんでいるサービス User Reaction Log Personalized Data for Each User Impression Service Access user_id, recdata ・アクセス特徴、コミュニケーション特 徴から、各ユーザごとに、興味・個別 サービスでの他ユーザとの親密度、お よび、ゲーム・プラットフォーム横断で のユーザ間親密度を算出 Friend Request Accept サービス横断のユーザ親密度 Communication ・各ユーザごとに、各レコメンドに対す る反応から興味を学習・洗練 (強化 学習) リアクション学習
  22. 22. 22 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
  23. 23. 23 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. みなさんが学んでいる データマイニング・機械学習
  24. 24. 24 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 新たな価値提供の ポテンシャルを持っている みなさんが学んでいる データマイニング・機械学習
  25. 25. 25 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 今後、ぜひ学んだことを活かし 新たな価値あるサービスを作りあげてください
  26. 26. 26 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 本日は 実際の大規模サービスでの データマイニング・機械学習活用した サービス開発・挑戦 に関し、お話しします
  27. 27. 27 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  28. 28. 28 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 講師 2010年6月 Mobageプラットフォーム全体の データマイニング・機械学習活用したサービス開発・洗練 2011年4月~ ・博士 - 量子統計場の理論(理論物理学) ・データマイニング+WEB@東京(TokyoWebmining) 主催。  データマイニングの実活用コミュニティ。登録人数 1300人超。 濱田晃一 (@hamadakoichi) ・執筆:Mobageを支える技術 DeNA入社 ソーシャルゲームのデータマイニングチーム立上げ Analytics Architect DeNA全サービスの データマイニング・機械学習活用したサービス開発・洗練 2014年10月~ ・データマイニング・機械学習、等、各種講師資料も公開しています http://slidesha.re/h6OeXn
  29. 29. 29 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 数千万人の人々へ 各人のつながり・楽しみ・好み 個性にあった適切なサービス配信 日々35億以上の活動の活用 データマイニング・機械学習活用したサービス開発 活動 より適切なサービス提供 各人のつながり、楽しみ、好み、個性にあった Social Graph Objective Process Fun PersonalityLike Social Media Data Mining Machine Learning
  30. 30. 30 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ソーシャル・活動情報の活用により より適切な情報・サービス配信される世界を実現したい 活動 より適切なサービス提供 各人のつながり、楽しみ、好み、個性にあった Social Graph Objective Process Fun PersonalityLike Social Media Data Mining Machine Learning
  31. 31. 31 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. より適切なサービス提供 各人のつながり、楽しみ、好み、個性にあった Social Graph Objective Process Fun PersonalityLike Social Media Data Mining Machine Learning ソーシャル・活動情報の活用により より適切な情報・サービス配信される世界を実現したい 活動 世界中の人々が 個々人のつながり・楽しみ・好みにあった適切な情報・サービスを 自ら探さなくても得ることができる世界
  32. 32. 32 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆効果規模 ◆体験提供・アルゴリズム ◆提供価値 ◆はじめに
  33. 33. 33 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
  34. 34. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Eコマース ゲーム トラベル コミュニケーション スポーツエンターテインメント ベンチャー投資 DeNAの事業ポートフォリオ ヘルスケア キュレーション
  35. 35. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 35億Action以上/日 数千万人 有効会員 ユーザ行動 ソーシャルゲームプラットフォーム
  36. 36. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 1日35億超の行動情報 36 統計的有意な結果を 多くのユーザー体験へ還元 数千万人 1日35億超アクション
  37. 37. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 1日35億超の行動情報 37 統計的有意な結果を 多くのユーザー体験へ還元 統計的有意 データマイニング・機械学習の 結果の統計的有意性 数千万人 1日35億超アクション
  38. 38. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 1日35億超の行動情報 38 統計的有意な結果を 多くのユーザー体験へ還元 統計的有意 多くの人へ還元 データマイニング・機械学習の 結果の統計的有意性 多くのユーザー体験へ 還元できる 数千万人 1日35億超アクション
  39. 39. 39 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  40. 40. 40 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング活用によるサービス洗練 データマイニング・機械学習の活用により 迅速なサービス洗練を実現していますKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … … … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  41. 41. 41 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング活用によるサービス洗練 KPI(Key Performance Indicator)定常算出・共有 ビジネス・サービス変化を検知 Data Mining Infrastructure KPI Views KPI Inspection
  42. 42. 42 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング活用によるサービス洗練 経営判断・サービス洗練を行うための データマイニング実行 Data Mining Infrastructure Business Planning KPI Views KPI Inspection
  43. 43. 43 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング活用によるサービス洗練 データマイニング・機械学習 結果のサービス活用 より楽しんでもらえるサービスへKafka Messaging … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Data-mining Machine-Leaning Results
  44. 44. 44 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング活用によるサービス洗練 データマイニング・機械学習の活用により 迅速なサービス洗練を実現していますKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … … … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  45. 45. 45 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  46. 46. 46 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報
  47. 47. 47 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報 ミッション ボス挑戦 勝つ 負ける
  48. 48. 48 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報 ミッション ボス挑戦 勝つ 負ける ステータスアップ
  49. 49. 49 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報 ミッション ボス挑戦 勝つ 負ける ステータスアップ 応援 プレゼント ウィンク仲間申請 交換
  50. 50. 50 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報 ミッション ボス挑戦 勝つ 負ける ステータスアップ 応援 プレゼント 助け合う ウィンク仲間申請 交換
  51. 51. 51 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報 ミッション ボス挑戦 勝つ 負ける ステータスアップ 応援 プレゼント 助け合う ウィンク仲間申請 交換 水やり 収穫 種まき耕す 捕獲
  52. 52. 52 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報 ミッション ボス挑戦 勝つ 負ける ステータスアップ 応援 プレゼント 助け合う ウィンク仲間申請 交換 水やり 収穫 種まき耕す 捕獲 育成
  53. 53. 53 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報 … ミッション ボス挑戦 勝つ 負ける ステータスアップ 応援 プレゼント 助け合う ウィンク仲間申請 交換 水やり 収穫 種まき耕す 捕獲 育成 アイテム合成 アイテム取得 収集 …
  54. 54. 54 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 詳細行動情報 目的・感情が分かる詳細行動情報 よりユーザ趣向を理解した深い解析 楽しさのマイニング … ミッション ボス挑戦 勝つ 負ける ステータスアップ 応援 プレゼント 助け合う ウィンク仲間申請 交換 水やり 収穫 種まき耕す 捕獲 育成 アイテム合成 アイテム取得 収集 …
  55. 55. 55 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Social Media Experience
  56. 56. 56 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Social Media Experience Social Graph Detailed Actions Social Communications Changes of Status Personality ..etc
  57. 57. 57 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Social Graph Data Mining Machine Learning of Fun Social Media Experience Detailed Actions Social Communications Changes of Status Personality ..etc
  58. 58. 58 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc
  59. 59. 59 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) 楽しさのマイニング ユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc
  60. 60. 60 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Recommendation より楽しんでもらえるサービス推薦 活動例(抜粋): Recommendation
  61. 61. 61 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Recommendation Strategy 推薦戦略 活動例(抜粋): Recommendation
  62. 62. 62 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Recommendation Strategy Memory Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) Model Based Paradigm (most detailed experiments and rationale) > パターンの学習と予測  > latent semantic analysis (game text similarity)  > artificial neural network Emergent Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) Hybridized Intelligence Paradigm (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 Standard Recommendation Methodologies 推薦戦略 活動例(抜粋): Recommendation
  63. 63. 63 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Recommendation Strategy Memory Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) Model Based Paradigm (most detailed experiments and rationale) > パターンの学習と予測  > latent semantic analysis (game text similarity)  > artificial neural network Emergent Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) Hybridized Intelligence Paradigm (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 Standard Recommendation Methodologies 推薦戦略 活動例(抜粋): Recommendation
  64. 64. 64 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Collaborative Filtering Social Graph Collaborative Filtering (Personal) (Neighborhood Matrix Model for “A likes B”) Input User History and Neighborhood Collaborative Filtering (Global) (Global Matrix Model for “A likes B”) Input User History and Social Graph RECSRECS User with no friend [ex) New User] User with friend Relationship between Game A2 and C2 Item-Item Matrix of Relationships (Invented by Amazon.com) Users who “bought A bought C”, “viewed A viewed C”… There are thousands of collaborative filtering varieties: + user friend neighborhood… + user similarity clustered neighborhood… References (International Research Copyrights) Wikipedia Image of a Social Network user Friend of Friend Friend Neighborhood ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 活動例(抜粋): Recommendation
  65. 65. 65 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Recommendation Strategy Memory Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) Model Based Paradigm (most detailed experiments and rationale) > パターンの学習と予測  > latent semantic analysis (game text similarity)  > artificial neural network Emergent Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) Hybridized Intelligence Paradigm (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 Standard Recommendation Methodologies 推薦戦略 活動例(抜粋): Recommendation
  66. 66. 66 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Content Similarity コンテンツ類似度の利用 Similarity Game A2 and C2 Game A to B Cosine Similarity Matrix Smoothing Normalization Game A to B Relationship Matrix Cosine Similarity Equation Latent Semantic Analysis via Singular Value Decomposition Statistical Z-Score removes Low Confidence Scores 1 2 3 4 5 6 活動例(抜粋): Recommendation
  67. 67. 67 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Neural Networks ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Input User History and Neighborhood Wikipedia Image of a Social Network G1 G2 G3 G4 G5 G6 G7 G8 G9 G1 G2 G3 G4 G5 G6 G7 G8 G9 1 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 HISTORY RECOMMENDATIONS Social Graph user Friend of Friend Friend Neighborhood 活動例(抜粋): Recommendation
  68. 68. 68 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Recommendation Strategy Memory Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) Model Based Paradigm (most detailed experiments and rationale) > パターンの学習と予測  > latent semantic analysis (game text similarity)  > artificial neural network Emergent Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) Hybridized Intelligence Paradigm (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 Standard Recommendation Methodologies 推薦戦略 活動例(抜粋): Recommendation
  69. 69. 69 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Agent Emergence エージェントによる隠されたグループ抽出 Sub-culture 1 Sub-culture 2 AGENT Random Walk Genetic Algorithm 活動例(抜粋): Recommendation
  70. 70. 70 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Recommendation Strategy Memory Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) Model Based Paradigm (most detailed experiments and rationale) > パターンの学習と予測  > latent semantic analysis (game text similarity)  > artificial neural network Emergent Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) Hybridized Intelligence Paradigm (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 Standard Recommendation Methodologies 推薦戦略 活動例(抜粋): Recommendation
  71. 71. 71 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Hybrid Models CF AGENT NN SIM RL Users that Like A Like B Hybrid Model Prediction 活動例(抜粋): Recommendation
  72. 72. 72 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Memory Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) Model Based Paradigm (most detailed experiments and rationale) > パターンの学習と予測  > latent semantic analysis (game text similarity)  > artificial neural network Emergent Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) Hybridized Intelligence Paradigm (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 Standard Recommendation Methodologies Recommendation より楽しんでもらえるサービス推薦 活動例(抜粋): Recommendation
  73. 73. 73 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) 楽しさのマイニング ユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc
  74. 74. 74 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis 楽しさの行動パターン、やめてしまう状況パターン 活動例(抜粋): Pattern/Clustering/Classification
  75. 75. 75 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis 楽しさの行動パターン、やめてしまう状況パターン Activity 1 Activity N, … Clustering Pattern Mining Feature Analysis F1 F2 E1 E1 F3 F4 F5 Regression Classification 活動例(抜粋): Pattern/Clustering/Classification
  76. 76. 76 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) ■楽しさの行動パターン Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■やめてしまう状況パターン
  77. 77. 77 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) ■楽しさの行動パターン Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■やめてしまう状況パターン ⇒夢中になる体験をしてもらう ・夢中になるきっかけ
  78. 78. 78 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) ■楽しさの行動パターン ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ⇒夢中になる体験をしてもらう ・夢中になるきっかけ ・楽しんでサービス継続している行動特徴 Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■やめてしまう状況パターン
  79. 79. 79 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) ■楽しさの行動パターン ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ⇒夢中になる体験をしてもらう ・夢中になるきっかけ ・楽しんでサービス継続している行動特徴 ・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン
  80. 80. 80 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) ■楽しさの行動パターン ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ⇒他の楽しみ方の提供(他サービスへの推薦 等) ⇒夢中になる体験をしてもらう ・夢中になるきっかけ ・楽しんでサービス継続している行動特徴 ・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン
  81. 81. 81 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) ■楽しさの行動パターン ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ⇒他の楽しみ方の提供(他サービスへの推薦 等) ⇒夢中になる体験をしてもらう ・夢中になるきっかけ ・楽しんでサービス継続している行動特徴 ・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン
  82. 82. 82 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例) 活動例(抜粋): Pattern/Clustering/Classification
  83. 83. 83 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例) Pattern Mining F1 F2 E1 E1 F3 F4 F5 やめてしまう 夢中になり始める 活動例(抜粋): Pattern/Clustering/Classification
  84. 84. 84 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例) Activity 1 Activity N, … Clustering Pattern Mining F1 F2 E1 E1 F3 F4 F5 やめてしまう 夢中になり始める 継続 離脱 活動例(抜粋): Pattern/Clustering/Classification
  85. 85. 85 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例) Activity 1 Activity N, … Clustering Pattern Mining Feature Analysis F1 F2 E1 E1 F3 F4 F5 Regression Classification やめてしまう 夢中になり始める 継続 離脱 活動例(抜粋): Pattern/Clustering/Classification
  86. 86. 86 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン Activity 1 Activity N, … Clustering Pattern Mining Feature Analysis F1 F2 E1 E1 F3 F4 F5 Regression Classification やめてしまう 夢中になり始める 継続 離脱 例) User Experience Improvement 活動例(抜粋): Pattern/Clustering/Classification
  87. 87. 87 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) 楽しさのマイニング ユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc
  88. 88. 88 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋): Time Series Analysis 異常な振る舞い 複数時系列の異常検知 時系列A 時系列B 時系列C ケースA ケースB ケースC 例2:CM効果のノイズ除去 異常な振る舞いの時系列を検出 異常な振る舞いをしているケースを 除外して、CMの効果を算出する CM効果 トラフィックA トラフィックB トラフィックC 例1:トラフィック異常検知 異常な振る舞いをしている トラフィックの原因を調査する 調査 A B C 時系列のモデリング 時系列A 時系列B 時系列C Anomaly detection 複数時系列から異常な振る舞いを検知する
  89. 89. 89 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋): Time Series Analysis 異常スコア推移 異常値 t モデル構築 異常スコアの算出 ◇例 : ARIMAモデル ◇例 : 対数損失 Anomaly detection 新しいデータと過去時系列モデルの乖離から異常検出
  90. 90. 90 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. CM時系列 各KPIの時系列 CM 新規 登録 ARPU ARPP U 継続 率 ケー ス イベン ト その 他 外部 要因 活動例(抜粋): Time Series Analysis TV Commercial Effects 時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出
  91. 91. 91 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) 楽しさのマイニング ユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc
  92. 92. 92 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例(抜粋) ■健全なプラットフォームへ ■ユーザーの声によるサービス洗練  ・不正書き込み判別  ・年齢詐称の判別  ・ソーシャルコミュニケーションのテキストマイニング Other Applications 他にも各種ユーザー体験向上に役立てています  等
  93. 93. 93 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc
  94. 94. 94 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  95. 95. 95 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  96. 96. 96 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング・機械学習 活用し
  97. 97. 97 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング・機械学習 活用し 楽しんでもらえるサービスをつくる
  98. 98. 98 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供したいのは 新たな価値ある体験・サービス
  99. 99. 99 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供したいのは 新たな価値ある体験・サービス データマイニング・機械学習はあくまで手段 だが、新たな価値提供の 大きな源泉となる
  100. 100. 100 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供したいのは 新たな価値ある体験・サービス データマイニング・機械学習を活用し 体験提供・サービスとして よいものをつくる データマイニング・機械学習はあくまで手段 だが、新たな価値提供の 大きな源泉となる
  101. 101. 101 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供したいのは 新たな価値ある体験・サービス データマイニング・機械学習を活用し 体験提供・サービスとして よいものをつくる データマイニング・機械学習はあくまで手段 だが、新たな価値提供の 大きな源泉となる 実際にどのくらい価値があるのかは提供してみないとわからない わからないことはやってみる。挑戦する
  102. 102. 102 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供したいのは 新たな価値ある体験・サービス データマイニング・機械学習を活用し 体験提供・サービスとして よいものをつくる データマイニング・機械学習はあくまで手段 だが、新たな価値提供の 大きな源泉となる 実際にどのくらい価値があるのかは提供してみないとわからない わからないことはやってみる。挑戦する
  103. 103. 103 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング・機械学習活用した サービス開発
  104. 104. 104 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 体験提供
  105. 105. 105 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分析 解決価値・効果高い課題設定を行う 新たな価値提供の余地・効果が高い、対象領域・ユーザクラスタ・特徴を明らかにする ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 体験提供
  106. 106. 106 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ユーザ体験設計・サービス設計 新たな提供体験・価値を考える どのような新たな体験提供ができるか、どのような価値があるか、考え抜く ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 体験提供 2. ユーザ体験設計 Service Front End 3. サービス設計
  107. 107. 107 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ユーザ体験設計・サービス設計 新たな提供体験・価値を考える どのような新たな体験提供ができるか、どのような価値があるか、考え抜く ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 体験提供 2. ユーザ体験設計 Service Front End 3. サービス設計 データマイニング・機械学習は新たな体験提供の大きな源泉となる
  108. 108. 108 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ユーザ体験設計・サービス設計 新たな提供体験・価値を考える 実際にどのくらい価値があるのかは提供してみないとわからない 体験提供 ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 2. ユーザ体験設計 Service Front End 3. サービス設計
  109. 109. 109 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ユーザ体験設計・サービス設計 新たな提供体験・価値を考える 実際にどのくらい価値があるのかは提供してみないとわからない 体験提供 わからないことはやってみる。挑戦する ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 2. ユーザ体験設計 Service Front End 3. サービス設計
  110. 110. 110 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 洗練サイクル設計・ログ設計・連携データ設計 洗練サイクルを設計する ユーザが日々利用しているだけで、体験洗練されていくサイクルを設計する 体験提供 ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 3. サービス設計 6. ログ設計 5. 連携データ設計 Distributed Applications YARN HDFS
  111. 111. 111 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 洗練サイクル設計・ログ設計・連携データ設計 洗練サイクルを設計する ユーザが日々利用しているだけで、体験洗練されていくサイクルを設計する ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 体験提供 Feedback Log Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 3. サービス設計 6. ログ設計 5. 連携データ設計 Distributed Applications YARN HDFS 学習アルゴリズム、学習に必要なログ、連携データ、等、一連のサイクルをつくる
  112. 112. 112 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム設計 学習方法の分散アルゴリズムを設計する 大規模データでもスケールする学習アルゴリズム設計する 体験提供 Distributed Applications YARN HDFS ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 5. 連携データ設計 3. サービス設計 7.分散アルゴリズム設計
  113. 113. 113 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム設計 学習方法の分散アルゴリズムを設計する 大規模データでもスケールする学習アルゴリズム設計する 体験提供 学習アルゴリズムを、分散可能なアルゴリズムに再構成する Distributed Applications YARN HDFS ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 5. 連携データ設計 3. サービス設計 7.分散アルゴリズム設計
  114. 114. 114 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム実装 体験提供 体験・サービス提供に適した形で実装・チューニングしていく サービスに適した形で分散アルゴリズム実装する Distributed Applications YARN HDFS ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計
  115. 115. 115 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム実装 体験提供 体験・サービス提供に適した形で実装・チューニングしていく サービスに適した形で分散アルゴリズム実装する Distributed Applications YARN HDFS ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計 各種アルゴリズムチューニングのトライを多く行いたい。必要なものは自分でつくる
  116. 116. 116 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム実装 体験提供 体験・サービス提供に適した形で実装・チューニングしていく 結果を分析し、体験・サービス・学習サイクルともに洗練していく Distributed Applications YARN HDFS ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計
  117. 117. 117 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Distributed Applications YARN HDFS データマイニング・機械学習活用したサービス開発 新たな価値ある体験・サービス提供を考え、作り、挑戦し続ける ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 体験提供 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計
  118. 118. 118 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  119. 119. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 119 Appli Marketとの差異化 Appli Marketと異なり、ユーザアクティビティまで担うPF アクティビティ・ソーシャルグラフを活用しユーザ体験・価値を最大化する Social (Friend/Communication) Activity × モバ友 ゲーム内仲間 よく出会う人 (同チーム、上位ランカー) impression click Install Appli Market (Google Play/ AppStore) Activity PF+ PFコミュニケーション (ミニメ、あいさつ、チャット、etc) ゲーム内 コミュニケーション 利用継続プレイ …
  120. 120. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 興味にあったサービスに出会え 親しい人と一緒に楽しめる情報・機会の提供 体験提供 日々サービスを利用しているだけで ユーザひとりひとりが
  121. 121. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. User・Developer・PFに提供する価値 Mobage PF User 興味に合うゲームに出会え 親しいユーザと一緒に楽しめる Developer 提供ゲームに興味があり 親しいユーザどうしで楽しむ 継続利用・コイン消費してくれる ユーザの獲得 より楽しんでもらえる機会を提供し 利用継続・コイン消費してもらえる
  122. 122. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc 活動・ソーシャル情報の活用により ひとりひとりそれぞれの興味・つながりにあった より適切な情報・サービスの提供
  123. 123. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc 活動・ソーシャル情報の活用により ひとりひとりそれぞれの興味・つながりにあった より適切な情報・サービスの提供 自ら探さなくてもそれらを得ることができる世界を実現したい
  124. 124. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  125. 125. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供 日々サービスを利用しているだけで ユーザひとりひとりが
  126. 126. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 興味にあったゲームに出会え 親しい人と一緒に楽しめる情報・機会の提供 提供 日々サービスを利用しているだけで ユーザひとりひとりが
  127. 127. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 興味にあったゲームに出会え 親しい人と一緒に楽しめる情報・機会の提供 提供 日々サービスを利用しているだけで 数千万人ひとりひとりに対し学習・算出し サービス提供する ユーザひとりひとりが
  128. 128. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例: パーソナルレコメンデーション 各ユーザーに対し興味・サービス横断で親しいユーザを学習・算出 サービスを使えば使うほど内容が洗練されていく 興味のあるゲームに出会う 親しい人と一緒に楽しむ 友達を増やし一緒にゲーム・ コミュニティを楽しむ (個別の学習、及び、ユーザ状況に応じたアルゴリズム自体の組合せ・選択)
  129. 129. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 129 提供体験例
  130. 130. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 130 提供体験例 興味にあったゲームに出会え 親しい仲間と複数ゲームを楽しめる
  131. 131. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 131 提供体験例 興味にあったゲームに出会え 親しい仲間と複数ゲームを楽しめる User
  132. 132. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 132 提供体験例 興味にあったゲームに出会え 親しい仲間と複数ゲームを楽しめる User 興味 興味 興味
  133. 133. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 133 提供体験例 興味にあったゲームに出会え 親しい仲間と複数ゲームを楽しめる User 興味 興味 User 興味
  134. 134. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 134 提供体験例 興味にあったゲームに出会え 親しい仲間と複数ゲームを楽しめる User 興味 親しさ 興味 User 興味
  135. 135. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 135 提供体験例 興味にあったゲームに出会え 親しい仲間と複数ゲームを楽しめる User 興味 親しさ 興味 User 興味 興味
  136. 136. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 136 PF Friend Game Friend
  137. 137. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 興味にあったゲームを 楽しめる Interests 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 137 PF Friend Game Friend
  138. 138. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 興味にあったゲームを 楽しめる Interests 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 138 PF Friend Game Friend
  139. 139. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる 興味にあったゲームを 楽しめる Interests 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 139 Familiarities
  140. 140. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる 興味にあったゲームを 楽しめる Interests Familiarities 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 140
  141. 141. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる 興味にあったゲームを 楽しめる Interests Familiarities 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 141
  142. 142. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる 興味にあったゲームを 楽しめる Interests Familiarities 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 142
  143. 143. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる 興味にあったゲームを 楽しめる Interests Familiarities 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 143 親しいユーザが 増える 興味があうユーザと 出会い・親しくなれる 機会を提供する (友 達推薦・コミュニケー ション推薦、等)
  144. 144. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる 興味にあったゲームを 楽しめる Interests Familiarities 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 144 親しいユーザが 増える 興味があうユーザと 出会い・親しくなれる 機会を提供する (友 達推薦・コミュニケー ション推薦、等)
  145. 145. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる 興味にあったゲームを 楽しめる Interests 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 親しいユーザが 増える 興味があうユーザと 出会い・親しくなれる 機会を提供する (友 達推薦・コミュニケー ション推薦、等) Familiarities
  146. 146. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる 興味にあったゲームを 楽しめる Interests 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 親しいユーザが 増える 興味があうユーザと 出会い・親しくなれる 機会を提供する (友 達推薦・コミュニケー ション推薦、等) Familiarities 提供体験例
  147. 147. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 147 提供体験例 興味にあったゲームに出会い楽しむ
  148. 148. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 3.8倍 効果規模例 9.7倍 興味と合い楽しめるゲームに出会えることにより よりゲームを楽しみ継続してもらえる体験を提供 ※2: 利用継続数値: Install後のN日後のInstallゲームの来訪ユーザ数 等 ※1: 表示位置等、同条件での比較。2014年上期実施。 Install/Impression (CTR x CVR) デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した パーソナルゲームレコメンドの数値増加効果(※1) 148 Install後利用継続/Impression (※2)
  149. 149. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理: 機械学習 パーソナルレコメンデーション例 興味にあったゲームに出会い楽しめるレコメンド 行動・反応から興味を学習。使えば使うほど推薦内容が洗練されていく 自分の興味にあい 楽しみ継続利用する確率が高いゲーム ・各ユーザごとに、各レコメンドに対す る反応から興味を学習 (強化学習) 自分がはまっているゲーム User Reaction Log Personalized Data for Each User Impression Game Play Install user_id, recdata ・ゲームプレイ特徴、ゲームインストー ル特徴、インストール後継プレイ特徴、 の条件付き確率構造を学習 ・各ユーザーごとに、プレイ特徴に応じ た、各ゲームの継続利用確率を算出 Click Install プレイ・継続特徴学習、利用継続確率 リアクション学習 Play Continuity after install 149
  150. 150. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 解決した課題 150
  151. 151. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 解決する課題 既存の全員一様の表示では、ゲーム枠・表示数を追加しても インストール数は伸びていない デモグラセグメントごとに 全員一様のゲームを 40game以上 151 表示ゲーム数を増やしても インストール数は 全く伸びなかった
  152. 152. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 解決する課題 ユーザーがインストールしないゲームを表示し続け 他ゲームでのインストール機会を失っている 152
  153. 153. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 解決する課題 ユーザーがインストールしないゲームを表示し続け 他ゲームでのインストール機会を失っている 153 ユーザそれぞれが興味ないゲームは 何度みてもやっぱり興味ない
  154. 154. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 課題解決 ・ユーザーがインストールしないゲームを表 示し続け、他ゲームでのインストール機会 を失っている 行動学習 リアクション学習 課題 行動特徴・リアクション特徴の学習による Personal Recommendation ユーザごとにInstall・利用継続 確率最大のゲームを理由をつけ推薦する ・全員一様のゲーム表示では、枠どうしで 奪いあうだけで、全体インストール数は増 加していない Personal Recommendation 154 ・ユーザーごとに表示ゲームのリアク ション学習(強化学習)。キューザごと により興味あり、リアクションしやすい ゲームを表示 ・ユーザごとに各行動履歴から、各 ゲームの開始・利用継続の確率の確 率を算出。 ※各ゲームがなぜ推薦されているか の理由も合わせて表示 解決
  155. 155. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Bayesian Network 複数の事象の発生確率のネットワーク ⇒ ある事象が起こったとき、発生確率・期待値が最大となる事象を算出できる 155 Aが起こったら、Bが起こる確率:P(B|A) 例:  SG Play⇒SG Install:   事象A        事象B   ・怪盗 Play   ⇒ バルキリーズInstall   ・ラグナ Play   ⇒ アヴァロン Install   SG Play⇒SG Install & 利用継続:   ・ガンロワ Play ⇒ GCC Install & 利用継続   ・ Play   ⇒ GCC Install & 利用継続 A B C D E F G H I J K … P(E|A) P(F|A) P(H|E) ※入門資料:Personal Recommendation と Bayesian Network http://www.slideshare.net/hamadakoichi/ss-4113135 http://www.slideshare.net/hamadakoichi/ss-4552939・Bayesian Network入門      : ・Personal Recommendation入門: 確率ネットワーク: Bayesian Network
  156. 156. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 処理概要 各ユーザ行動とインストール・利用継続の Bayesian Networkとリアクション強化学習 インストール・利用継続期待値が最大化となるゲームを推薦する ①全ユーザのアクション履歴から、   「各アクションとGame Yを Installし利用継続、確率ネットワーク」 を算出 ②個々のユーザのアクション imp ③Reaction学習からの興味算出Probability = ProbabilityByAction x ProbabilityByReaction 例: 行動特徴からのInstall 確率算出による算出 Probabilityの高い順に表示 user Title Ac/on 12345678 Game A プレイ 30 12345678 Game B プレイ 10 12345678 News Topic X 閲覧 30 user Title Interest 12345678 ガンロワ 0.8 12345678 バハムー ト 0.2 A B C D E F G H I J Game Install Y … P(E|A) P(F|A) P(H|E)Y1 Y2 156
  157. 157. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理: 機械学習 パーソナルレコメンデーション例 興味にあったゲームに出会い楽しめるレコメンド 行動・反応から興味を学習。使えば使うほど推薦内容が洗練されていく 自分の興味にあい 楽しみ継続利用する確率が高いゲーム ・各ユーザごとに、各レコメンドに対す る反応から興味を学習 (強化学習) 自分がはまっているゲーム User Reaction Log Personalized Data for Each User Impression Game Play Install user_id, recdata ・ゲームプレイ特徴、ゲームインストー ル特徴、インストール後継プレイ特徴、 の条件付き確率構造を学習 ・各ユーザーごとに、プレイ特徴に応じ た、各ゲームの継続利用確率を算出 Click Install プレイ・継続特徴学習、利用継続確率 リアクション学習 Play Continuity after install 157
  158. 158. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 158 提供体験例 親しい人と一緒にゲーム楽しむ (抜粋)
  159. 159. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 効果規模例 サービス横断で友達を増やし 一緒にゲーム・コミュニティを楽しむ機会を創出 ※表示位置等、同条件での比較。 サービス横断で親しいユーザを用いたパーソナル友達レコメンド効果 全体で友達成立しやすい人とのリスティング比較(※) 12.7倍 友達成立数/Impression 159
  160. 160. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理: 機械学習 パーソナルレコメンデーション例 サービス横断で友達を増やし 一緒にゲーム・コミュニティを楽しむ機会を創出 興味あるゲーム・コミュニティで親しいユーザ 一緒に楽しんでいるサービス User Reaction Log Personalized Data for Each User Service Access user_id, recdata ・アクセス特徴、コミュニケーション特 徴から、各ユーザごとに、興味・個別 サービスでの他ユーザとの親密度、お よび、ゲーム・プラットフォーム横断で のユーザ間親密度を算出 サービス横断のユーザ親密度 Communication ・各ユーザごとに、各レコメンドに対す る反応から興味を学習・洗練 (強化 学習) リアクション学習 160 Impression Friend Request Accept
  161. 161. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出 各サービスへの興味、個別親密度の推定 サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S)User A Service S Service T ・サービス横断での親密度 161
  162. 162. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出 各サービスへの興味、個別親密度の推定 サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S User B Service T User C User D familiarity (S;A,C) ・サービス横断での親密度 162
  163. 163. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出 各サービスへの興味、個別親密度の推定 サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S User B Service T User C User D familiarity (S;A,C) ・サービス横断での親密度 163
  164. 164. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出 各サービスへの興味、個別親密度の推定 サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S User B Service T User C User D familiarity (S;A,C) ・サービス横断での親密度 164 ・親しい人と一緒に楽しめる度合い
  165. 165. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出 各サービスへの興味、個別親密度の推定 サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S Service UUser B Interest (B,U) Service T Service V User C User D Interest (D,U) Interest (D,V) familiarity (S;A,C) ・サービス横断での親密度 165 ・親しい人と一緒に楽しめる度合い
  166. 166. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出 各サービスへの興味、個別親密度の推定 サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S Service UUser B Interest (B,U) Service T Service V User C User D Interest (D,U) Interest (D,V) familiarity (S;A,C) ・サービス横断での親密度 166 ・親しい人と一緒に楽しめる度合い
  167. 167. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  168. 168. 168 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Hadoopを用いた 大規模データマイニング基盤
  169. 169. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Hadoopとは 大規模分散処理を行うための基盤 Hadoop ・Apache プロジェクト ・Java オープンソース ・Googleが2004年に発表した論文を実装 ・主要コンポーネント  ・分散ファイルシステム: HDFS (Hadoop Distributed File System)  ・分散処理フレームワーク: Mapreduce 169
  170. 170. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 広告・ECサイト・検索・SNS等 大規模データを有するサービスで利用されている Hadoopの主な利用企業 170
  171. 171. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散ファイルシステム:HDFS HDFS クライアント NameNode DataNode クライアントからは 巨大な一つのストレージに アクセスしているように見える •  NameNode –  Meta情報を持つ、ファイル名、レプリケーション数、ファイルの保存場所など •  DataNode –  実際のデータを格納するNode。ブロックサイズごとにファイルを分割して1 つのファイルを複数のNodeで保存 HDFS (Hadoop Distributed File System) DataNodeを増やすことで大容量化が可能 171
  172. 172. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散ファイルシステム:HDFS DataNode 1 3 2 1 2 1 1 1 2 2 2 3 3 3 1 1 1 2 2 2 固定長ブロックに分割 ファイル 同一ブロックが複数のDataNodeに分散配置されることで 冗長性が担保される 同一ブロックが複数のDataNodeに 分散配置される(default 3) 172
  173. 173. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理フレームワーク: MapReduce MapがkeyとValueにデータを振り分け、Reduceがkeyごとに集計 分散処理を実現する Map Shuffle & Sort Reduce userA 3 userD 7 userA 1 userC 2 userB 6 userD 5 User毎のPageView集計での例 大量データに対する 分散演算 演算結果の集計 userA 3 userA 1 userB 6 userC 2 userD 5 userD 7 userA 4 userB 6 userC 2 userD 12 userA userB userC userD key value 173
  174. 174. 174 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成
  175. 175. 175 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 大規模データマイニング・機械学習 活用した サービス提供を支える基盤構成Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … … … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  176. 176. 176 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 KPI(Key Performance Indicator)定常算出・共有 ビジネス・サービス変化を検知 Data Mining Infrastructure KPI Views KPI Inspection
  177. 177. 177 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 経営判断・サービス洗練を行うための データマイニング実行 Data Mining Infrastructure Business Planning KPI Views KPI Inspection
  178. 178. 178 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 データマイニング・機械学習 結果のサービス活用 より楽しんでもらえるサービスへKafka Messaging … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Data-mining Machine-Leaning Results
  179. 179. 179 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Hadoop DFS 全行動ログ/サービスデータ 投入 DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Hadoop DFS Redundant, Reliable Storage Data-mining Machine-Leaning Results
  180. 180. 180 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Vertica 個別サービスの高速アドホック集計・KPI定常集計 DeNA Data Mining Libraries … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Hadoop DFS Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica Service Log API Service Log API Service Log API
  181. 181. 181 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Kafka Pub/Sub Messaging. 複数処理系へデータ配信Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Hadoop DFS Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  182. 182. 182 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Storm ストリーム処理Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Hadoop DFS Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  183. 183. 183 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 HBase リアルタイム分散ストレージKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Hadoop DFS HBase Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  184. 184. 184 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Elastic Search リアルタイム分散検索Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  185. 185. 185 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Pig/Hive 少ない記述量での中間集計/簡易KPI算出Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Hive Pig Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  186. 186. 186 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 HUE GUIベースの Hadoop解析環境/アクセス管理Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase HUEHive Pig Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  187. 187. 187 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 R アドホックな統計解析・データマイニング・機械学習Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase HUE R Hive Pig Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  188. 188. 188 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Perl MapReduce 分散シミュレーションKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  189. 189. 189 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Java MapReduce データマイニング・機械学習のサービス実装Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  190. 190. 190 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Data Mining Libraries 各種ソーシャル行動解析用のデータマイニングライブラリKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  191. 191. 191 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 統一行動記述 Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  192. 192. 192 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 ユーザー行動 時系列の 統一記述
  193. 193. 193 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 形式 置き場
  194. 194. 194 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 サービスごとにログフォーマットが異なる ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに  複数存在する 形式 置き場
  195. 195. 195 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 ログの場所がばらばら・分散されている サービスごとにログフォーマットが異なる ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに  複数存在する 形式 置き場 ・どこにあるか分からず、解析時間より  ログを探し・集める時間のほうが長い
  196. 196. 196 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 ログの場所がばらばら・分散されている サービスごとにログフォーマットが異なる ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに  複数存在する 形式 置き場 ・データマイニング/機械学習よりも  ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない ・どこにあるか分からず、解析時間より  ログを探し・集める時間のほうが長い
  197. 197. 197 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 ログの場所がばらばら・分散されている サービスごとにログフォーマットが異なる ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに  複数存在する 形式 置き場 ・データマイニング/機械学習よりも  ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない ・どこにあるか分からず、解析時間より  ログを探し・集める時間のほうが長い
  198. 198. 198 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 統一行動ログによる解決 ・学習コストの低減  データ形式・値の意味を調べる必要がない 大規模サービスでよく生じる課題 統一行動記述での解決 ログの場所がばらばら・分散されている サービスごとにログフォーマットが異なる ・データマイニング・機械学習実装の   再利用/サービス横断解析が行える 統一スキーマ ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに  複数存在する 形式 置き場 ・データマイニング/機械学習よりも  ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない ・どこにあるか分からず、解析時間より  ログを探し・集める時間のほうが長い
  199. 199. 199 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 統一行動ログによる解決 ・学習コストの低減  データ形式・値の意味を調べる必要がない 大規模サービスでよく生じる課題 統一行動記述での解決 ログの場所がばらばら・分散されている サービスごとにログフォーマットが異なる Hadoopに全てのログがある ・データマイニング・機械学習実装の   再利用/サービス横断解析が行える 統一スキーマ ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに  複数存在する ・データ探索・収集時間ゼロ   解析したいデータが全てある 形式 置き場 ・データマイニング/機械学習よりも  ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない ・どこにあるか分からず、解析時間より  ログを探し・集める時間のほうが長い
  200. 200. 200 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述 統一行動ログによる解決 ・学習コストの低減  データ形式・値の意味を調べる必要がない 大規模サービスでよく生じる課題 統一行動記述での解決 ログの場所がばらばら・分散されている サービスごとにログフォーマットが異なる Hadoopに全てのログがある ・データマイニング・機械学習実装の   再利用/サービス横断解析が行える 統一スキーマ ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに  複数存在する ・どこにあるか分からず、解析時間より  ログを探し・集める時間のほうが長い ・データ探索・収集時間ゼロ   解析したいデータが全てある 形式 置き場 ・データマイニング/機械学習よりも  ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない ・大規模データ処理技術 ・データマイニング/機械学習 それぞれの技術が活用できる
  201. 201. 201 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 大規模データマイニング・機械学習の活用 基盤技術でも挑戦を行うKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica
  202. 202. 202 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに
  203. 203. 203 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング 数千万人 1日35億超の行動情報 楽しさのマイニングによるユーザー体験還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc
  204. 204. 204 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 適切な情報・サービス提供 ユーザ一人一人に対し、適切な情報・サービス提供 サービスを使えば使うほど内容洗練されていく 興味のあるゲームに出会う 親しい人と一緒に楽しむ 友達を増やし一緒にゲーム・ コミュニティを楽しむ 提供例:
  205. 205. 205 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Distributed Applications YARN HDFS 大規模データマイニング活用したサービス開発 ・効果高い課題設定 ・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 体験提供 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計 データマイニング・機械学習活用し 新たな体験提供に挑戦する
  206. 206. 206 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤 Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica 大規模データ処理の技術挑戦 体験提供の質・トライ回数を向上させる
  207. 207. 207 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 世界展開 世界中の人々の 楽しさのマイニング
  208. 208. 208 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 世界展開 世界中の人々の 楽しさのマイニング 国民性・民族性にあった サービス提供
  209. 209. 209 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 世界中の人々へ ソーシャル・活動情報の活用により より適切な情報・サービス配信される世界を実現したい Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Experience Activity TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc
  210. 210. 210 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 世界中の人々へ Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Experience Activity TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc ソーシャル・活動情報の活用により より適切な情報・サービス配信される世界を実現したい 世界中の人々が 個々人のつながり・楽しみ・好みにあった適切な情報・サービスを 自ら探さなくても得ることができる世界
  211. 211. 211 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. みなさんが学んでいる データマイニング・機械学習
  212. 212. 212 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 新たな価値提供の ポテンシャルを持っている みなさんが学んでいる データマイニング・機械学習
  213. 213. 213 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 今後、ぜひ学んだことを活かし 新たな価値あるサービスを作りあげてください
  214. 214. 214 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例:提供体験・アルゴリズム ◆活動 ◆はじめに

×