• Save
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
Upcoming SlideShare
Loading in...5
×
 

Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop

on

  • 21,927 views

「Mobageの大規模データマイニング」PRMU 2011 Big Data and Cloud で講演してきました

「Mobageの大規模データマイニング」PRMU 2011 Big Data and Cloud で講演してきました
http://d.hatena.ne.jp/hamadakoichi/20111229/p1

Statistics

Views

Total Views
21,927
Views on SlideShare
9,834
Embed Views
12,093

Actions

Likes
55
Downloads
0
Comments
0

17 Embeds 12,093

http://d.hatena.ne.jp 11552
http://www.scoop.it 223
http://asklife.info 104
http://s.deeeki.com 51
http://matis.intra.interspace.ne.jp 44
http://a0.twimg.com 30
http://pascal.plustar.jp 30
https://twitter.com 26
http://webcache.googleusercontent.com 13
http://tweetedtimes.com 10
http://213.8.145.174 3
http://213.8.145.172 2
https://si0.twimg.com 1
http://us-w1.rockmelt.com 1
http://rssc.dokoda.jp 1
https://translate.googleusercontent.com 1
https://www.google.com 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop Presentation Transcript

  • Pattern Recognition and Media Understanding(PRMU)Conference -Big Data and Cloud : Webスケール時代のパターン認識- 2011/10/06 Mobageの大規模データマイニング Large Scale Data Mining of the Mobage Service 株式会社ディー・エヌ・エー 濱田晃一DeNA Co.,ltd. ALL rights reserved
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • hamadakoichi 濱田晃一http://iddy.jp/profile/hamadakoichi 4
  • 活動領域 2010年6月 DeNA入社 ソーシャルゲームの データマイニングチーム立上げ 5
  • 活動領域 2010年6月 DeNA入社 ソーシャルゲームの データマイニングチーム立上げ 2011年4月 データマイニング部門化 ソーシャルプラットフォーム Mobageの データマイニング実行・ディレクション 6
  • 活動領域 ソーシャルメディアのデータマイニング活用 2900万人以上の人々へ 各人のつながり・楽しみ・好み 個性にあった適切なサービス提供 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあった より適切なサービス提供 7
  • データマイニング+WEB勉強会@東京データマイニング+WEB勉強会@東京を主催者しています TokyoWebmining Google Group: http://groups.google.com/group/webmining-tokyo 8
  • 講師資料 各種講師資料も公開しています http://www.slideshare.net/hamadakoichi 9
  • hamadakoichi 濱田晃一 10
  • hamadakoichi 濱田晃一 理論物理 博士(2004.3取得) 量子統計場の理論Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文: http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 11
  • hamadakoichi 濱田晃一 毎週末3時間ダンスコーチをしています ■過去、東京と京都でも ダンス部を創設。 コーチをしていました 駒場物理ダンス部 京都大学基礎物理学研究所ダンス部 部長兼コーチ 部長兼コーチ 現在: 毎週末 3時間ダンスコーチ Youtube Channel: http://www.youtube.com/hamadakoichi 12
  • 数理解析手法の実ビジネスへの適用 2004年 博士号取得後 数理解析手法を実ビジネス適用の方法論構築主な領域◆活動の数理モデル化・解析手法◆活動の分析手法・再構築手法◆活動の実行制御・実績解析システム… 内容抜粋 “Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource to an Unmanned Machine Shop”, assignment", 13
  • 数理解析手法の実ビジネスへの適用:活動例 活動の統一グラフモデルを構築・解析 Unified graphical model of processes and resources 青字:割付モデル属性 [ ] : OptionalNode ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process EdgeProcess [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスがプロセスを表す 開始できること表す ・attributes(属性) preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表すAssign Region Assigns from Edge同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の範囲を表す assigns assigns 中から割付けることを示す 企業01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 製品01 組織A StartDateからEndDateまでの間Resource has Assign RegionにResourceを割付対象要素を表す has has has has has has 割付けることを表す ・capacity(容量) ・calender(カレンダー) AAA01 AAB02 … 山田さん 田中さん 鈴木さん ・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 14
  • 数理解析手法の実ビジネスへの適用:活動例 一品一様の業務プロセスの 動的なプロセス制御数理体系を構築 全体生産リードタイム中央値を 1/2.7に短縮 設計開始~頭だし出荷リードタイム 設計開始~頭だし出荷CT対週集計開始日時の箱ひげ図 体系適用 500 適用後 設計開始~頭だし出荷CT 400 360.4h(15.0日) 1/2.7 300 200 100 0 0 0 0 0 0 0 0 0 0 0 141.6h(5.9日) 0 0 0 9: 0 9 :0 9 :0 9 :0 9: 0 9 :0 9 :0 9 :0 9: 0 9 :0 9 :0 9 :0 9: 0 9 :0 20 27 04 11 18 25 01 08 15 22 29 06 13 20 0 9/ 0 9/ 1 0/ 1 0/ 1 0/ 1 0/ 1 1/ 1 1/ 1 1/ 1 1/ 1 1/ 1 2/ 1 2/ 1 2/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 週集計開始日時 15
  • 数理解析手法の実ビジネスへの適用:活動例 ビジネスとともに 学術分野でも貢献変動性から生じる動的な課題 ・リソースの競合 ・滞留 ・納期遅延 …一品一様な業務プロセスを含む統計解析・制御数理モデル ・統計的な有効変数算出 ・統計数理モデル化 -優先順位制御 -実行タイミング制御 -統計フィードバック -適正リソース量算出 ・予測数理体系論文(体系の一部)M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada,“Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementationto an Unmanned Machine Shop”,CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 16
  • 思い より広く蓄積されたデータを有効活用し 世界の未来をよりよいものにしていきたい データマイニング+WEB勉強会@東京 Google Group: http://groups.google.com/group/webmining-tokyo 17
  • 現在の活動領域 ソーシャルメディアのデータマイニング活用 2900万人以上の人々へ 各人のつながり・楽しみ・好み 個性にあった適切なサービス配信 日々20億以上の活動の活用 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあった より適切なサービス提供 18
  • よりよい世界の実現 ソーシャル・活動情報の活用により より適切な情報・サービス配信される世界を実現したい Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあった より適切なサービス提供 19
  • よりよい世界の実現 ソーシャル・活動情報の活用により より適切な情報・サービス配信される世界を実現したい 世界中の人々が 個々人のつながり・楽しみ・好みにあった適切な情報・サービスを 自ら探さなくても得ることができる世界 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあった より適切なサービス提供 20
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へ
  • Mobage Mobage モバイルソーシャルプラットフォーム 【ゲーム】 【SNS機能】 日記の掲載、サークルの形成・参加、アバター(自分の分身のキャ ラクター)を使った匿名での自己紹介、その他のコミュニケーション 【情報配信機能】 【作品投稿】 実用性の高い情報を配信 小説、音楽、動画などの ニュース、天気予報、乗り換え案内など 作品の創作・投稿コーナーDeNA Co.,ltd. ALL rights reserved 22
  • 1日20億超の行動情報 2900万人以上 1日20億超の行動情報 国内Mobage有効会員数(万人) (PV/日) 25億2900万 20億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年 出典: 当社 (月次推移のご報告), 株式会社ミクシィ (2010年度第1四半期決算説明資料), ヤフー株式会社 (2008年1月~2010年6月 月次報告),DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 23
  • ソーシャルゲーム業界の世界リーダー比較 独自の位置づけと高い収益性DeNA Co.,ltd. ALL rights reserved ※出展:株式会社ディー・エヌ・エー:平成23年3月期 第2四半期決算説明会資料 24
  • バーチャルソーシャルグラフ 興味を軸としたソーシャルグラフDeNA Co.,ltd. ALL rights reserved ※出展:株式会社ディー・エヌ・エー:平成23年3月期 第2四半期決算説明会資料 25
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • データマイニング活用によるサービス洗練 データマイニング・機械学習の活用により 迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 27
  • データマイニング活用によるサービス洗練 Data Mining InfrastructureDeNA Co.,ltd. ALL rights reserved 28
  • データマイニング活用によるサービス洗練 KPI(Key Performance Indicator)定常算出・共有 ビジネス・サービス変化を検知 Data Mining Infrastructure KPI Inspection KPI ViewsDeNA Co.,ltd. ALL rights reserved 29
  • データマイニング活用によるサービス洗練 経営判断・サービス洗練を行うための データマイニング実行 Data Mining Infrastructure KPI Inspection KPI Views Business PlanningDeNA Co.,ltd. ALL rights reserved 30
  • データマイニング活用によるサービス洗練 データマイニング・機械学習 結果のサービス活用 より楽しんでもらえるサービスへ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Log API Service … …DeNA Co.,ltd. ALL rights reserved 31
  • 大規模データマイニング基盤 データマイニング・機械学習の活用により 迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 32
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • 1日20億超の行動情報 2900万人以上 1日20億超の行動情報 国内Mobage有効会員数(万人) (PV/日) 25億2900万 20億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年 出典: 当社 (月次推移のご報告), 株式会社ミクシィ (2010年度第1四半期決算説明資料), ヤフー株式会社 (2008年1月~2010年6月 月次報告),DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 35
  • 1日20億超の行動情報 統計的有意な結果を 多くのユーザー体験へ還元 2900万人以上 1日20億超アクションDeNA Co.,ltd. ALL rights reserved 36
  • 1日20億超の行動情報 統計的有意な結果を 多くのユーザー体験へ還元 統計的有意 データマイニング・機械学習の 結果の統計的有意性 2900万人以上 1日20億超アクションDeNA Co.,ltd. ALL rights reserved 37
  • 1日20億超の行動情報 統計的有意な結果を 多くのユーザー体験へ還元 統計的有意 多くの人へ還元 データマイニング・機械学習の 多くのユーザー体験へ 結果の統計的有意性 還元できる 2900万人以上 1日20億超アクションDeNA Co.,ltd. ALL rights reserved 38
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • 詳細行動情報 目的・感情が分かる詳細行動情報DeNA Co.,ltd. ALL rights reserved 40
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ミッション ボス挑戦 勝つ 負けるDeNA Co.,ltd. ALL rights reserved 41
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ ミッション ボス挑戦 勝つ 負けるDeNA Co.,ltd. ALL rights reserved 42
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ ミッション ボス挑戦 応援 プレゼント 勝つ 負ける 仲間申請 ウィンク 交換DeNA Co.,ltd. ALL rights reserved 43
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う ミッション ボス挑戦 応援 プレゼント 勝つ 負ける 仲間申請 ウィンク 交換DeNA Co.,ltd. ALL rights reserved 44
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う ミッション ボス挑戦 応援 プレゼント バトル 奪う 勝つ 負ける 仲間申請 ウィンク 奪われる 交換DeNA Co.,ltd. ALL rights reserved 45
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う スリル ミッション ボス挑戦 応援 プレゼント バトル 奪う 勝つ 負ける 仲間申請 ウィンク 奪われる 交換DeNA Co.,ltd. ALL rights reserved 46
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う スリル ミッション ボス挑戦 応援 プレゼント バトル 奪う 勝つ 負ける 仲間申請 ウィンク 奪われる 交換 育成 耕す 種まき 水やり 収穫 捕獲DeNA Co.,ltd. ALL rights reserved 47
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う スリル ミッション ボス挑戦 応援 プレゼント バトル 奪う 勝つ 負ける 仲間申請 ウィンク 奪われる 交換 育成 収集 耕す 種まき アイテム取得 水やり 収穫 アイテム合成 捕獲 … …DeNA Co.,ltd. ALL rights reserved 48
  • 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う スリル ミッション ボス挑戦 応援 プレゼント バトル 奪う 勝つ 負ける 仲間申請 ウィンク 奪われる 交換 育成 収集 耕す 種まき アイテム取得 水やり 収穫 アイテム合成 捕獲 … … 楽しさのマイニングDeNA Co.,ltd. ALL rights reserved 49
  • 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Social Media ExperienceDeNA Co.,ltd. ALL rights reserved 50
  • 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 51
  • 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Data Mining Machine Learning of Fun Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 52
  • 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 53
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 55
  • 活動例(抜粋) 楽しさのマイニング ユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 56
  • 活動例(抜粋): Recommendation Recommendation より楽しんでもらえるサービス推薦DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Recommendation Strategy 推薦戦略DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Recommendation Strategy 推薦戦略 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 協調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Recommendation Strategy 推薦戦略 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 協調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Social Collaborative Filtering ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Social Graph Input User History and Social Graph Collaborative Filtering (Global) RECS (Global Matrix Model for “A likes B”) New user with no history Friend Input User History and Collaborative Filtering (Personal) RECS Neighborhood user (Neighborhood Matrix Model for “A likes B”) Neighborhood User with history Item-Item Matrix of Relationships (Invented by Amazon.com) Friend of Friend Wikipedia Image of a Social Network Relationship between Game A2 and C2 There are thousands of collaborative filtering varieties: + user friend neighborhood… Users who “bought A bought C”, “viewed A viewed C”… + user similarity clustered neighborhood… References (International Research Copyrights)DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Recommendation Strategy 推薦戦略 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 協調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Content Similarity コンテンツ類似度の利用 1 Latent Semantic Analysis via Singular Value Decomposition 2 Cosine Similarity Equation 3 Similarity Game A2 and C2 4 5 6 Game A to B Cosine Similarity Matrix Smoothing Normalization Statistical Z-Score removes Low Game A to B Relationship Matrix Confidence ScoresDeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Social Neural Networks ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Social Graph 1 G1 G1 0 1 G2 G2 0 0 G3 G3 0 0 G4 G4 1 0 G5 G5 0 Friend 0 G6 G6 0 user 0 G7 G7 Input User History 0 Neighborhood and Neighborhood 0 G8 G8 0 0 G9 G9 0 HISTORY RECOMMENDATIONS Friend of Friend Wikipedia Image of a Social NetworkDeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Recommendation Strategy 推薦戦略 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 協調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Social Agent Emergence エージェントによる隠されたグループ抽出 Sub-culture 1 Sub-culture 2 AGENT Random Walk Genetic AlgorithmDeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Recommendation Strategy 推薦戦略 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 協調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Hybrid Models Hybrid Model Users that Like A Like B Prediction CF AGENT SIM NN RLDeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Recommendation Recommendation より楽しんでもらえるサービス推薦 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 協調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋) 楽しさのマイニング ユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 70
  • 活動例(抜粋): Pattern/Clustering/Classification Feature Analysis 楽しさの行動パターン、やめてしまう状況パターンDeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Pattern/Clustering/Classification Feature Analysis 楽しさの行動パターン、やめてしまう状況パターン Pattern Mining F1 E1 F2 E1 F3 F4 F5 Clustering Feature Analysis Activity N, … Classification Activity 1 RegressionDeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋) Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン ■やめてしまう状況パターンDeNA Co.,ltd. ALL rights reserved 73
  • 活動例(抜粋) Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン ・夢中になるきっかけ ⇒夢中になる体験をしてもらう ■やめてしまう状況パターンDeNA Co.,ltd. ALL rights reserved 74
  • 活動例(抜粋) Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン ・夢中になるきっかけ ⇒夢中になる体験をしてもらう ・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターンDeNA Co.,ltd. ALL rights reserved 75
  • 活動例(抜粋) Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン ・夢中になるきっかけ ⇒夢中になる体験をしてもらう ・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。DeNA Co.,ltd. ALL rights reserved 76
  • 活動例(抜粋) Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン ・夢中になるきっかけ ⇒夢中になる体験をしてもらう ・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 ・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供(他サービスへの推薦 等)DeNA Co.,ltd. ALL rights reserved 77
  • 活動例(抜粋) Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン ・夢中になるきっかけ ⇒夢中になる体験をしてもらう ・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 ・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供(他サービスへの推薦 等)DeNA Co.,ltd. ALL rights reserved 78
  • 活動例(抜粋): Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例)DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例) Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例) Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Activity N, … 離脱 継続 Activity 1DeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例) Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Feature Analysis Activity N, … 離脱 継続 Classification Activity 1 RegressionDeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋): Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン 例) Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Feature Analysis Activity N, … 離脱 User Experience Improvement 継続 Classification Activity 1 RegressionDeNA Co.,ltd. ALL rights reserved
  • 活動例(抜粋) 楽しさのマイニング ユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 84
  • 活動例(抜粋): Time Series Analysis Anomaly detection 複数時系列から異常な振る舞いを検知する C A 時系列のモデリング 複数時系列の異常検知 B 時系列A 時系列A 異常な振る舞い 時系列B 時系列C 時系列B 時系列C 異常な振る舞いの時系列を検出 例1:トラフィック異常検知 例2:CM効果のノイズ除去 トラフィックA ケースA CM効果 トラフィックB ケースB トラフィックC 調査 ケースC 異常な振る舞いをしている 異常な振る舞いをしているケースを トラフィックの原因を調査する 除外して、CMの効果を算出する 85
  • 活動例(抜粋): Time Series Analysis Anomaly detection 新しいデータと過去時系列モデルの乖離から異常検出 異常スコア推移モデル構築 異常値◇例 : ARIMAモデル異常スコアの算出◇例 : 対数損失 t 86
  • 活動例(抜粋): Time Series Analysis TV Commercial Effects 時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出 イベン CM時系列 ト 新規 登録 CM ARPP U ARPU 各KPIの時系列 その 他 継続 外部 率 要因 ケー ス 87
  • 活動例(抜粋) 楽しさのマイニング ユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc 88
  • 活動例(抜粋) Other Applications 他にも各種ユーザー体験向上に役立てています■健全なプラットフォームへ ・不正書き込み判別 ・年齢詐称の判別■ユーザーの声によるサービス洗練 ・ソーシャルコミュニケーションのテキストマイニング 等 89
  • 楽しさのマイニング 楽しさのマイニング ユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 90
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • Case Study : Social Game 洗練 Case Study : Social Game 洗練 Social Game 洗練 Case: 離脱率抑制DeNA Co.,ltd. ALL rights reserved 92
  • Case Study : Social Game 洗練 Case Study : Social Game 洗練 Social Game 洗練 Case: 離脱率抑制DeNA Co.,ltd. ALL rights reserved 93
  • Case Study : Social Game 洗練分析に基づいたパラメータチューニングやゲーム内ロジック変更を行い ユーザー体験を向上する データ(ログ)整備 大規模データ 各サービスの データ抽出・集計 分析~施策実行 処理基盤整備 企画・開発・運用 共通モジュール開発 データマイニング データマイニング分析系 企画・開発・運用担当 基盤系エンジニア エンジニア/アナリスト (EC・ソーシャルゲーム等)DeNA Co.,ltd. ALL rights reserved 94
  • Case Study : Social Game 洗練 ユーザー体験を向上させるには 問題発見・解釈・提案の3つが一貫して行えることが必要 データマイニング分析系 エンジニア/アナリスト 問題発見 解釈 提案 空は青い 雨は降らない 傘はおいていく 現状分析 問題の明示化 方向性の決定 大きなトレンド 戦略的解釈 具体的な解決案 こうなっている! だとすればこうだ! だからこうすべき!DeNA Co.,ltd. ALL rights reserved 95
  • Case Study : Social Game 洗練 ゲーム内パラメータの設計(ex.確率系パラメータの パラメータ設計 設定、ユーザーの組み合わせロジック作成) ユーザーのプレイ・課金状況が当初の想定と異 ゲーム/イベントの なった場合、途中で悪化した場合などに、ゲーム 振り返り・改善策検討 ログを分析して、その原因を掘り下げて究明し対 応策を考える タイトル別 ゲームデザインに 企画的視点から、ゲームデザイン/イベント企画 対するインプット に対して、改善提案を行う ゲーム/イベントにおける盛り上がり状況(プレイ・課 金)やその変化がわかるようなKPIを設計し、かつそれ KPIの設計・見える化 らを定常的に追うことができるようなレポートを作成・ 共有する 上記タイトルごとの業務で得られた知見で、他タイトル ナレッジの整理/シェア にも展開できるようなナレッジについて、資料化/共 有を進めるタイトル横断 ゲーム横断で使えるような施策を検討し、またそ 共通的施策の実行支援 の実現のための仕組みを提供するDeNA Co.,ltd. ALL rights reserved 96
  • Case Study : Social Game 洗練 ゲーム内パラメータの設計(ex.確率系パラメータの パラメータ設計 設定、ユーザーの組み合わせロジック作成) ユーザーのプレイ・課金状況が当初の想定と異 ゲーム/イベントの なった場合、途中で悪化した場合などに、ゲーム 振り返り・改善策検討 ログを分析して、その原因を掘り下げて究明し対 応策を考える タイトル別 ゲームデザインに 企画的視点から、ゲームデザイン/イベント企画 対するインプット に対して、改善提案を行う ゲーム/イベントにおける盛り上がり状況(プレイ・課 金)やその変化がわかるようなKPIを設計し、かつそれ KPIの設計・見える化 らを定常的に追うことができるようなレポートを作成・ 共有する 上記タイトルごとの業務で得られた知見で、他タイトル ナレッジの整理/シェア にも展開できるようなナレッジについて、資料化/共 有を進めるタイトル横断 ゲーム横断で使えるような施策を検討し、またそ 共通的施策の実行支援 の実現のための仕組みを提供するDeNA Co.,ltd. ALL rights reserved 97
  • Case Study : Social Game 洗練 Case Study : Social Game 洗練 Social Game 洗練 Case: 離脱率抑制DeNA Co.,ltd. ALL rights reserved 98
  • Case: 離脱率抑制 怪盗ロワイヤルを題材にした シンプルなケーススタディを みなで考えてみましょう ミッションをこなし、悪者をやっつける!DeNA Co.,ltd. ALL rights reserved 99
  • Case Study : Social Game 洗練 注 本Caseで使用するデータは Case Study用に作成したデータです サービスのデータではありませんDeNA Co.,ltd. ALL rights reserved 100
  • Case: 離脱率抑制 離脱率削減のための分析・施策 怪盗ロワイヤルのミッションと通常のRPGの進め方の違い 怪盗ロワイヤル ドラクエ型RPG (ソーシャルゲーム) (コンシューマーゲーム) ミッション ステータス上げ ・ミッションをこなして経験値/$を稼ぐ ・敵と戦って経験値/$を稼ぐ ・店で武器・防具を買って強化 ・店で武器・防具を買って強化 ・ミッションを行うのに必要な手下(=行 ・基本的に進み具合はプレイ時間に依存 動力)の回復スピードが一定 する(やりこむユーザーは一気にクリアま ・進み具合は経過時間(≠プレイ時間) で進む) に依存する=ストレスがかかる ボス戦 (ダンジョン)ボス戦 ・ボスに勝つと次のランク ・ボスを倒したら次のエリア(ダンジョン) (エリア)にすすめる へいけるようになるDeNA Co.,ltd. ALL rights reserved 101
  • Case: 離脱率抑制 離脱の定義を決める ○ プレイした日 ユーザーごとのプレイ状況 プレイしなかった日 8日 9日 10日 11日 12日 13日 14日 15日 16日 17日 18日 19日 20日 21日 22日 23日 24日 25日 26日 27日 28日 Aさん ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ Bさん ○ ○ ○ Cさん ○ ○ ○ ○ Dさん ○ ○ ○ ○ ○ ○ Eさん ○ ○ ○ Q.9月28日時点で「離脱者」に当たるユーザーはどれかDeNA Co.,ltd. ALL rights reserved 102
  • Case: 離脱率抑制前週1度以上プレイしていたが、今週全くプレーがなくなったユーザーを 離脱者と”定義”する ユーザーごとのプレイ状況 8日 9日 10日 11日 12日 13日 14日 15日 16日 17日 18日 19日 20日 21日 22日 23日 24日 25日 26日 27日 28日 Aさん ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ Bさん ○ ○ ○ ○ ○ Cさん ○ ○ ○ ○ ○ ○ Dさん ○ ○ ○ ○ ○ ○ ○ Eさん ○ ○ ○ ○ ○ ○ わかりやすいKPIを定義することも重要な仕事DeNA Co.,ltd. ALL rights reserved 103
  • Case: 離脱率抑制 ユーザー進捗度(Lv)別の 離脱率に特異点 ユーザーのLv別離脱率集計結果 25% 20% Lv10のところで離脱率が 15% 高くなっている(特異点) 離脱率 10% 5% 0% Lv03 Lv10 Lv17 Lv01 Lv02 Lv04 Lv05 Lv06 Lv07 Lv08 Lv09 Lv11 Lv12 Lv13 Lv14 Lv15 Lv16 Lv18 Lv19 Lv20 ユーザーの進捗度(Lv)DeNA Co.,ltd. ALL rights reserved 104
  • Case: 離脱率抑制 特定のポイント(ミッション)で非常にクリアに 時間がかかっていることが判明 Lv10におけるミッション別所要時間 2000 1800 1600 あるミッションだけ 1400 所要時間が特に長い 平均所要時間 1200 1000 800 600 400 200 0 10-F 10-D 10-I 10-A 10-C 10-B 10-G 10-E 10-H ミッション KPIの変化から、どのあたりに原因がありそうかを 探る感覚(サービスに対する理解)も重要DeNA Co.,ltd. ALL rights reserved 105
  • Case: 離脱率抑制 当該ミッションに必要な行動力(手下数)を下げることで ユーザーのゲーム進行をスムーズにすることを意思決定 ミッション別 滞留時間のレポート データマイニング分析系 設計・チューニング・レ 企画・開発・運用担当 エンジニア/アナリスト ポーティングの相談 (EC・ソーシャルゲーム等) コミュニケーション(分析内容共有・施策提言)が重要DeNA Co.,ltd. ALL rights reserved 106
  • Case: 離脱率抑制 難易度調整後には平均所要時間が大幅に低下したことを確認 Lv10におけるミッション別所要時間 2000 1800 1600 1400 平均所要時間 1200 1000 800 600 400 200 0 10-F 10-D 10-I 10-A 10-C 10-B 10-G 10-E 10-H ミッションDeNA Co.,ltd. ALL rights reserved 107
  • Case: 離脱率抑制 離脱率もチェックしたところ明確に低下したことが確認できた ユーザーのLv別離脱率集計結果 難易度調整前 難易度調整後 25% 20% 15% 離脱率 10% 5% 0% Lv02 Lv09 Lv16 Lv01 Lv03 Lv04 Lv05 Lv06 Lv07 Lv08 Lv10 Lv11 Lv12 Lv13 Lv14 Lv15 Lv17 Lv18 Lv19 Lv20 ユーザーの進捗度(Lv) 施策の結果を振り返り、「PDCAをまわす」DeNA Co.,ltd. ALL rights reserved 108
  • Case Study : Social Game 洗練 Case Study : Social Game 洗練 Social Game 洗練 Case: 離脱率抑制DeNA Co.,ltd. ALL rights reserved 109
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • 迅速なサービス洗練 解析結果を反映した 数時間~数日スパンで迅速なサービス洗練DeNA Co.,ltd. ALL rights reserved 111
  • 迅速なサービス洗練 解析結果を反映した 数時間~数日スパンで迅速なサービス洗練 より楽しんでもらえるユーザー体験へDeNA Co.,ltd. ALL rights reserved 112
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • Hadoopを用いた 大規模データマイニング基盤DeNA Co.,ltd. ALL rights reserved 114
  • Hadoop Hadoopとは 大規模分散処理を行うための基盤 ・Apache プロジェクト ・Java オープンソース ・Googleが2004年に発表した論文を実装 ・主要コンポーネント ・分散ファイルシステム: HDFS (Hadoop Distributed File System) ・分散処理フレームワーク: MapreduceDeNA Co.,ltd. ALL rights reserved 115
  • Hadoopの主な利用企業 広告・ECサイト・検索・SNS等 大規模データを有するサービスで利用されているDeNA Co.,ltd. ALL rights reserved 116
  • 分散ファイルシステム:HDFS HDFS (Hadoop Distributed File System) DataNodeを増やすことで大容量化が可能 • NameNode – Meta情報を持つ、ファイル名、レプリケーション数、ファイルの保存場所など • DataNode – 実際のデータを格納するNode。ブロックサイズごとにファイルを分割して1 つのファイルを複数のNodeで保存 クライアントからは 巨大な一つのストレージに DataNode アクセスしているように見える NameNode HDFS クライアントDeNA Co.,ltd. ALL rights reserved 117
  • 分散ファイルシステム:HDFS 同一ブロックが複数のDataNodeに分散配置されることで 冗長性が担保される 固定長ブロックに分割 1 1 同一ブロックが複数のDataNodeに ファイル 2 2 分散配置される(default 3) 3 1 1 3 2 1 2 3 2 DataNode 2 3 2 1 1 2 1DeNA Co.,ltd. ALL rights reserved 118
  • 分散処理フレームワーク: MapReduce MapがkeyとValueにデータを振り分け、Reduceがkeyごとに集計 分散処理を実現する User毎のPageView集計での例 Map userA userD userA userC userB userD key 大量データに対する 3 7 1 2 6 5 value 分散演算 Shuffle & Sort Reduce userA userB userC userD userA userA userD 演算結果の集計 userB userC userD 3 1 6 2 7 5 userA userB userC userD 4 6 2 12DeNA Co.,ltd. ALL rights reserved 119
  • 大規模データマイニング基盤構成DeNA Co.,ltd. ALL rights reserved 120
  • 大規模データマイニング基盤 データマイニング・機械学習の活用により 迅速なサービス洗練を実現していますDeNA Co.,ltd. ALL rights reserved 121
  • 大規模データマイニング基盤 データマイニング・機械学習の活用により 迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 122
  • 大規模データマイニング基盤 Data Mining InfrastructureDeNA Co.,ltd. ALL rights reserved 123
  • 大規模データマイニング基盤 KPI(Key Performance Indicator)定常算出・共有 ビジネス・サービス変化を検知 Data Mining Infrastructure KPI Inspection KPI ViewsDeNA Co.,ltd. ALL rights reserved 124
  • 大規模データマイニング基盤 経営判断・サービス洗練を行うための データマイニング実行 Data Mining Infrastructure KPI Inspection KPI Views Business PlanningDeNA Co.,ltd. ALL rights reserved 125
  • 大規模データマイニング基盤 データマイニング・機械学習 結果のサービス活用 より楽しんでもらえるサービスへ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Log API Service … …DeNA Co.,ltd. ALL rights reserved 126
  • 大規模データマイニング基盤 Hadoop 全行動ログ/サービスデータ 投入 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 127
  • 大規模データマイニング基盤 Pig/Hive 少ない記述量での一次集計/簡易KPI算出 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … MapReduce Pig Business Data Schema Planning Service Zebra Hive Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 128
  • 大規模データマイニング基盤 HUE GUIベースの解析環境/アクセス管理 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … MapReduce Pig Business Data Schema Planning Zebra Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 129
  • 大規模データマイニング基盤 MapReduce/Perl/Java 時系列処理・ゲーム分散シミュレーション等 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views MapReduce … Perl Pig Java Business Planning Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 130
  • 大規模データマイニング基盤 R 統計解析・データマイニング・機械学習 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views R MapReduce … Perl Pig Java Business Planning Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 131
  • 大規模データマイニング基盤 Mahout 大規模データマイニング・機械学習 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views Data Mining/Machine Learning R Mahout MapReduce … Perl Pig Java Business Planning Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 132
  • 大規模データマイニング基盤 Data Mining Libraries 各種ソーシャル行動解析用のデータマイニングライブラリ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 133
  • 大規模データマイニング基盤 データマイニング・機械学習による 迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 134
  • 大規模データマイニング基盤 統一行動記述 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Hive Business Pre-processing/Indexing Planning Lucene Hive Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 135
  • 統一行動記述 ユーザー行動 時系列の 統一記述DeNA Co.,ltd. ALL rights reserved 136
  • 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題形式置き場DeNA Co.,ltd. ALL rights reserved 137
  • 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 サービスごとにログフォーマットが異なる形式 ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する置き場DeNA Co.,ltd. ALL rights reserved 138
  • 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 サービスごとにログフォーマットが異なる形式 ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する ログの場所がばらばら・分散されている置き場 ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長いDeNA Co.,ltd. ALL rights reserved 139
  • 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 サービスごとにログフォーマットが異なる形式 ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する ログの場所がばらばら・分散されている置き場 ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ないDeNA Co.,ltd. ALL rights reserved 140
  • 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 サービスごとにログフォーマットが異なる形式 ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する ログの場所がばらばら・分散されている置き場 ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ないDeNA Co.,ltd. ALL rights reserved 141
  • 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 サービスごとにログフォーマットが異なる 統一スキーマ形式 ・何を解析すればいいか分からない ・データマイニング・機械学習実装の ・パラメータの値の意味が分からない 再利用/サービス横断解析が行える ・類似の解析実装がサービスごとに ・学習コストの低減 複数存在する データ形式・値の意味を調べる必要がない ログの場所がばらばら・分散されている置き場 ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ないDeNA Co.,ltd. ALL rights reserved 142
  • 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 サービスごとにログフォーマットが異なる 統一スキーマ形式 ・何を解析すればいいか分からない ・データマイニング・機械学習実装の ・パラメータの値の意味が分からない 再利用/サービス横断解析が行える ・類似の解析実装がサービスごとに ・学習コストの低減 複数存在する データ形式・値の意味を調べる必要がない ログの場所がばらばら・分散されている Hadoopに全てのログがある置き場 ・どこにあるか分からず、解析時間より ・データ探索・収集時間ゼロ ログを探し・集める時間のほうが長い 解析したいデータが全てある ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ないDeNA Co.,ltd. ALL rights reserved 143
  • 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 サービスごとにログフォーマットが異なる 統一スキーマ形式 ・何を解析すればいいか分からない ・データマイニング・機械学習実装の ・パラメータの値の意味が分からない 再利用/サービス横断解析が行える ・類似の解析実装がサービスごとに ・学習コストの低減 複数存在する データ形式・値の意味を調べる必要がない ログの場所がばらばら・分散されている Hadoopに全てのログがある置き場 ・どこにあるか分からず、解析時間より ・データ探索・収集時間ゼロ ログを探し・集める時間のほうが長い 解析したいデータが全てある ・データマイニング/機械学習よりも ・大規模データ処理技術 ログ収集・基礎集計作業がメイン ・データマイニング/機械学習 ・データマイニング・機械学習 活用まで出来ない それぞれの技術が活用できるDeNA Co.,ltd. ALL rights reserved 144
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved
  • 1日20億超の行動情報 2900万人以上 1日20億超の行動情報 国内Mobage有効会員数(万人) (PV/日) 25億2900万 20億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年 出典: 当社 (月次推移のご報告), 株式会社ミクシィ (2010年度第1四半期決算説明資料), ヤフー株式会社 (2008年1月~2010年6月 月次報告),DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 146
  • 1日20億超の行動情報 統計的有意な結果を 多くのユーザー体験へ還元 統計的有意 多くの人へ還元 データマイニング・機械学習の 多くのユーザー体験へ 結果の統計的有意性 還元できる 2900万人以上 1日20億超アクションDeNA Co.,ltd. ALL rights reserved 147
  • 楽しさのマイニング 2900万人以上 1日20億超の行動情報 楽しさのマイニングによるユーザー体験還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 148
  • 迅速なサービス洗練 解析結果を反映した 数時間~数日スパンで迅速なサービス洗練 より楽しんでもらえるユーザー体験へDeNA Co.,ltd. ALL rights reserved 149
  • データマイニング活用の場 統一行動記述とHadoop基盤による データマイニング・機械学習の活用 大規模サービスでよく生じる課題 解決 サービスごとにログフォーマットが異なる 統一スキーマ形式 ・何を解析すればいいか分からない ・データマイニング・機械学習実装の ・パラメータの値の意味が分からない 再利用/サービス横断解析が行える ・類似の解析実装がサービスごとに ・学習コストの低減 複数存在する データ形式・値の意味を調べる必要がない ログの場所がばらばら・分散されている Hadoopに全てのログがある置き場 ・どこにあるか分からず、解析時間より ・データ探索・収集時間ゼロ ログを探し・集める時間のほうが長い 解析したいデータが全てある ・データマイニング/機械学習よりも ・大規模データ処理技術 ログ収集・基礎集計作業がメイン ・データマイニング/機械学習 ・データマイニング・機械学習 活用まで出来ない それぞれの技術が活用できるDeNA Co.,ltd. ALL rights reserved 150
  • 世界展開 ソーシャルプラットフォームの世界展開DeNA Co.,ltd. ALL rights reserved 151
  • 世界展開: デバイスによらないサービス提供・授受 ngCoreによる デバイスによらないサービス提供 海外Smartphone 国内Smartphone プラットフォーム プラットフォーム X-border 展開 iOS アプリ Android アプリ X-device 展開 ngCore SDK による開発 パートナー様 (国内、海外)DeNA Co.,ltd. ALL rights reserved 152
  • 世界展開: デバイスによらないサービス提供・授受 開発 一度の開発でiOS/Android 双方へサービス提供が可能 海外Smartphone 国内Smartphone プラットフォーム プラットフォーム X-border 展開 iOS アプリ Android アプリ X-device 展開 ngCore SDK による開発 パートナー様 (国内、海外)DeNA Co.,ltd. ALL rights reserved 153
  • 世界展開: デバイスによらないサービス提供・授受 ユーザー iOS/Android 双方で同サービスを受けられる 海外Smartphone 国内Smartphone プラットフォーム プラットフォーム X-border 展開 iOS アプリ Android アプリ X-device 展開 ngCore SDK による開発 パートナー様 (国内、海外)DeNA Co.,ltd. ALL rights reserved 154
  • 世界展開 世界中の人々の 楽しさのマイニングDeNA Co.,ltd. ALL rights reserved 155
  • 世界展開 世界中の人々の 楽しさのマイニング 国民性・民族性にあった サービス提供DeNA Co.,ltd. ALL rights reserved 156
  • 世界中の人々へ 世界中の人々への楽しさの提供 一緒に日本から世界へ 新たなサービス発信をしていきませんか? Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social CommunicationsDeNA Co.,ltd. ALL rights reserved Personality ..etc 157
  • 世界中の人々へ 世界中の人々への楽しさの提供 一緒に日本から 世界へ新たなサービス発信をしていきませんか? Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social CommunicationsDeNA Co.,ltd. ALL rights reserved Personality ..etc 158
  • 世界中の人々へ 世界中の人々への楽しさの提供 一緒に日本から 世界へ新たなサービス発信をしていきませんか? Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social CommunicationsDeNA Co.,ltd. ALL rights reserved Personality ..etc 159
  • 世界中の人々への楽しさの提供 一緒に日本から 世界へ新たなサービス発信をしていきませんか? ご清聴ありがとうございました 濱田晃一 hamada.koichi@dena.jpDeNA Co.,ltd. ALL rights reserved 160
  • AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム:Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へDeNA Co.,ltd. ALL rights reserved