Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop

1. Pattern Recognition and Media Understanding(PRMU)Conference －Big Data and Cloud ： Webスケール時代のパターン認識－ 2011/10/06 Mobageの大規模データマイニング Large Scale Data Mining of the Mobage Service 株式会社ディー・エヌ・エー濱田晃一 DeNA Co.,ltd. ALL rights reserved

4. hamadakoichi 濱田晃一 http://iddy.jp/profile/hamadakoichi 4

5. 活動領域 2010年6月 DeNA入社ソーシャルゲームのデータマイニングチーム立上げ 5

6. 活動領域 2010年6月 DeNA入社ソーシャルゲームのデータマイニングチーム立上げ 2011年4月データマイニング部門化ソーシャルプラットフォーム Mobageのデータマイニング実行・ディレクション 6

7. 活動領域ソーシャルメディアのデータマイニング活用 2900万人以上の人々へ各人のつながり・楽しみ・好み個性にあった適切なサービス提供 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 7

8. データマイニング+WEB勉強会＠東京データマイニング+WEB勉強会＠東京を主催者しています TokyoWebmining Google Group： http://groups.google.com/group/webmining-tokyo 8

9. 講師資料各種講師資料も公開しています http://www.slideshare.net/hamadakoichi 9

10. hamadakoichi 濱田晃一 10

11. hamadakoichi 濱田晃一理論物理博士(2004.3取得) 量子統計場の理論 Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 11

12. hamadakoichi 濱田晃一毎週末３時間ダンスコーチをしています ■過去、東京と京都でもダンス部を創設。コーチをしていました駒場物理ダンス部京都大学基礎物理学研究所ダンス部部長兼コーチ部長兼コーチ現在：毎週末３時間ダンスコーチ Youtube Channel： http://www.youtube.com/hamadakoichi 12

13. 数理解析手法の実ビジネスへの適用 2004年博士号取得後数理解析手法を実ビジネス適用の方法論構築主な領域 ◆活動の数理モデル化・解析手法 ◆活動の分析手法・再構築手法 ◆活動の実行制御・実績解析システム … 内容抜粋 “Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource to an Unmanned Machine Shop”, assignment", 13

14. 数理解析手法の実ビジネスへの適用：活動例活動の統一グラフモデルを構築・解析 Unified graphical model of processes and resources 青字：割付モデル属性 [ ] : Optional Node ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process Edge Process [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスがプロセスを表す開始できること表す・attributes（属性） preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表す Assign Region Assigns from Edge 同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の範囲を表す assigns assigns 中から割付けることを示す企業01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 製品01 組織A StartDateからEndDateまでの間 Resource has Assign RegionにResourceを割付対象要素を表す has has has has has has 割付けることを表す・capacity(容量) ・calender(カレンダー) AAA01 AAB02 … 山田さん田中さん鈴木さん・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 14

15. 数理解析手法の実ビジネスへの適用：活動例一品一様の業務プロセスの動的なプロセス制御数理体系を構築全体生産リードタイム中央値を 1/2.7に短縮設計開始～頭だし出荷リードタイム設計開始～頭だし出荷CT対週集計開始日時の箱ひげ図体系適用 500 適用後設計開始～頭だし出荷CT 400 360.4h(15.0日) 1/2.7 300 200 100 0 0 0 0 0 0 0 0 0 0 0 141.6h(5.9日) 0 0 0 9: 0 9 :0 9 :0 9 :0 9: 0 9 :0 9 :0 9 :0 9: 0 9 :0 9 :0 9 :0 9: 0 9 :0 20 27 04 11 18 25 01 08 15 22 29 06 13 20 0 9/ 0 9/ 1 0/ 1 0/ 1 0/ 1 0/ 1 1/ 1 1/ 1 1/ 1 1/ 1 1/ 1 2/ 1 2/ 1 2/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 週集計開始日時 15

16. 数理解析手法の実ビジネスへの適用：活動例ビジネスとともに学術分野でも貢献変動性から生じる動的な課題・リソースの競合・滞留・納期遅延 … 一品一様な業務プロセスを含む統計解析・制御数理モデル・統計的な有効変数算出・統計数理モデル化－優先順位制御－実行タイミング制御－統計フィードバック－適正リソース量算出・予測数理体系論文（体系の一部） M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada, “Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation to an Unmanned Machine Shop”, CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 16

17. 思いより広く蓄積されたデータを有効活用し世界の未来をよりよいものにしていきたいデータマイニング+WEB勉強会＠東京 Google Group： http://groups.google.com/group/webmining-tokyo 17

18. 現在の活動領域ソーシャルメディアのデータマイニング活用 2900万人以上の人々へ各人のつながり・楽しみ・好み個性にあった適切なサービス配信日々20億以上の活動の活用 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 18

19. よりよい世界の実現ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 19

20. よりよい世界の実現ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい世界中の人々が個々人のつながり・楽しみ・好みにあった適切な情報・サービスを自ら探さなくても得ることができる世界 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 20

21. AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム：Mobage ◆データマイニング活用によるサービス洗練 ◆楽しさのマイニング ◆1日20億超の行動情報 ◆楽しさのデータマイニング ◆活動例 ◆ケーススタディ: Social Game洗練 ◆迅速なサービス洗練 ◆大規模データマイニング基盤構成 ◆世界へ

22. Mobage Mobage モバイルソーシャルプラットフォーム【ゲーム】【SNS機能】日記の掲載、サークルの形成・参加、アバター（自分の分身のキャラクター）を使った匿名での自己紹介、その他のコミュニケーション【情報配信機能】【作品投稿】実用性の高い情報を配信小説、音楽、動画などのニュース、天気予報、乗り換え案内など作品の創作・投稿コーナー DeNA Co.,ltd. ALL rights reserved 22

23. １日２０億超の行動情報 2900万人以上 1日20億超の行動情報国内Mobage有効会員数（万人）（PV／日） 25億 2900万２０億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年出典: 当社 (月次推移のご報告), 株式会社ミクシィ（2010年度第1四半期決算説明資料）, ヤフー株式会社 (2008年1月～2010年6月月次報告), DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 23

27. データマイニング活用によるサービス洗練データマイニング・機械学習の活用により迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 27

31. データマイニング活用によるサービス洗練データマイニング・機械学習結果のサービス活用より楽しんでもらえるサービスへ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Log API Service … … DeNA Co.,ltd. ALL rights reserved 31

32. 大規模データマイニング基盤データマイニング・機械学習の活用により迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 32

35. １日２０億超の行動情報 2900万人以上 1日20億超の行動情報国内Mobage有効会員数（万人）（PV／日） 25億 2900万２０億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年出典: 当社 (月次推移のご報告), 株式会社ミクシィ（2010年度第1四半期決算説明資料）, ヤフー株式会社 (2008年1月～2010年6月月次報告), DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 35

52. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc DeNA Co.,ltd. ALL rights reserved 52

53. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc DeNA Co.,ltd. ALL rights reserved 53

56. 活動例（抜粋）楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc DeNA Co.,ltd. ALL rights reserved 56

59. 活動例（抜粋）: Recommendation Recommendation Strategy 推薦戦略 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 協調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 DeNA Co.,ltd. ALL rights reserved

61. 活動例（抜粋）: Recommendation Social Collaborative Filtering ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Social Graph Input User History and Social Graph Collaborative Filtering (Global) RECS (Global Matrix Model for “A likes B”) New user with no history Friend Input User History and Collaborative Filtering (Personal) RECS Neighborhood user (Neighborhood Matrix Model for “A likes B”) Neighborhood User with history Item-Item Matrix of Relationships (Invented by Amazon.com) Friend of Friend Wikipedia Image of a Social Network Relationship between Game A2 and C2 There are thousands of collaborative filtering varieties: + user friend neighborhood… Users who “bought A bought C”, “viewed A viewed C”… + user similarity clustered neighborhood… References (International Research Copyrights) DeNA Co.,ltd. ALL rights reserved

63. 活動例（抜粋）: Recommendation Content Similarity コンテンツ類似度の利用 1 Latent Semantic Analysis via Singular Value Decomposition 2 Cosine Similarity Equation 3 Similarity Game A2 and C2 4 5 6 Game A to B Cosine Similarity Matrix Smoothing Normalization Statistical Z-Score removes Low Game A to B Relationship Matrix Confidence Scores DeNA Co.,ltd. ALL rights reserved

64. 活動例（抜粋）: Recommendation Social Neural Networks ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Social Graph 1 G1 G1 0 1 G2 G2 0 0 G3 G3 0 0 G4 G4 1 0 G5 G5 0 Friend 0 G6 G6 0 user 0 G7 G7 Input User History 0 Neighborhood and Neighborhood 0 G8 G8 0 0 G9 G9 0 HISTORY RECOMMENDATIONS Friend of Friend Wikipedia Image of a Social Network DeNA Co.,ltd. ALL rights reserved

69. 活動例（抜粋）: Recommendation Recommendation より楽しんでもらえるサービス推薦 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 協調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 DeNA Co.,ltd. ALL rights reserved

72. 活動例（抜粋）: Pattern/Clustering/Classification Feature Analysis 楽しさの行動パターン、やめてしまう状況パターン Pattern Mining F1 E1 F2 E1 F3 F4 F5 Clustering Feature Analysis Activity N, … Classification Activity 1 Regression DeNA Co.,ltd. ALL rights reserved

75. 活動例（抜粋） Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン DeNA Co.,ltd. ALL rights reserved 75

76. 活動例（抜粋） Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 DeNA Co.,ltd. ALL rights reserved 76

77. 活動例（抜粋） Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供（他サービスへの推薦等） DeNA Co.,ltd. ALL rights reserved 77

78. 活動例（抜粋） Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供（他サービスへの推薦等） DeNA Co.,ltd. ALL rights reserved 78

81. 活動例（抜粋）: Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Activity N, … 離脱継続 Activity 1 DeNA Co.,ltd. ALL rights reserved

82. 活動例（抜粋）: Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Feature Analysis Activity N, … 離脱継続 Classification Activity 1 Regression DeNA Co.,ltd. ALL rights reserved

83. 活動例（抜粋）: Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Feature Analysis Activity N, … 離脱 User Experience Improvement 継続 Classification Activity 1 Regression DeNA Co.,ltd. ALL rights reserved

85. 活動例（抜粋）: Time Series Analysis Anomaly detection 複数時系列から異常な振る舞いを検知する C A 時系列のモデリング複数時系列の異常検知 B 時系列A 時系列A 異常な振る舞い時系列B 時系列C 時系列B 時系列C 異常な振る舞いの時系列を検出例1:トラフィック異常検知例2:CM効果のノイズ除去トラフィックA ケースA CM効果トラフィックB ケースB トラフィックC 調査ケースC 異常な振る舞いをしている異常な振る舞いをしているケースをトラフィックの原因を調査する除外して、CMの効果を算出する 85

86. 活動例（抜粋）: Time Series Analysis Anomaly detection 新しいデータと過去時系列モデルの乖離から異常検出異常スコア推移モデル構築異常値 ◇例 : ARIMAモデル異常スコアの算出 ◇例 : 対数損失 t 86

87. 活動例（抜粋）: Time Series Analysis TV Commercial Effects 時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出イベン CM時系列ト新規登録 CM ARPP U ARPU 各KPIの時系列その他継続外部率要因ケース 87

88. 活動例（抜粋）楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc 88

89. 活動例（抜粋） Other Applications 他にも各種ユーザー体験向上に役立てています ■健全なプラットフォームへ・不正書き込み判別・年齢詐称の判別 ■ユーザーの声によるサービス洗練・ソーシャルコミュニケーションのテキストマイニング等 89

94. Case Study : Social Game 洗練分析に基づいたパラメータチューニングやゲーム内ロジック変更を行いユーザー体験を向上するデータ（ログ）整備大規模データ各サービスのデータ抽出・集計分析～施策実行処理基盤整備企画・開発・運用共通モジュール開発データマイニングデータマイニング分析系企画・開発・運用担当基盤系エンジニアエンジニア／アナリスト（EC・ソーシャルゲーム等） DeNA Co.,ltd. ALL rights reserved 94

95. Case Study : Social Game 洗練ユーザー体験を向上させるには問題発見・解釈・提案の３つが一貫して行えることが必要データマイニング分析系エンジニア／アナリスト問題発見解釈提案空は青い雨は降らない傘はおいていく現状分析問題の明示化方向性の決定大きなトレンド戦略的解釈具体的な解決案こうなっている！だとすればこうだ！だからこうすべき！ DeNA Co.,ltd. ALL rights reserved 95

96. Case Study : Social Game 洗練ゲーム内パラメータの設計（ex.確率系パラメータのパラメータ設計設定、ユーザーの組み合わせロジック作成）ユーザーのプレイ・課金状況が当初の想定と異ゲーム／イベントのなった場合、途中で悪化した場合などに、ゲーム振り返り・改善策検討ログを分析して、その原因を掘り下げて究明し対応策を考えるタイトル別ゲームデザインに企画的視点から、ゲームデザイン／イベント企画対するインプットに対して、改善提案を行うゲーム／イベントにおける盛り上がり状況（プレイ・課金）やその変化がわかるようなKPIを設計し、かつそれ KPIの設計・見える化らを定常的に追うことができるようなレポートを作成・共有する上記タイトルごとの業務で得られた知見で、他タイトルナレッジの整理／シェアにも展開できるようなナレッジについて、資料化／共有を進めるタイトル横断ゲーム横断で使えるような施策を検討し、またそ共通的施策の実行支援の実現のための仕組みを提供する DeNA Co.,ltd. ALL rights reserved 96

97. Case Study : Social Game 洗練ゲーム内パラメータの設計（ex.確率系パラメータのパラメータ設計設定、ユーザーの組み合わせロジック作成）ユーザーのプレイ・課金状況が当初の想定と異ゲーム／イベントのなった場合、途中で悪化した場合などに、ゲーム振り返り・改善策検討ログを分析して、その原因を掘り下げて究明し対応策を考えるタイトル別ゲームデザインに企画的視点から、ゲームデザイン／イベント企画対するインプットに対して、改善提案を行うゲーム／イベントにおける盛り上がり状況（プレイ・課金）やその変化がわかるようなKPIを設計し、かつそれ KPIの設計・見える化らを定常的に追うことができるようなレポートを作成・共有する上記タイトルごとの業務で得られた知見で、他タイトルナレッジの整理／シェアにも展開できるようなナレッジについて、資料化／共有を進めるタイトル横断ゲーム横断で使えるような施策を検討し、またそ共通的施策の実行支援の実現のための仕組みを提供する DeNA Co.,ltd. ALL rights reserved 97

101. Case：離脱率抑制離脱率削減のための分析・施策怪盗ロワイヤルのミッションと通常のRPGの進め方の違い怪盗ロワイヤルドラクエ型RPG （ソーシャルゲーム） (コンシューマーゲーム) ミッションステータス上げ・ミッションをこなして経験値／＄を稼ぐ・敵と戦って経験値／＄を稼ぐ・店で武器・防具を買って強化・店で武器・防具を買って強化・ミッションを行うのに必要な手下（＝行・基本的に進み具合はプレイ時間に依存動力）の回復スピードが一定する（やりこむユーザーは一気にクリアま・進み具合は経過時間（≠プレイ時間）で進む）に依存する＝ストレスがかかるボス戦（ダンジョン）ボス戦・ボスに勝つと次のランク・ボスを倒したら次のエリア（ダンジョン）（エリア）にすすめるへいけるようになる DeNA Co.,ltd. ALL rights reserved 101

102. Case：離脱率抑制離脱の定義を決める ○ プレイした日ユーザーごとのプレイ状況プレイしなかった日 8日 9日 10日 11日 12日 13日 14日 15日 16日 17日 18日 19日 20日 21日 22日 23日 24日 25日 26日 27日 28日 Aさん ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ Bさん ○ ○ ○ Cさん ○ ○ ○ ○ Dさん ○ ○ ○ ○ ○ ○ Eさん ○ ○ ○ Ｑ．9月28日時点で「離脱者」に当たるユーザーはどれか DeNA Co.,ltd. ALL rights reserved 102

103. Case：離脱率抑制前週１度以上プレイしていたが、今週全くプレーがなくなったユーザーを離脱者と”定義”するユーザーごとのプレイ状況 8日 9日 10日 11日 12日 13日 14日 15日 16日 17日 18日 19日 20日 21日 22日 23日 24日 25日 26日 27日 28日 Aさん ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ Bさん ○ ○ ○ ○ ○ Cさん ○ ○ ○ ○ ○ ○ Dさん ○ ○ ○ ○ ○ ○ ○ Eさん ○ ○ ○ ○ ○ ○ わかりやすいKPIを定義することも重要な仕事 DeNA Co.,ltd. ALL rights reserved 103

104. Case：離脱率抑制ユーザー進捗度（Lv）別の離脱率に特異点ユーザーのLv別離脱率集計結果 25% 20% Lv10のところで離脱率が 15% 高くなっている（特異点）離脱率 10% 5% 0% Lv03 Lv10 Lv17 Lv01 Lv02 Lv04 Lv05 Lv06 Lv07 Lv08 Lv09 Lv11 Lv12 Lv13 Lv14 Lv15 Lv16 Lv18 Lv19 Lv20 ユーザーの進捗度（Lv） DeNA Co.,ltd. ALL rights reserved 104

105. Case：離脱率抑制特定のポイント（ミッション）で非常にクリアに時間がかかっていることが判明 Lv10におけるミッション別所要時間 2000 1800 1600 あるミッションだけ 1400 所要時間が特に長い平均所要時間 1200 1000 800 600 400 200 0 10-F 10-D 10-I 10-A 10-C 10-B 10-G 10-E 10-H ミッション KPIの変化から、どのあたりに原因がありそうかを探る感覚（サービスに対する理解）も重要 DeNA Co.,ltd. ALL rights reserved 105

106. Case：離脱率抑制当該ミッションに必要な行動力（手下数）を下げることでユーザーのゲーム進行をスムーズにすることを意思決定ミッション別滞留時間のレポートデータマイニング分析系設計・チューニング・レ企画・開発・運用担当エンジニア／アナリストポーティングの相談（EC・ソーシャルゲーム等）コミュニケーション（分析内容共有・施策提言）が重要 DeNA Co.,ltd. ALL rights reserved 106

107. Case：離脱率抑制難易度調整後には平均所要時間が大幅に低下したことを確認 Lv10におけるミッション別所要時間 2000 1800 1600 1400 平均所要時間 1200 1000 800 600 400 200 0 10-F 10-D 10-I 10-A 10-C 10-B 10-G 10-E 10-H ミッション DeNA Co.,ltd. ALL rights reserved 107

108. Case：離脱率抑制離脱率もチェックしたところ明確に低下したことが確認できたユーザーのLv別離脱率集計結果難易度調整前難易度調整後 25% 20% 15% 離脱率 10% 5% 0% Lv02 Lv09 Lv16 Lv01 Lv03 Lv04 Lv05 Lv06 Lv07 Lv08 Lv10 Lv11 Lv12 Lv13 Lv14 Lv15 Lv17 Lv18 Lv19 Lv20 ユーザーの進捗度（Lv）施策の結果を振り返り、「PDCAをまわす」 DeNA Co.,ltd. ALL rights reserved 108

115. Hadoop Hadoopとは大規模分散処理を行うための基盤・Apache プロジェクト・Java オープンソース・Googleが2004年に発表した論文を実装・主要コンポーネント・分散ファイルシステム: HDFS (Hadoop Distributed File System) ・分散処理フレームワーク: Mapreduce DeNA Co.,ltd. ALL rights reserved 115

117. 分散ファイルシステム：HDFS HDFS (Hadoop Distributed File System) DataNodeを増やすことで大容量化が可能 • NameNode – Meta情報を持つ、ファイル名、レプリケーション数、ファイルの保存場所など • DataNode – 実際のデータを格納するNode。ブロックサイズごとにファイルを分割して１つのファイルを複数のNodeで保存クライアントからは巨大な一つのストレージに DataNode アクセスしているように見える NameNode HDFS クライアント DeNA Co.,ltd. ALL rights reserved 117

119. 分散処理フレームワーク: MapReduce MapがkeyとValueにデータを振り分け、Reduceがkeyごとに集計分散処理を実現する User毎のPageView集計での例 Map userA userD userA userC userB userD key 大量データに対する 3 7 1 2 6 5 value 分散演算 Shuffle & Sort Reduce userA userB userC userD userA userA userD 演算結果の集計 userB userC userD 3 1 6 2 7 5 userA userB userC userD 4 6 2 １２ DeNA Co.,ltd. ALL rights reserved 119

122. 大規模データマイニング基盤データマイニング・機械学習の活用により迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 122

Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop

You are reading a preview.

Check these out next

Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop

More Related Content

Slideshows for you (19)

Viewers also liked (20)

Similar to Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop (20)

More from Koichi Hamada (12)

Recently uploaded (20)