Your SlideShare is downloading. ×
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-

3,581
views

Published on

"IBIS2012 (情報論的学習理論と機械学習研究会) -ビジネスと機械学習の接点 -" の講演資料です。データマイニング・機械学習を活かし実際にサービスをよくしていく・効果を出していくためにMobageで行っている活動を紹介しています。アレンジして頂いたPFI比戸さん・東京大学 鹿島さんに感謝。

"IBIS2012 (情報論的学習理論と機械学習研究会) -ビジネスと機械学習の接点 -" の講演資料です。データマイニング・機械学習を活かし実際にサービスをよくしていく・効果を出していくためにMobageで行っている活動を紹介しています。アレンジして頂いたPFI比戸さん・東京大学 鹿島さんに感謝。

Published in: Technology

0 Comments
25 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
3,581
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
0
Comments
0
Likes
25
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. IBIS2012 情報論的学習理論ワークショップ - ビジネスと機械学習の接点 2012/11/07 Mobageの 大規模データマイニング活用と 意思決定 株式会社ディー・エヌ・エー 濱田晃一 DeNA Co.,ltd. ALL rights reserved
  • 2. 講師紹介 ・濱田晃一 (Hamada Koichi) ・ID: hamadakoichi 2010年6月 DeNA入社: ソーシャルゲームの データマイニングチーム立上げ 2011年4月 ソーシャルプラットフォーム Mobageの データマイニング・施策実行 2
  • 3. 講師紹介 ・濱田晃一 (Hamada Koichi) ・ID: hamadakoichi 2010年6月 DeNA入社: ソーシャルゲームの データマイニングチーム立上げ 2011年4月 ソーシャルプラットフォーム Mobageの データマイニング・施策実行 ・TokyoWebmining (データマイニング+WEB@東京) 主催者 データマイニングの実活用コミュニティ。登録人数 890人超。 ・Mahout JP 主催者 Mahout: 大規模分散 機械学習ライブラリ ・博士 (2004年 東京大学総代代表) 専攻:統計場の理論(理論物理) ・Mobageを支える技術 執筆 ・Hip Hop/House ダンス歴 16年 コーチ歴11年 3
  • 4. Mobageの1日あたりの アクセス数(PV)?
  • 5. Mobageの1日あたりの アクセス数(PV)? 35億PV/Day DeNA Co.,ltd. ALL rights reserved
  • 6. Mobageの1日あたりの アクセス数(PV)? 35億PV/Day 日本最大規模のWebサービス DeNA Co.,ltd. ALL rights reserved
  • 7. Mobageの1日あたりの ログデータ量? DeNA Co.,ltd. ALL rights reserved
  • 8. Mobageの1日あたりの ログデータ量? 1.2TB/Day DeNA Co.,ltd. ALL rights reserved
  • 9. DeNA Co.,ltd. ALL rights reserved
  • 10. AGENDA ◆ソーシャルプラットフォーム Mobage ◆データマイニング活用によるサービス洗練 ◆データマイニングの実活用に必要な3つのこと ◆大規模データの展開 ◆大規模分散処理 技術 ◆世界へ DeNA Co.,ltd. ALL rights reserved
  • 11. AGENDA ◆ソーシャルプラットフォーム Mobage ◆データマイニング活用によるサービス洗練 ◆データマイニングの実活用に必要な3つのこと ◆大規模データの展開 ◆大規模分散処理 技術 ◆世界へ DeNA Co.,ltd. ALL rights reserved
  • 12. DeNA Co.,ltd. ALL rights reserved
  • 13. DeNAの成長エンジン DeNA Co.,ltd. ALL rights reserved 14
  • 14. DeNA Co.,ltd. ALL rights reserved 15
  • 15. Mobage Mobage ソーシャルゲームプラットフォーム 【ゲーム】 【SNS機能】 日記の掲載、サークルの形成・参加、アバター(自分の分身のキャ ラクター)を使った匿名での自己紹介、その他のコミュニケーション 【作品投稿】 小説、音楽、動画などの 【情報配信機能】 実用性の高い情報を配信 ニュース、天気予報、乗り換え案内など 作品の創作・投稿コーナー DeNA Co.,ltd. ALL rights reserved 16
  • 16. 1日35億超の行動情報 4500万人以上 1日35億超の行動情報 DeNA Co.,ltd. ALL rights reserved 17
  • 17. AGENDA ◆ソーシャルプラットフォーム Mobage ◆データマイニング活用によるサービス洗練 ◆データマイニングの実活用に必要な3つのこと ◆大規模データの展開 ◆大規模分散処理 技術 ◆世界へ DeNA Co.,ltd. ALL rights reserved 18
  • 18. データマイニング活用によるサービス洗練 データマイニング・機械学習の活用により 迅速なサービス洗練を実現しています Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection DeNA Data Mining Libraries Data Mining/Machine Learning Mahout … MapReduce Morphological Analysis DeNA Social MA KPI Views R Perl Pig Java Hive HUE Pre-processing/Indexing Lucene Service Log API Service Log API Business Planning Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 19
  • 19. データマイニング活用によるサービス洗練 Data Mining Infrastructure DeNA Co.,ltd. ALL rights reserved 20
  • 20. データマイニング活用によるサービス洗練 KPI(Key Performance Indicator)定常算出・共有 ビジネス・サービス変化を検知 Data Mining Infrastructure KPI Inspection KPI Views DeNA Co.,ltd. ALL rights reserved 21
  • 21. データマイニング活用によるサービス洗練 経営判断・サービス洗練を行うための データマイニング実行 Data Mining Infrastructure KPI Inspection KPI Views Business Planning DeNA Co.,ltd. ALL rights reserved 22
  • 22. データマイニング活用によるサービス洗練 データマイニング・機械学習 結果のサービス活用 より楽しんでもらえるサービスへ Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection KPI Views … Business Planning Service Log API Service Log API Service … Log API … DeNA Co.,ltd. ALL rights reserved 23
  • 23. データマイニング活用によるサービス洗練 データマイニング・機械学習の活用により 迅速なサービス洗練を実現しています Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection DeNA Data Mining Libraries Data Mining/Machine Learning Mahout … MapReduce Morphological Analysis DeNA Social MA KPI Views R Perl Pig Java Hive HUE Pre-processing/Indexing Lucene Service Log API Service Log API Business Planning Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 24
  • 24. AGENDA ◆ソーシャルプラットフォーム Mobage ◆データマイニング活用によるサービス洗練 ◆データマイニングの実活用に必要な3つのこと ◆大規模データの展開 ◆大規模分散処理 技術 ◆世界へ DeNA Co.,ltd. ALL rights reserved 25
  • 25. 分析によるサービス洗練に必要な3つのこと ◆事業数値にコミットする ◆効果高い問題設定・課題解決する ◆ユーザ体験・洗練サイクル作成する DeNA Co.,ltd. ALL rights reserved 26
  • 26. 分析によるサービス洗練に必要な3つのこと ◆事業数値にコミットする ◆効果高い問題設定・課題解決する ◆ユーザ体験・洗練サイクル作成する DeNA Co.,ltd. ALL rights reserved 27
  • 27. 事業数値にコミットする 事業数値にコミット 現場に深く入り活動する DeNA Co.,ltd. ALL rights reserved 28
  • 28. 事業数値にコミットする 事業数値にコミット 現場に深く入り活動する 推進強化 ・外部から客観的に入るのではなく、メンバーとして深く入る。 サービス開発と同じ達成目標で評価されることにより 施策のサービス適用まで推進・実行しやすい。 DeNA Co.,ltd. ALL rights reserved 29
  • 29. 事業数値にコミットする 事業数値にコミット 現場に深く入り活動する 推進強化 ・外部から客観的に入るのではなく、メンバーとして深く入る。 サービス開発と同じ達成目標で評価されることにより 施策のサービス適用まで推進・実行しやすい。 活動効果の最大化 ・本質的に意味のある施策にしか注力できなくなり 高い効果を生む DeNA Co.,ltd. ALL rights reserved 30
  • 30. 開発体制の変化 (1) ソーシャルゲーム 立ち上げ期 (2) 分析グループ 立ち上げ期 (3) 企画x開発x分析 チーム ソーシャルゲーム開発チーム 分析グループ 分析グループ 企画 開発エンジニア 分析エンジニア/アナリスト DeNA Co.,ltd. ALL rights reserved 31
  • 31. 開発体制の変化 (1) ソーシャルゲーム 立ち上げ期 (2) 分析グループ 立ち上げ期 (3) 企画x開発x分析 チーム ソーシャルゲーム開発チーム 企画1名、エンジニア1名で 1タイトルを作り上げる。 開発フェーズ: 納得行くまで 作っては壊しの繰り返し。 運用フェーズ: 仮説検証に 基づき、新しい施策投入や パラメータチューニングを 実施。高速にPDCAサイク ルを回す。 分析グループ 分析グループ 企画 開発エンジニア 分析エンジニア/アナリスト DeNA Co.,ltd. ALL rights reserved 32
  • 32. 開発体制の変化 (1) ソーシャルゲーム 立ち上げ期 (2) 分析グループ 立ち上げ期 (3) 企画x開発x分析 チーム ソーシャルゲーム開発チーム 企画1名、エンジニア1名で 1タイトルを作り上げる。 開発フェーズ: 納得行くまで 作っては壊しの繰り返し。 運用フェーズ: 仮説検証に 基づき、新しい施策投入や パラメータチューニングを 実施。高速にPDCAサイク ルを回す。 開発エンジニ アの工数が破 綻しがち DeNA Co.,ltd. ALL rights reserved 分析グループ 分析グループ 企画 開発エンジニア 分析エンジニア/アナリスト 33
  • 33. 開発体制の変化 (1) ソーシャルゲーム 立ち上げ期 (2) 分析グループ 立ち上げ期 (3) 企画x開発x分析 チーム ソーシャルゲーム開発チーム 企画1名、エンジニア1名で 1タイトルを作り上げる。 開発フェーズ: 納得行くまで 作っては壊しの繰り返し。 運用フェーズ: 仮説検証に 基づき、新しい施策投入や パラメータチューニングを 実施。高速にPDCAサイク ルを回す。 開発エンジニ アの工数が破 綻しがち DeNA Co.,ltd. ALL rights reserved 分析グループ ソーシャルゲーム開発チー ムで深彫できない、分析課 題に取り組む。(課金や離 脱の要因分析、ユーザクラ スタ毎の特徴解析) 分析グループ 企画 開発エンジニア 分析エンジニア/アナリスト 34
  • 34. 開発体制の変化 (1) ソーシャルゲーム 立ち上げ期 (2) 分析グループ 立ち上げ期 (3) 企画x開発x分析 チーム ソーシャルゲーム開発チーム 企画1名、エンジニア1名で 1タイトルを作り上げる。 開発フェーズ: 納得行くまで 作っては壊しの繰り返し。 運用フェーズ: 仮説検証に 基づき、新しい施策投入や パラメータチューニングを 実施。高速にPDCAサイク ルを回す。 開発エンジニ アの工数が破 綻しがち DeNA Co.,ltd. ALL rights reserved 分析グループ ソーシャルゲーム開発チー ムで深彫できない、分析課 題に取り組む。(課金や離 脱の要因分析、ユーザクラ スタ毎の特徴解析) 分析グループ 分析に必要な ログの不足。 現場との距離 感が課題に。 35
  • 35. 開発体制の変化 (1) ソーシャルゲーム 立ち上げ期 (2) 分析グループ 立ち上げ期 (3) 企画x開発x分析 チーム ソーシャルゲーム開発チーム 企画1名、エンジニア1名で 1タイトルを作り上げる。 開発フェーズ: 納得行くまで 作っては壊しの繰り返し。 運用フェーズ: 仮説検証に 基づき、新しい施策投入や パラメータチューニングを 実施。高速にPDCAサイク ルを回す。 開発エンジニ アの工数が破 綻しがち DeNA Co.,ltd. ALL rights reserved 分析グループ ソーシャルゲーム開発チー ムで深彫できない、分析課 題に取り組む。(課金や離 脱の要因分析、ユーザクラ スタ毎の特徴解析) 分析グループ 分析に必要な ログの不足。 現場との距離 感が課題に。 36
  • 36. 開発体制の変化 (1) ソーシャルゲーム 立ち上げ期 (2) 分析グループ 立ち上げ期 (3) 企画x開発x分析 チーム ソーシャルゲーム開発チーム 企画1名、エンジニア1名で 1タイトルを作り上げる。 開発フェーズ: 納得行くまで 作っては壊しの繰り返し。 運用フェーズ: 仮説検証に 基づき、新しい施策投入や パラメータチューニングを 実施。高速にPDCAサイク ルを回す。 開発エンジニ アの工数が破 綻しがち DeNA Co.,ltd. ALL rights reserved 分析グループ ソーシャルゲーム開発チー ムで深彫できない、分析課 題に取り組む。(課金や離 脱の要因分析、ユーザクラ スタ毎の特徴解析) 分析グループ 開発チームのメンバーとし て、目標をコミットし、課題に 対して直接 分析・施策実施 していく 分析に必要な ログの不足。 現場との距離 感が課題に。 37
  • 37. 事業数値にコミットする 事業数値にコミット 現場に深く入り活動する 推進強化 ・外部から客観的に入るのではなく、メンバーとして深く入る。 サービス開発と同じ達成目標で評価されることにより 施策のサービス適用まで推進・実行しやすい。 活動効果の最大化 ・本質的に意味のある施策にしか注力できなくなり 高い効果を生む DeNA Co.,ltd. ALL rights reserved 38
  • 38. 分析によるサービス洗練に必要な3つのこと ◆事業数値にコミットする ◆効果高い問題設定・課題解決する ◆ユーザ体験・洗練サイクル作成する DeNA Co.,ltd. ALL rights reserved 39
  • 39. 効果高い課題設定・解決を行う 改善効果高いユーザクラスタ・特徴を知り 効果高い課題設定をする Pattern Mining F1 E1 F2 F3 E1 F4 F5 Feature Analysis Clustering Activity N, … Activity 1 DeNA Co.,ltd. ALL rights reserved Classification Regression 40
  • 40. 効果高い課題設定・解決を行う 改善効果高いユーザクラスタ・特徴を知り 効果高い課題設定をする 例: ゲームインストール数向上のために、施策 効果高いクラスタを評価 Clustering Activity N, … Activity 1 DeNA Co.,ltd. ALL rights reserved ユーザクラスタ: ・性別 ・年齢 ・友達数 ・入会からの経過期間 ・入会経路 ・プレイ期間 ・プレイゲーム数 ・プレイゲーム類似度 ・日記投稿閲覧・頻度 ・サークル閲覧・投稿頻度 数値: - 人数 - 一人あたりのインストール数 41
  • 41. 効果高い課題設定・解決を行う 効果高い施策を実施するために 目標指標に一番影響を与える要素を解明する Pattern Actions/Status F1 Installs E1 F2 F3 F4 F5 DeNA Co.,ltd. ALL rights reserved E1 例: 対象クラスタは、どういったゲームをより 好みインストールするか。どんな特徴が効 いているか。 影響変数例: ・最終アクセスゲーム ・利用サークル ・閲覧ニュース特徴 ・閲覧小説特徴 ・日記 ・掲示板 ・PV変化 ・年齢 ・性別 等 42
  • 42. 効果高い課題設定・解決を行う 対象ユーザクラスタへの 情報提示はどの方法が効果高いか 例: 対象クラスタは、どういったサービスを利 用しているか。 Access割合 DeNA Co.,ltd. ALL rights reserved Service4 Service3 Service2 Service1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 影響変数例: ・ニュース ・アバタ― ・日記 ・小説 ・掲示板 等 43
  • 43. 効果高い課題設定・解決を行う 状況に合わせ適切な方法を 選択・組合せ検証する Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) (most detailed experiments and rationale) > パターンの学習と予測 > latent semantic analysis (game text similarity) > artificial neural network Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) DeNA Co.,ltd. ALL rights reserved (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 44
  • 44. 活動例(抜粋): Recommendation Social Collaborative Filtering ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Social Graph Input User History Collaborative Filtering (Global) (Global Matrix Model for “A likes B”) New user with no history RECS and Social Graph Input User History and Friend Neighborhood Collaborative Filtering (Personal) (Neighborhood Matrix Model for “A likes B”) RECS user User with history Neighborhood Item-Item Matrix of Relationships (Invented by Amazon.com) Friend of Friend Wikipedia Image of a Social Network There are thousands of collaborative filtering varieties: + user friend neighborhood… + user similarity clustered neighborhood… Relationship between Game A2 and C2 Users who “bought A bought C”, “viewed A viewed C”… References (International Research Copyrights) DeNA Co.,ltd. ALL rights reserved
  • 45. 活動例(抜粋): Recommendation Social Neural Networks ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Social Graph 1 G1 G1 0 1 G2 G2 0 0 G3 G3 0 0 G4 G4 1 0 G5 G5 0 0 G6 G6 0 0 G7 G7 0 0 G8 G8 0 0 G9 G9 0 Friend user Input User History and Neighborhood Neighborhood Friend of Friend HISTORY RECOMMENDATIONS Wikipedia Image of a Social Network DeNA Co.,ltd. ALL rights reserved 46
  • 46. 効果高い課題設定・解決を行う 状況に合わせ適切な方法を 選択・組合せ検証する Hybrid Model Users that Like A Like B SIM AGENT NN RL DeNA Co.,ltd. ALL rights reserved Prediction CF 47
  • 47. 分析によるサービス洗練に必要な3つのこと ◆事業数値にコミットする ◆効果高い問題設定・課題解決する ◆ユーザ体験・洗練サイクルを作る DeNA Co.,ltd. ALL rights reserved 48
  • 48. ユーザ体験・洗練サイクルを作る ユーザ体験の設計 その施策はユーザにどんな新たな体験を生むか DeNA Co.,ltd. ALL rights reserved 49
  • 49. ユーザ体験・洗練サイクルを作る ユーザ体験の設計 その施策はユーザにどんな新たな体験を生むか 施策とユーザ体験例 DeNA Co.,ltd. ALL rights reserved 50
  • 50. ユーザ体験・洗練サイクルを作る ユーザ体験の設計 その施策はユーザにどんな新たな体験を生むか 施策とユーザ体験例 ◆ 興味軸からの推薦 ゲームXとゲームYを遊んでいる人が ゲームZを始めています ⇒ 自分の興味に近い人が最近楽しんでいるゲームを始め 楽しめる体験 DeNA Co.,ltd. ALL rights reserved
  • 51. ユーザ体験・洗練サイクルを作る ユーザ体験の設計 その施策はユーザにどんな新たな体験を生むか 施策とユーザ体験例 ◆ 興味軸からの推薦 ゲームXとゲームYを遊んでいる人が ゲームZを始めています ⇒ 自分の興味に近い人が最近楽しんでいるゲームを始め 楽しめる体験 ◆ 親しい人からの推薦: ゲームXで 親しいAさんが ゲームZにはまっています ⇒ 一緒にゲームを楽しんでいる親しいユーザと 他ゲームでも一緒に楽しめる体験 DeNA Co.,ltd. ALL rights reserved
  • 52. ユーザ体験・洗練サイクルを作る Service Hadoop DFS Front End MapReduce DeNA Co.,ltd. ALL rights reserved 53
  • 53. ユーザ体験・洗練サイクルを作る ユーザ体験・連携開発 ユーザ体験・通知方法設計 連携データスキーマ設計/データ量評価 実装/単体テスト/結合テスト XとYを遊んでいる人が Z を始めています ゲームX で親しい Aさんが Zにはまっています Xさんは ゲームYとサークルZを利用しています Service Front End DeNA Co.,ltd. ALL rights reserved Recommendation Data Hadoop DFS MapReduce 54
  • 54. ユーザ体験・洗練サイクルを作る ユーザ体験・連携開発 ユーザ体験・通知方法設計 連携データスキーマ設計/データ量評価 実装/単体テスト/結合テスト XとYを遊んでいる人が Z を始めています ゲームX で親しい Aさんが Zにはまっています Xさんは ゲームYとサークルZを利用しています Service Recommendation Data Front End Hadoop DFS MapReduce Feedback Log ユーザ反応のFeedback Feedback開発 分散アルゴリズム設計 ログスキーマ設計/実装 単体テスト/結合テスト DeNA Co.,ltd. ALL rights reserved ・性別 ・年齢 ・アバタ― ・推薦理由 … 55
  • 55. ユーザ体験・洗練サイクルを作る ユーザ体験・連携開発 ユーザ体験・通知方法設計 連携データスキーマ設計/データ量評価 実装/単体テスト/結合テスト XとYを遊んでいる人が Z を始めています ゲームX で親しい Aさんが Zにはまっています Xさんは ゲームYとサークルZを利用しています レコメンド開発 分散アルゴリズム設計 実装/単体テスト/定常実行 Service Recommendation Data Front End Hadoop DFS MapReduce Feedback Log ユーザ反応のFeedback Feedback開発 分散アルゴリズム設計 ログスキーマ設計/実装 単体テスト/結合テスト DeNA Co.,ltd. ALL rights reserved ・性別 ・年齢 ・アバタ― ・推薦理由 … 56
  • 56. ユーザ体験・洗練サイクルを作る ユーザ体験・連携開発 ユーザ体験・通知方法設計 連携データスキーマ設計/データ量評価 実装/単体テスト/結合テスト XとYを遊んでいる人が Z を始めています ゲームX で親しい Aさんが Zにはまっています Xさんは ゲームYとサークルZを利用しています レコメンド開発 分散アルゴリズム設計 実装/単体テスト/定常実行 Service Recommendation Data Front End Hadoop DFS MapReduce Feedback Log ユーザ反応のFeedback Feedback開発 分散アルゴリズム設計 ログスキーマ設計/実装 単体テスト/結合テスト DeNA Co.,ltd. ALL rights reserved ・性別 ・年齢 ・アバタ― ・推薦理由 … 57
  • 57. ユーザ体験・洗練サイクルを作る ユーザ体験・連携開発 ユーザ体験・通知方法設計 連携データスキーマ設計/データ量評価 実装/単体テスト/結合テスト XとYを遊んでいる人が Z を始めています ゲームX で親しい Aさんが Zにはまっています Xさんは ゲームYとサークルZを利用しています レコメンド開発 分散アルゴリズム設計 実装/単体テスト/定常実行 Service Recommendation Data Front End Hadoop DFS MapReduce Feedback Log ユーザ反応のFeedback Feedback開発 分散アルゴリズム設計 ログスキーマ設計/実装 単体テスト/結合テスト DeNA Co.,ltd. ALL rights reserved ・性別 ・年齢 ・アバタ― ・推薦理由 … 58
  • 58. ユーザ体験・洗練サイクルを作る ユーザ状況に合わせ適切な方法を選択・組合せる (はまっている、飽き始めている、等) Hybrid Model Users that Like A Like B SIM AGENT NN RL DeNA Co.,ltd. ALL rights reserved Prediction CF
  • 59. ユーザ体験・洗練サイクルを作る 効果検証・意思決定を早いサイクルで繰り返す ユーザにとってよりよい体験へ洗練していく not-applied Algorithm-A Algorithm-B Algorithm-AB DeNA Co.,ltd. ALL rights reserved 例: 効果高いアルゴリズム組み合せABを採 用。 効果上がっているユーザ特徴・状況を 分析し、他枠へのテスト展開も検討 60
  • 60. AGENDA ◆ソーシャルプラットフォーム Mobage ◆データマイニング活用によるサービス洗練 ◆データマイニングの実活用に必要な3つのこと ◆大規模データの展開 ◆大規模分散処理 技術 ◆世界へ DeNA Co.,ltd. ALL rights reserved 61
  • 61. 大規模データの展開 ◆1日35億超の行動情報 ◆詳細行動情報 ◆迅速なサービス洗練 DeNA Co.,ltd. ALL rights reserved 62
  • 62. 大規模データの展開 ◆1日35億超の行動情報 ◆詳細行動情報 ◆迅速なサービス洗練 DeNA Co.,ltd. ALL rights reserved 63
  • 63. 1日35億超の行動情報 4500万人以上 1日35億超の行動情報 4,000 国内Mobage有効会員数 3,500 3,000 2,500 2,000 1,500 1,000 DeNA Co.,ltd. ALL rights reserved 12月 9月 6月 3月 12月 9月 6月 3月 12月 0 9月 500 64
  • 64. 1日35億超の行動情報 統計的有意な結果を 多くのユーザー体験へ還元 4500万人以上 1日35億超アクション DeNA Co.,ltd. ALL rights reserved 65
  • 65. 1日35億超の行動情報 統計的有意な結果を 多くのユーザー体験へ還元 統計的有意 データマイニング・機械学習の 結果の統計的有意性 4500万人以上 1日35億超アクション DeNA Co.,ltd. ALL rights reserved 66
  • 66. 1日35億超の行動情報 統計的有意な結果を 多くのユーザー体験へ還元 統計的有意 データマイニング・機械学習の 結果の統計的有意性 多くの人へ還元 多くのユーザー体験へ 還元できる 4500万人以上 1日35億超アクション DeNA Co.,ltd. ALL rights reserved 67
  • 67. 大規模データの展開 ◆1日35億超の行動情報 ◆詳細行動情報 ◆迅速なサービス洗練 DeNA Co.,ltd. ALL rights reserved 68
  • 68. 詳細行動情報 目的・感情が分かる詳細行動情報 DeNA Co.,ltd. ALL rights reserved 69
  • 69. 詳細行動情報 目的・感情が分かる詳細行動情報 ミッション ボス挑戦 勝つ 負ける DeNA Co.,ltd. ALL rights reserved 70
  • 70. 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ ミッション ボス挑戦 勝つ 負ける DeNA Co.,ltd. ALL rights reserved 71
  • 71. 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ ミッション ボス挑戦 勝つ 負ける DeNA Co.,ltd. ALL rights reserved 応援 プレゼント 仲間申請 ウィンク 交換 72
  • 72. 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う ミッション ボス挑戦 勝つ 負ける 応援 プレゼント 仲間申請 ウィンク 交換 DeNA Co.,ltd. ALL rights reserved 73
  • 73. 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う ミッション ボス挑戦 勝つ 負ける 応援 プレゼント 仲間申請 ウィンク 交換 耕す 種まき 水やり 収穫 捕獲 DeNA Co.,ltd. ALL rights reserved 74
  • 74. 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う ミッション ボス挑戦 勝つ 負ける 応援 プレゼント 仲間申請 ウィンク 交換 育成 耕す 種まき 水やり 収穫 捕獲 DeNA Co.,ltd. ALL rights reserved 75
  • 75. 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う ミッション ボス挑戦 勝つ 負ける 応援 プレゼント 仲間申請 ウィンク 交換 育成 収集 耕す 種まき 水やり 収穫 捕獲 アイテム取得 アイテム合成 DeNA Co.,ltd. ALL rights reserved … … 76
  • 76. 詳細行動情報 目的・感情が分かる詳細行動情報 ステータスアップ 助け合う ミッション ボス挑戦 勝つ 負ける 応援 プレゼント 仲間申請 ウィンク 交換 育成 収集 耕す 種まき 水やり 収穫 捕獲 アイテム取得 アイテム合成 … … よりユーザ趣向を理解した深い解析 楽しさのマイニング DeNA Co.,ltd. ALL rights reserved 77
  • 77. 大規模データの展開 ◆1日35億超の行動情報 ◆詳細行動情報 ◆迅速なサービス洗練 DeNA Co.,ltd. ALL rights reserved 78
  • 78. 迅速なサービス洗練 解析結果を反映した 数時間~数日スパンで迅速なサービス洗練 DeNA Co.,ltd. ALL rights reserved 79
  • 79. 迅速なサービス洗練 解析結果を反映した 数時間~数日スパンで迅速なサービス洗練 より楽しんでもらえるユーザー体験へ DeNA Co.,ltd. ALL rights reserved 80
  • 80. 大規模データの展開 ◆1日35億超の行動情報 ◆詳細行動情報 ◆迅速なサービス洗練 DeNA Co.,ltd. ALL rights reserved 81
  • 81. AGENDA ◆ソーシャルプラットフォーム Mobage ◆データマイニング活用によるサービス洗練 ◆データマイニングの実活用に必要な3つのこと ◆大規模データの展開 ◆大規模分散処理 技術 ◆世界へ DeNA Co.,ltd. ALL rights reserved 82
  • 82. Hadoopを用いた 大規模データマイニング基盤 DeNA Co.,ltd. ALL rights reserved 83
  • 83. Hadoop Hadoopとは 大規模分散処理を行うための基盤 ・Apache プロジェクト ・Java オープンソース ・Googleが2004年に発表した論文を実装 ・主要コンポーネント ・分散ファイルシステム: HDFS (Hadoop Distributed File System) ・分散処理フレームワーク: Mapreduce DeNA Co.,ltd. ALL rights reserved 84
  • 84. Hadoopの主な利用企業 広告・ECサイト・検索・SNS等 大規模データを有するサービスで利用されている DeNA Co.,ltd. ALL rights reserved 85
  • 85. 分散ファイルシステム:HDFS HDFS (Hadoop Distributed File System) DataNodeを増やすことで大容量化が可能 • NameNode – Meta情報を持つ、ファイル名、レプリケーション数、ファイルの保存場所など • DataNode – 実際のデータを格納するNode。ブロックサイズごとにファイルを分割して1 つのファイルを複数のNodeで保存 クライアントからは DataNode 巨大な一つのストレージに アクセスしているように見える NameNode HDFS クライアント DeNA Co.,ltd. ALL rights reserved 86
  • 86. 分散ファイルシステム:HDFS 同一ブロックが複数のDataNodeに分散配置されることで 冗長性が担保される 固定長ブロックに分割 1 2 ファイル 1 2 同一ブロックが複数のDataNodeに 分散配置される(default 3) 3 1 1 2 1 2 3 3 2 DataNode 2 1 DeNA Co.,ltd. ALL rights reserved 3 2 2 1 1 87
  • 87. 分散処理フレームワーク: MapReduce MapがkeyとValueにデータを振り分け、Reduceがkeyごとに集計 分散処理を実現する User毎のPageView集計での例 Map userA userD userA userC userB userD key 3 7 1 2 6 5 value 大量データに対する 分散演算 Shuffle & Sort Reduce userA userB userC userD userA userB userC userD userD 1 6 2 7 5 userA userB userC userD 4 DeNA Co.,ltd. ALL rights reserved userA 3 演算結果の集計 6 2 12 88
  • 88. 大規模データマイニング基盤構成 DeNA Co.,ltd. ALL rights reserved 89
  • 89. 大規模データマイニング基盤 データマイニング・機械学習の活用により 迅速なサービス洗練を実現しています DeNA Co.,ltd. ALL rights reserved 90
  • 90. 大規模データマイニング基盤 データマイニング・機械学習の活用により 迅速なサービス洗練を実現しています Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection DeNA Data Mining Libraries Data Mining/Machine Learning Mahout … MapReduce Morphological Analysis DeNA Social MA KPI Views R Perl Pig Java Hive HUE Pre-processing/Indexing Lucene Service Log API Service Log API Business Planning Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 91
  • 91. 大規模データマイニング基盤 Data Mining Infrastructure DeNA Co.,ltd. ALL rights reserved 92
  • 92. 大規模データマイニング基盤 KPI(Key Performance Indicator)定常算出・共有 ビジネス・サービス変化を検知 Data Mining Infrastructure KPI Inspection KPI Views DeNA Co.,ltd. ALL rights reserved 93
  • 93. 大規模データマイニング基盤 経営判断・サービス洗練を行うための データマイニング実行 Data Mining Infrastructure KPI Inspection KPI Views Business Planning DeNA Co.,ltd. ALL rights reserved 94
  • 94. 大規模データマイニング基盤 データマイニング・機械学習 結果のサービス活用 より楽しんでもらえるサービスへ Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection KPI Views … Business Planning Service Log API Service Log API Service … Log API … DeNA Co.,ltd. ALL rights reserved 95
  • 95. 大規模データマイニング基盤 Hadoop 全行動ログ/サービスデータ 投入 Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection KPI Views … Business Planning Service Log API Service Log API Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 96
  • 96. 大規模データマイニング基盤 Pig/Hive 少ない記述量での一次集計/簡易KPI算出 Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection KPI Views MapReduce … Pig Data Schema Zebra Hive Service Log API Service Log API Business Planning Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 97
  • 97. 大規模データマイニング基盤 HUE GUIベースの解析環境/アクセス管理 Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection KPI Views MapReduce … Pig Data Schema Zebra Hive Service Log API Service Log API HUE Business Planning Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 98
  • 98. 大規模データマイニング基盤 MapReduce/Perl/Java 時系列処理・ゲーム分散シミュレーション等 Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection DeNA Data Mining Libraries MapReduce … KPI Views Perl Pig Hive Service Log API HUE Business Planning Log API Service Java Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 99
  • 99. 大規模データマイニング基盤 R 統計解析・データマイニング・機械学習 Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection KPI Views MapReduce … R Perl Pig Hive Service Log API HUE Business Planning Log API Service Java Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 100
  • 100. 大規模データマイニング基盤 Mahout 大規模データマイニング・機械学習 Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection KPI Views Data Mining/Machine Learning Mahout … MapReduce R Perl Pig Hive Service Log API HUE Business Planning Log API Service Java Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 101
  • 101. 大規模データマイニング基盤 Data Mining Libraries 各種ソーシャル行動解析用のデータマイニングライブラリ Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection DeNA Data Mining Libraries Data Mining/Machine Learning Mahout … MapReduce Morphological Analysis DeNA Social MA KPI Views R Perl Pig Java Hive HUE Pre-processing/Indexing Lucene Service Log API Service Log API Business Planning Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 102
  • 102. 大規模データマイニング基盤 データマイニング・機械学習による 迅速なサービス洗練を実現しています Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection DeNA Data Mining Libraries Data Mining/Machine Learning Mahout … MapReduce Morphological Analysis DeNA Social MA KPI Views R Perl Pig Java Hive HUE Pre-processing/Indexing Lucene Service Log API Service Log API Business Planning Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 103
  • 103. 大規模データマイニング基盤 統一行動記述 Data-mining Machine-Leaning Results Data Mining Infrastructure KPI Inspection DeNA Data Mining Libraries Data Mining/Machine Learning Mahout … MapReduce Morphological Analysis DeNA Social MA KPI Views R Perl Pig Hive Hive Pig Pre-processing/Indexing Lucene Service Log API Service Log API Business Planning Service … Log API … Hadoop DFS Unified Description of Action/Status Log DeNA Co.,ltd. ALL rights reserved 104
  • 104. 統一行動記述 ユーザー行動 時系列の 統一記述 DeNA Co.,ltd. ALL rights reserved 105
  • 105. 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 形式 置き場 DeNA Co.,ltd. ALL rights reserved 106
  • 106. 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 サービスごとにログフォーマットが異なる 形式 ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する 置き場 DeNA Co.,ltd. ALL rights reserved 107
  • 107. 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 サービスごとにログフォーマットが異なる 形式 ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する ログの場所がばらばら・分散されている 置き場 ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い DeNA Co.,ltd. ALL rights reserved 108
  • 108. 統一行動記述 大規模サービスでよく生じる課題 大規模サービスでよく生じる課題 サービスごとにログフォーマットが異なる 形式 ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する ログの場所がばらばら・分散されている 置き場 ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない DeNA Co.,ltd. ALL rights reserved 109
  • 109. 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 サービスごとにログフォーマットが異なる 形式 ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する ログの場所がばらばら・分散されている 置き場 ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない DeNA Co.,ltd. ALL rights reserved 110
  • 110. 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 サービスごとにログフォーマットが異なる ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する 形式 統一スキーマ ・データマイニング・機械学習実装の 再利用/サービス横断解析が行える ・学習コストの低減 データ形式・値の意味を調べる必要がない ログの場所がばらばら・分散されている 置き場 ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない DeNA Co.,ltd. ALL rights reserved 111
  • 111. 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 サービスごとにログフォーマットが異なる ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する 置き場 ・データマイニング・機械学習実装の 再利用/サービス横断解析が行える ログの場所がばらばら・分散されている 形式 統一スキーマ Hadoopに全てのログがある ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い ・データ探索・収集時間ゼロ ・学習コストの低減 データ形式・値の意味を調べる必要がない 解析したいデータが全てある ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない DeNA Co.,ltd. ALL rights reserved 112
  • 112. 統一行動記述 統一行動ログによる解決 大規模サービスでよく生じる課題 統一行動記述での解決 サービスごとにログフォーマットが異なる ・何を解析すればいいか分からない ・パラメータの値の意味が分からない ・類似の解析実装がサービスごとに 複数存在する 置き場 ・データマイニング・機械学習実装の 再利用/サービス横断解析が行える ログの場所がばらばら・分散されている 形式 統一スキーマ Hadoopに全てのログがある ・どこにあるか分からず、解析時間より ログを探し・集める時間のほうが長い ・データ探索・収集時間ゼロ ・データマイニング/機械学習よりも ログ収集・基礎集計作業がメイン ・データマイニング・機械学習 活用まで出来ない DeNA Co.,ltd. ALL rights reserved ・学習コストの低減 データ形式・値の意味を調べる必要がない 解析したいデータが全てある ・大規模データ処理技術 ・データマイニング/機械学習 それぞれの技術が活用できる 113
  • 113. AGENDA ◆ソーシャルプラットフォーム Mobage ◆データマイニング活用によるサービス洗練 ◆データマイニングの実活用に必要な3つのこと ◆大規模データの展開 ◆大規模分散処理 技術 ◆世界へ DeNA Co.,ltd. ALL rights reserved
  • 114. 世界展開 ソーシャルゲームプラットフォームの世界展開 (※2012年11月時点) DeNA Co.,ltd. ALL rights reserved 115
  • 115. 世界展開 X-border / X-device戦略 China SNS Japan Korea Global X-border ・・・ HTML5 iOS Android Other OS ・・・ X-device Game Game Engine Other Game Engine ngCore Partners DeNA DeNA Co.,ltd. ALL rights reserved 116
  • 116. 世界展開: デバイスによらないサービス提供・授受 ngCoreによる デバイスによらないサービス提供 海外Smartphone プラットフォーム 国内Smartphone プラットフォーム X-border 展開 iOS アプリ Android アプリ X-device 展開 ngCore SDK による開発 パートナー様 (国内、海外) DeNA Co.,ltd. ALL rights reserved 117
  • 117. 世界展開: デバイスによらないサービス提供・授受 開発 一度の開発でiOS/Android 双方へサービス提供が可能 海外Smartphone プラットフォーム 国内Smartphone プラットフォーム X-border 展開 iOS アプリ Android アプリ X-device 展開 ngCore SDK による開発 パートナー様 (国内、海外) DeNA Co.,ltd. ALL rights reserved 118
  • 118. 世界展開: デバイスによらないサービス提供・授受 ユーザー iOS/Android 双方で同サービスを受けられる 海外Smartphone プラットフォーム 国内Smartphone プラットフォーム X-border 展開 iOS アプリ Android アプリ X-device 展開 ngCore SDK による開発 パートナー様 (国内、海外) DeNA Co.,ltd. ALL rights reserved 119
  • 119. 世界展開 世界各国へのMobageプラットフォーム展開 Japan FP SP Global PC DeNA Co.,ltd. ALL rights reserved China SP SP Korea SP 120
  • 120. 世界展開 日本で培ってきたノウハウをグローバルへ展開 全米ランキングNo1を継続 US GooglePlayマーケット 総合売上ランキング No1 Rage of 1位 1位 Bahamut Tapfish 10位 20 位 Ninja 14位 Royale 40 位 60 位 80 位 100位 4/1 0 DeNA Co.,ltd. ALL rights reserved 4/1 5 4/2 3 121
  • 121. 世界展開 世界のソーシャルゲーム市場の成長を牽引する 2年半遅れでようやく世界市場が成長期に 日本 全世界 2009年10月 (百万円) 2012年4月 (兆円) 数兆円 2009/10 怪盗ロワイヤル リリース 2012/4 Rage of Bahamutが 総合売上1位へ ・・・・・・・・・ 2008 2009 DeNA Co.,ltd. ALL rights reserved 2010 2011 2011 2012 20xx 122
  • 122. 世界展開 ソーシャルゲームプラットフォームの世界展開 (※2012年11月時点) DeNA Co.,ltd. ALL rights reserved 123
  • 123. 世界展開 世界中の人々の 楽しさのマイニング DeNA Co.,ltd. ALL rights reserved 124
  • 124. 世界展開 世界中の人々の 楽しさのマイニング 国民性・民族性にあった サービス提供 DeNA Co.,ltd. ALL rights reserved 125
  • 125. 世界展開 ソーシャル・活動情報の活用により より適切な情報・サービス配信される世界を実現したい Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあった より適切なサービス提供 DeNA Co.,ltd. ALL rights reserved 126
  • 126. 世界展開 ソーシャル・活動情報の活用により より適切な情報・サービス配信される世界を実現したい 世界中の人々が 個々人のつながり・楽しみ・好みにあった適切な情報・サービスを 自ら探さなくても得ることができる世界 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあった より適切なサービス提供 DeNA Co.,ltd. ALL rights reserved 127
  • 127. ご清聴ありがとうございました DeNA Co.,ltd. ALL rights reserved 128
  • 128. AGENDA ◆講師紹介 ◆ソーシャルプラットフォーム Mobage ◆データマイニング活用によるサービス洗練 ◆データマイニングの実活用に必要な3つのこと ◆大規模データの展開 ◆大規模分散処理 技術 ◆世界へ DeNA Co.,ltd. ALL rights reserved
  • 129. 関連資料 “Mobageの大規模データマイニング” - PRMU 2011 Big Data and Cloud, 2011/10/6 http://www.slideshare.net/hamadakoichi/mobage-prmu-2011-mahout-hadoop “モバゲーの大規模データマイニング基盤におけるHadoop活用” - Hadoop Conference Japan 2011, 2011/2/22 http://www.slideshare.net/hamadakoichi/hadoop-hadoop-conference-japan-2011-hcj2011 DeNA Co.,ltd. ALL rights reserved 130