Mobageのhadoop活用環境と適用方法

2,786 views

Published on

Published in: Technology
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,786
On SlideShare
0
From Embeds
0
Number of Embeds
174
Actions
Shares
0
Downloads
0
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

Mobageのhadoop活用環境と適用方法

  1. 1. MobageのHadoop活用環境と適用方法<br />株式会社ディー・エヌ・エー <br />宵勇樹<br />
  2. 2. 自己紹介: 宵勇樹<br />2006年4月 大手家電メーカ入社<br />内製ソフトウェアの開発支援部署<br />GUIテスト自動化ツール、工程管理ツールの設計部署への展開・利用促進<br />2011年6月 DeNA入社<br />データマイニング部配属<br />大規模データ収集基盤を利用した集計・抽出・分析<br />同基盤の一般部署への展開・利用促進<br />今日の発表内容<br />
  3. 3. 関連発表<br />『モバゲーの大規模データマイニング基盤におけるHadoop活用』-Hadoop Conference Japan 2011<br />Mobageの大規模分析基盤とその活用 – CEDEC 2011<br />
  4. 4. Agenda<br />Mobageとソーシャルゲーム<br />MobageとHadoop分析基盤利用時の問題<br />Hadoop分析利用環境:Hue<br />まとめ<br />
  5. 5. Mobage(モバゲータウン)<br />モバゲータウン<br />モバイルソーシャルプラットフォーム<br />【SNS機能】<br />【ゲーム】<br />【情報配信機能】<br />【作品投稿】<br />実用性の高い情報を配信<br />ニュース、天気予報、乗り換え案内など<br />小説、音楽、動画などの<br />作品の創作・投稿コーナー<br />5<br />
  6. 6. Mobageの大規模分析基盤<br />KPI Inspection<br />KPI Views<br />Business<br />Planning<br />Hadoop DFS<br />データマイニング・機械学習の活用により<br />迅速なサービス洗練を実現<br />Data-mining<br />Machine-Leaning<br />Results<br />Data Mining Infrastructure<br />DeNA Data Mining Libraries<br />Data Mining/Machine Learning<br />R<br />Mahout<br />MapReduce<br />Perl<br />…<br />Morphological Analysis<br />DeNA Social MA<br />Java<br />Pre-processing/Indexing<br />Data Schema<br />Pig<br />Lucene<br />Zebra<br />Service<br />Log API<br />Service<br />Log API<br />Log API<br />Service<br />Unified Description of<br />Action/Status Log<br />…<br />…<br />
  7. 7. Mobageの大規模分析の課題<br />分析ニーズの増大<br />短期間での回答を要する作業の増加<br />データマイニングエンジニアだけでは量的に人手不足<br />業務特化の内容だと業務を覚える必要も<br />内容によってはクエリを若干変えるだけで可<br />データマイニングエンジニア以外も<br />Pig, Hive等で大規模分析を可能に<br />
  8. 8. ツール・セキュリティ面の課題<br />担当毎にツールを入れるとJavaのバージョン等を合わせるのに苦労<br />人によって見たいところ、見ていいところが異なる<br />例:担当ゲームの売上は見せたいが他のゲームの売上は見せたくない<br />多くの社員のアクセス制御:手間がかかる<br />怪盗のデータ<br />ガンダムのデータ<br />Aさん<br />怪盗ロワイヤル担当<br />Bさん<br />ガンダムロワイヤル担当<br />
  9. 9. Hue<br />HadoopのWebGUIツール Cloudera->Github<br />Hive,Pigの実行、結果ファイルのUp/Down、Hadoopジョブの閲覧、ユーザの作成が可能(一部要プラグイン)<br />DeNAではLDAPにてアカウント管理<br />独自実装<br />所属部署とは別にロールでも権限を管理<br />->Hive, Pigをアクセス権限付きで実行可能<br />
  10. 10. Hueを使った利用想定図<br />見える化<br />BI<br />Tool<br />閲覧者<br />Data Mining<br />Infra-structure<br />エンジニア<br />Pig, Hive直接実行<br />Pig, Hive<br />Hue<br />認証<br />Pig, Hive<br />分析者<br />
  11. 11. 課題<br />機能追加:Hue用プラグインを作るのが面倒<br />理解するのにPython(Django), js, Jframeの知識が必要<br />Pigのユーザを作る場合、サーバ上のシェルが実行できる必要あり<br />Hiveのグループ管理:namenodeを再起動する必要がある<br />LDAPで対応<br />
  12. 12. まとめ<br />大規模分析基盤をエンジニアだけでなく誰でも使えるように運用<br />Hue+LDAPを使って誰でも認証つきでPig/Hiveを使えるように<br />Hadoop自体も重要だがHadoopの使い方も重要<br />
  13. 13. 終わりに<br />DeNAでは大規模分析基盤を使ってサービスを実現したい仲間を募集しています<br />大規模分析処理<br />統計解析/データマイニング/機械学習/自然言語処理<br />連絡先:yoi.yuki@dena.jp<br />

×