Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Mobageのhadoop活用環境と適用方法

2,926 views

Published on

Published in: Technology

Mobageのhadoop活用環境と適用方法

  1. 1. MobageのHadoop活用環境と適用方法<br />株式会社ディー・エヌ・エー <br />宵勇樹<br />
  2. 2. 自己紹介: 宵勇樹<br />2006年4月 大手家電メーカ入社<br />内製ソフトウェアの開発支援部署<br />GUIテスト自動化ツール、工程管理ツールの設計部署への展開・利用促進<br />2011年6月 DeNA入社<br />データマイニング部配属<br />大規模データ収集基盤を利用した集計・抽出・分析<br />同基盤の一般部署への展開・利用促進<br />今日の発表内容<br />
  3. 3. 関連発表<br />『モバゲーの大規模データマイニング基盤におけるHadoop活用』-Hadoop Conference Japan 2011<br />Mobageの大規模分析基盤とその活用 – CEDEC 2011<br />
  4. 4. Agenda<br />Mobageとソーシャルゲーム<br />MobageとHadoop分析基盤利用時の問題<br />Hadoop分析利用環境:Hue<br />まとめ<br />
  5. 5. Mobage(モバゲータウン)<br />モバゲータウン<br />モバイルソーシャルプラットフォーム<br />【SNS機能】<br />【ゲーム】<br />【情報配信機能】<br />【作品投稿】<br />実用性の高い情報を配信<br />ニュース、天気予報、乗り換え案内など<br />小説、音楽、動画などの<br />作品の創作・投稿コーナー<br />5<br />
  6. 6. Mobageの大規模分析基盤<br />KPI Inspection<br />KPI Views<br />Business<br />Planning<br />Hadoop DFS<br />データマイニング・機械学習の活用により<br />迅速なサービス洗練を実現<br />Data-mining<br />Machine-Leaning<br />Results<br />Data Mining Infrastructure<br />DeNA Data Mining Libraries<br />Data Mining/Machine Learning<br />R<br />Mahout<br />MapReduce<br />Perl<br />…<br />Morphological Analysis<br />DeNA Social MA<br />Java<br />Pre-processing/Indexing<br />Data Schema<br />Pig<br />Lucene<br />Zebra<br />Service<br />Log API<br />Service<br />Log API<br />Log API<br />Service<br />Unified Description of<br />Action/Status Log<br />…<br />…<br />
  7. 7. Mobageの大規模分析の課題<br />分析ニーズの増大<br />短期間での回答を要する作業の増加<br />データマイニングエンジニアだけでは量的に人手不足<br />業務特化の内容だと業務を覚える必要も<br />内容によってはクエリを若干変えるだけで可<br />データマイニングエンジニア以外も<br />Pig, Hive等で大規模分析を可能に<br />
  8. 8. ツール・セキュリティ面の課題<br />担当毎にツールを入れるとJavaのバージョン等を合わせるのに苦労<br />人によって見たいところ、見ていいところが異なる<br />例:担当ゲームの売上は見せたいが他のゲームの売上は見せたくない<br />多くの社員のアクセス制御:手間がかかる<br />怪盗のデータ<br />ガンダムのデータ<br />Aさん<br />怪盗ロワイヤル担当<br />Bさん<br />ガンダムロワイヤル担当<br />
  9. 9. Hue<br />HadoopのWebGUIツール Cloudera->Github<br />Hive,Pigの実行、結果ファイルのUp/Down、Hadoopジョブの閲覧、ユーザの作成が可能(一部要プラグイン)<br />DeNAではLDAPにてアカウント管理<br />独自実装<br />所属部署とは別にロールでも権限を管理<br />->Hive, Pigをアクセス権限付きで実行可能<br />
  10. 10. Hueを使った利用想定図<br />見える化<br />BI<br />Tool<br />閲覧者<br />Data Mining<br />Infra-structure<br />エンジニア<br />Pig, Hive直接実行<br />Pig, Hive<br />Hue<br />認証<br />Pig, Hive<br />分析者<br />
  11. 11. 課題<br />機能追加:Hue用プラグインを作るのが面倒<br />理解するのにPython(Django), js, Jframeの知識が必要<br />Pigのユーザを作る場合、サーバ上のシェルが実行できる必要あり<br />Hiveのグループ管理:namenodeを再起動する必要がある<br />LDAPで対応<br />
  12. 12. まとめ<br />大規模分析基盤をエンジニアだけでなく誰でも使えるように運用<br />Hue+LDAPを使って誰でも認証つきでPig/Hiveを使えるように<br />Hadoop自体も重要だがHadoopの使い方も重要<br />
  13. 13. 終わりに<br />DeNAでは大規模分析基盤を使ってサービスを実現したい仲間を募集しています<br />大規模分析処理<br />統計解析/データマイニング/機械学習/自然言語処理<br />連絡先:yoi.yuki@dena.jp<br />

×