ソーシャルアプリを分析してみた

13,920 views

Published on

0 Comments
37 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
13,920
On SlideShare
0
From Embeds
0
Number of Embeds
1,630
Actions
Shares
0
Downloads
63
Comments
0
Likes
37
Embeds 0
No embeds

No notes for slide

ソーシャルアプリを分析してみた

  1. 1. ソーシャルアプリを分析してみた ゆとりデータマイニング ~声優と結婚したい~Copyright Drecom Co., Ltd All Rights Reserved.
  2. 2. 自己紹介 名前 選手 肩書き データアナリスト (社内一人目) 目標 声優と結婚するCopyright Drecom Co., Ltd All Rights Reserved.
  3. 3. 自己紹介 やってること ソーシャルゲームのデータ分析 Raid, Battle等のバランス カードパラメータの最適化 参加率、課金率Copyright Drecom Co., Ltd All Rights Reserved.
  4. 4. 自己紹介 学生 C, Perl, Delphi, Java 前職 社内コミュニケーションツールの自社開発 Windows Server(2000, 2003) JRun + SQL Server WebSphere + DB2Copyright Drecom Co., Ltd All Rights Reserved.
  5. 5. 自己紹介 ドリコム(B2B→B2C→・・・) B2Bブログ Debian, Apache, Tomcat, PostgreSQL Struts, Hibernate B2Cブログ ほとんど一緒 違うのはアクセスログの流れる量Copyright Drecom Co., Ltd All Rights Reserved.
  6. 6. 自己紹介 ドリコム(・・・→インフラ→・・・) インフラ ソーシャルゲームのインフラ環境構築 リワード広告サービスの環境構築 EC2 2週間後リリース MySQL Partitioning 億単位レコード Android ?Copyright Drecom Co., Ltd All Rights Reserved.
  7. 7. 自己紹介 ドリコム(・・・→データ分析) Hadoop, MySQL, MongoDB R, Knime データマイニング、統計関数 Ruby, SQL データ抽出、加工、シミュレータCopyright Drecom Co., Ltd All Rights Reserved.
  8. 8. データ分析 クラスタリングCopyright Drecom Co., Ltd All Rights Reserved.
  9. 9. データ分析 主成分分析Copyright Drecom Co., Ltd All Rights Reserved.
  10. 10. データ分析 一方、立ち上げ時は・・・Copyright Drecom Co., Ltd All Rights Reserved.
  11. 11. データ分析 データはどこに・・・?Copyright Drecom Co., Ltd All Rights Reserved.
  12. 12. データ分析 社内Wiki, エンジニアの声, 噂・・・ 「Hadoopにあるよ」Copyright Drecom Co., Ltd All Rights Reserved.
  13. 13. データ分析 Hadoopから開発用サーバにデータ 持ってきて解析 →Hadoop糞重い →HDD糞重いCopyright Drecom Co., Ltd All Rights Reserved.
  14. 14. データ分析 元インフラ部の特権を利用し Intel SSDを取り付け専用サーバを 構築 →解析速度2~5倍!Copyright Drecom Co., Ltd All Rights Reserved.
  15. 15. データ分析 Hadoopのデータでは物足りない アプリデータのバックアップをリスト アして詳細な行動分析 →リストア糞時間かかる →SQLも数十分から数時間レベルCopyright Drecom Co., Ltd All Rights Reserved.
  16. 16. データ分析 インフラ部の戦友 「本番用の待機サーバ使わない?」Copyright Drecom Co., Ltd All Rights Reserved.
  17. 17. データ分析 http://www.fusionio.jp/images /press-releases/fusion-io- drecom.pdfCopyright Drecom Co., Ltd All Rights Reserved.
  18. 18. データ分析 解析にFusion-IO・・・ →ゆとり贅沢wwwwCopyright Drecom Co., Ltd All Rights Reserved.
  19. 19. データ分析 CPU Coreの数だけのクエリを同時 に実行しても速度がほとんど落ちな い →解析速度10~xx倍 →思考速度が追いつかないCopyright Drecom Co., Ltd All Rights Reserved.
  20. 20. データ分析 リアルタイムなデータもほしい・・・ →本番Slaveに直SQL →社内で一番スロークエリを発行し てます!Copyright Drecom Co., Ltd All Rights Reserved.
  21. 21. データ分析 インフラ部元上司 「専用サーバいらない?」 →専用の大容量Fusion-IO!! →MongoDBいれたり、24時間シ ミュレータ動かしたりCopyright Drecom Co., Ltd All Rights Reserved.
  22. 22. データ分析 現在は人も増えて データは整備されつつあるCopyright Drecom Co., Ltd All Rights Reserved.
  23. 23. Rails? どこでRails?Copyright Drecom Co., Ltd All Rights Reserved.
  24. 24. Rails? 分析・シミュレーション結果等を突っ 込んでるMongoDBのViewerをつ くってみたCopyright Drecom Co., Ltd All Rights Reserved.
  25. 25. Rails? Ruby 1.9.3 Rails 3.2.3 Mongoid 2.4.10 k_means 0.0.7Copyright Drecom Co., Ltd All Rights Reserved.
  26. 26. Rails? Scaffold後に簡単なMapReduce 書いて集計しただけCopyright Drecom Co., Ltd All Rights Reserved.
  27. 27. Rails?Copyright Drecom Co., Ltd All Rights Reserved.
  28. 28. Rails? 分析者っぽくおまけで k-means法でクラスタリングCopyright Drecom Co., Ltd All Rights Reserved.
  29. 29. Rails?Copyright Drecom Co., Ltd All Rights Reserved.
  30. 30. Rails?Copyright Drecom Co., Ltd All Rights Reserved.
  31. 31. Rails? Railsにかすりたかっただけなんです ごめんなさい!Copyright Drecom Co., Ltd All Rights Reserved.
  32. 32. Copyright Drecom Co., Ltd All Rights Reserved.

×