More Related Content
Similar to ソーシャルアプリを分析してみた
Similar to ソーシャルアプリを分析してみた (20)
More from Drecom Co., Ltd.
More from Drecom Co., Ltd. (14)
ソーシャルアプリを分析してみた
- 1. ソーシャルアプリを分析してみた
ゆとりデータマイニング ~声優と結婚したい~
Copyright Drecom Co., Ltd All Rights Reserved.
- 2. 自己紹介
名前
選手
肩書き
データアナリスト (社内一人目)
目標
声優と結婚する
Copyright Drecom Co., Ltd All Rights Reserved.
- 3. 自己紹介
やってること
ソーシャルゲームのデータ分析
Raid, Battle等のバランス
カードパラメータの最適化
参加率、課金率
Copyright Drecom Co., Ltd All Rights Reserved.
- 4. 自己紹介
学生
C, Perl, Delphi, Java
前職
社内コミュニケーションツールの自社開発
Windows Server(2000, 2003)
JRun + SQL Server
WebSphere + DB2
Copyright Drecom Co., Ltd All Rights Reserved.
- 5. 自己紹介
ドリコム(B2B→B2C→・・・)
B2Bブログ
Debian, Apache, Tomcat, PostgreSQL
Struts, Hibernate
B2Cブログ
ほとんど一緒
違うのはアクセスログの流れる量
Copyright Drecom Co., Ltd All Rights Reserved.
- 6. 自己紹介
ドリコム(・・・→インフラ→・・・)
インフラ
ソーシャルゲームのインフラ環境構築
リワード広告サービスの環境構築
EC2
2週間後リリース
MySQL Partitioning
億単位レコード
Android
?
Copyright Drecom Co., Ltd All Rights Reserved.
- 7. 自己紹介
ドリコム(・・・→データ分析)
Hadoop, MySQL, MongoDB
R, Knime
データマイニング、統計関数
Ruby, SQL
データ抽出、加工、シミュレータ
Copyright Drecom Co., Ltd All Rights Reserved.
- 8. データ分析
クラスタリング
Copyright Drecom Co., Ltd All Rights Reserved.
- 9. データ分析
主成分分析
Copyright Drecom Co., Ltd All Rights Reserved.
- 10. データ分析
一方、立ち上げ時は・・・
Copyright Drecom Co., Ltd All Rights Reserved.
- 11. データ分析
データはどこに・・・?
Copyright Drecom Co., Ltd All Rights Reserved.
- 12. データ分析
社内Wiki, エンジニアの声, 噂・・・
「Hadoopにあるよ」
Copyright Drecom Co., Ltd All Rights Reserved.
- 13. データ分析
Hadoopから開発用サーバにデータ
持ってきて解析
→Hadoop糞重い
→HDD糞重い
Copyright Drecom Co., Ltd All Rights Reserved.
- 14. データ分析
元インフラ部の特権を利用し
Intel SSDを取り付け専用サーバを
構築
→解析速度2~5倍!
Copyright Drecom Co., Ltd All Rights Reserved.
- 15. データ分析
Hadoopのデータでは物足りない
アプリデータのバックアップをリスト
アして詳細な行動分析
→リストア糞時間かかる
→SQLも数十分から数時間レベル
Copyright Drecom Co., Ltd All Rights Reserved.
- 16. データ分析
インフラ部の戦友
「本番用の待機サーバ使わない?」
Copyright Drecom Co., Ltd All Rights Reserved.
- 17. データ分析
http://www.fusionio.jp/images
/press-releases/fusion-io-
drecom.pdf
Copyright Drecom Co., Ltd All Rights Reserved.
- 18. データ分析
解析にFusion-IO・・・
→ゆとり贅沢wwww
Copyright Drecom Co., Ltd All Rights Reserved.
- 19. データ分析
CPU Coreの数だけのクエリを同時
に実行しても速度がほとんど落ちな
い
→解析速度10~xx倍
→思考速度が追いつかない
Copyright Drecom Co., Ltd All Rights Reserved.
- 20. データ分析
リアルタイムなデータもほしい・・・
→本番Slaveに直SQL
→社内で一番スロークエリを発行し
てます!
Copyright Drecom Co., Ltd All Rights Reserved.
- 21. データ分析
インフラ部元上司
「専用サーバいらない?」
→専用の大容量Fusion-IO!!
→MongoDBいれたり、24時間シ
ミュレータ動かしたり
Copyright Drecom Co., Ltd All Rights Reserved.
- 22. データ分析
現在は人も増えて
データは整備されつつある
Copyright Drecom Co., Ltd All Rights Reserved.
- 23. Rails?
どこでRails?
Copyright Drecom Co., Ltd All Rights Reserved.
- 24. Rails?
分析・シミュレーション結果等を突っ
込んでるMongoDBのViewerをつ
くってみた
Copyright Drecom Co., Ltd All Rights Reserved.
- 25. Rails?
Ruby 1.9.3
Rails 3.2.3
Mongoid 2.4.10
k_means 0.0.7
Copyright Drecom Co., Ltd All Rights Reserved.
- 26. Rails?
Scaffold後に簡単なMapReduce
書いて集計しただけ
Copyright Drecom Co., Ltd All Rights Reserved.
- 28. Rails?
分析者っぽくおまけで
k-means法でクラスタリング
Copyright Drecom Co., Ltd All Rights Reserved.
- 31. Rails?
Railsにかすりたかっただけなんです
ごめんなさい!
Copyright Drecom Co., Ltd All Rights Reserved.