SlideShare a Scribd company logo
ソーシャルゲームの
          データ分析環境としてのAWS

                   2013-03-09 JAWS-UG三都物語
              KLab株式会社 開発制作本部 データ分析グループ
                          越智 修司



13年3月10日日曜日
自己紹介
         •越智 修司(神戸市長田区在住)

         •開発制作本部 データ分析グループ所属
              •   Felica/Edy,ガラケサイト,銀行アプリ,きせかえ
              •   アプリ・サービスのプロトタイピング
              •   有名アーティスト・アイドルのファンクラブアプリ開発
              •   最近はデータ解析
              •   python,Rなど

                  @ponpoko1968

13年3月10日日曜日
はじめに


              • この発表は個人の見解であり、所属す
               る組織の公式見解ではありません。




13年3月10日日曜日
作ったもの
                   「クリップリーダー」

                    電子書籍リーダー
          iPad版
         (85円)
                   •   自炊PDFに特化

                   •   evernote連携

         iPhone版   •   段組書籍
         (無料)



                   「勤怠くん」

                   勤怠メールを素早く送信
13年3月10日日曜日
KLabのソーシャルゲーム

              21タイトル
              44サイト
              数千万PV/日/タイトル

13年3月10日日曜日
データ分析グループ


              横断的にデータの面倒を見る技術者集団




13年3月10日日曜日
お知らせ

              ブログ始めました
              http://analysis.blog.jp.klab.com/


              スタッフ募集中!!

13年3月10日日曜日
データ分析グループの
                   提供するサービス
      •       Webサイト

          •    各種データのグラフが閲覧できま
               す


      •       速報メール
          •    前日のkpi速報値がメールで送信
               されます。


      •       データのダウンローダ
              ー
          •    各種データのダウンロード機能


13年3月10日日曜日
システム構成
       コンテンツ側システム                                           分析システム

         Web
        server
                                    S3           Sales
                                                   Log               RDS
                            Log     Log          010010010001

                                     Log         110011001110
                                                    010010010001
                                                 111110111111
                                                    110011001110
                                                 11 111110111111
                                                    11

                            Sales
                                                                      EC2

    MySQL
                 Contents
                  master
                                           EMR




13年3月10日日曜日
使っている要素技術
              • Python
               •   運用に用いる

               •   豊富なライブラリ

               •   可読性・保守性


              •R
               • 探索的な分析
13年3月10日日曜日
工夫していること

              • ログファイルのmsgpack化
               • 一旦msgpack化することで検索・処理
                時間を軽減




                            msgpack web site (msgpack.org) より



13年3月10日日曜日
システム構成
       コンテンツ側システム                                           分析システム

         Web
        server
                                    S3           Sales
                                                   Log               RDS
                            Log     Log          010010010001

                                     Log         110011001110
                                                    010010010001
                                                 111110111111
                                                    110011001110
                                                 11 111110111111
                                                    11

                            Sales
                                                                      EC2

    MySQL
                 Contents
                  master
                                           EMR




13年3月10日日曜日
msgpack(2)

              • EMR(Elastic Map-Reduce)で変換
              • <app>.app.<Y-m-d>_hh.<dd>
              • <dd>=hash(user_id) % 100
                時刻      user_id   URL(path)   GET/POST param




13年3月10日日曜日
使用例:PVベースのヒートマップ

              0
              1
              2
              3
              4
              5



                                                              • 全アクセスから
              6
              7
              8
              9
             10


                                                               1/100をサンプリ
    (0:23)




             11
             12
             13
             14
             15
             16
             17
             18
                                                               ング
             19
             20
             21
             22
             23

                  Mon   Tue   Wed   Thu     Fri   Sat   Sun

                                    (0:7)




13年3月10日日曜日
課題
       • ゲームの高度化・市場の成熟化
        • 競争激化
        • データ分析のニーズが高まる
          • インタラクティブなデータ分析のニーズ
           • さらなる高速処理
          • データ分析用DB Redshiftを検討中
13年3月10日日曜日
ご清聴ありがとうご
                ざいました


13年3月10日日曜日

More Related Content

Viewers also liked

第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
OCHI Shuji
 
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
OCHI Shuji
 
2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料
OCHI Shuji
 
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
 
Torino, 15 Ottobre 2011
Torino, 15 Ottobre 2011Torino, 15 Ottobre 2011
Torino, 15 Ottobre 2011
marcosturlese
 
赛马会官方网址 SlideShare
赛马会官方网址 SlideShare赛马会官方网址 SlideShare
赛马会官方网址 SlideShare
dosroom
 
Clerks notification 2015
Clerks notification 2015Clerks notification 2015
Clerks notification 2015
Raja Kashyap
 

Viewers also liked (11)

第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
 
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
 
2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料
 
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
 
Dlya roditeley
Dlya roditeleyDlya roditeley
Dlya roditeley
 
Torino, 15 Ottobre 2011
Torino, 15 Ottobre 2011Torino, 15 Ottobre 2011
Torino, 15 Ottobre 2011
 
赛马会官方网址 SlideShare
赛马会官方网址 SlideShare赛马会官方网址 SlideShare
赛马会官方网址 SlideShare
 
28935
2893528935
28935
 
Chuck and larry
Chuck and larryChuck and larry
Chuck and larry
 
Clerks notification 2015
Clerks notification 2015Clerks notification 2015
Clerks notification 2015
 
Trade openness and city interaction
Trade openness and city interactionTrade openness and city interaction
Trade openness and city interaction
 

Similar to ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT

ソーシャルゲームのEMR活用事例
ソーシャルゲームのEMR活用事例ソーシャルゲームのEMR活用事例
ソーシャルゲームのEMR活用事例
知教 本間
 
【15-B-1】AmazonのDevOpsを支えるAWSクラウド
【15-B-1】AmazonのDevOpsを支えるAWSクラウド【15-B-1】AmazonのDevOpsを支えるAWSクラウド
【15-B-1】AmazonのDevOpsを支えるAWSクラウドYasuhiro Horiuchi
 
RDB入門 ~アプリケーション開発者が陥りやすいDB開発の落とし穴~
RDB入門 ~アプリケーション開発者が陥りやすいDB開発の落とし穴~RDB入門 ~アプリケーション開発者が陥りやすいDB開発の落とし穴~
RDB入門 ~アプリケーション開発者が陥りやすいDB開発の落とし穴~nisobe58
 
ゲーム開発者からMaaS開発者へ ゲーム開発のノウハウを活かして 移動体情報配信システムを作ってみた [DeNA TechCon 2019]
ゲーム開発者からMaaS開発者へ ゲーム開発のノウハウを活かして 移動体情報配信システムを作ってみた [DeNA TechCon 2019]ゲーム開発者からMaaS開発者へ ゲーム開発のノウハウを活かして 移動体情報配信システムを作ってみた [DeNA TechCon 2019]
ゲーム開発者からMaaS開発者へ ゲーム開発のノウハウを活かして 移動体情報配信システムを作ってみた [DeNA TechCon 2019]
DeNA
 
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜Takahiro Inoue
 
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysData Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
Kenta Suzuki
 
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysData Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysVOYAGE GROUP
 
トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9
Treasure Data, Inc.
 
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語Takashi Someda
 
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigiComplex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigiSATOSHI TAGOMORI
 
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
 
Railsの基礎
Railsの基礎Railsの基礎
Railsの基礎
Junya Ishihara
 
[C14] ソーシャル ゲーム基盤を支える SQL Server by Takashi Inaba
[C14] ソーシャル ゲーム基盤を支える SQL Server by Takashi Inaba[C14] ソーシャル ゲーム基盤を支える SQL Server by Takashi Inaba
[C14] ソーシャル ゲーム基盤を支える SQL Server by Takashi InabaInsight Technology, Inc.
 
Fluxflex meetup 2011 in Tokyo
Fluxflex meetup 2011 in TokyoFluxflex meetup 2011 in Tokyo
Fluxflex meetup 2011 in TokyoKyosuke Inoue
 
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective DatalakeDevelopers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
 
20130719 始めるdev ops
20130719 始めるdev ops20130719 始めるdev ops
20130719 始めるdev opsaktsk
 
JAWS-UG 仙台 2013 Spring 発表資料 「クラウド時代の考え方 - アマゾンクラウドのご紹介 -」
JAWS-UG 仙台 2013 Spring 発表資料 「クラウド時代の考え方  - アマゾンクラウドのご紹介 -」 JAWS-UG 仙台 2013 Spring 発表資料 「クラウド時代の考え方  - アマゾンクラウドのご紹介 -」
JAWS-UG 仙台 2013 Spring 発表資料 「クラウド時代の考え方 - アマゾンクラウドのご紹介 -」 Yasuhiro Horiuchi
 
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
Insight Technology, Inc.
 
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
 

Similar to ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT (20)

ソーシャルゲームのEMR活用事例
ソーシャルゲームのEMR活用事例ソーシャルゲームのEMR活用事例
ソーシャルゲームのEMR活用事例
 
【15-B-1】AmazonのDevOpsを支えるAWSクラウド
【15-B-1】AmazonのDevOpsを支えるAWSクラウド【15-B-1】AmazonのDevOpsを支えるAWSクラウド
【15-B-1】AmazonのDevOpsを支えるAWSクラウド
 
RDB入門 ~アプリケーション開発者が陥りやすいDB開発の落とし穴~
RDB入門 ~アプリケーション開発者が陥りやすいDB開発の落とし穴~RDB入門 ~アプリケーション開発者が陥りやすいDB開発の落とし穴~
RDB入門 ~アプリケーション開発者が陥りやすいDB開発の落とし穴~
 
ゲーム開発者からMaaS開発者へ ゲーム開発のノウハウを活かして 移動体情報配信システムを作ってみた [DeNA TechCon 2019]
ゲーム開発者からMaaS開発者へ ゲーム開発のノウハウを活かして 移動体情報配信システムを作ってみた [DeNA TechCon 2019]ゲーム開発者からMaaS開発者へ ゲーム開発のノウハウを活かして 移動体情報配信システムを作ってみた [DeNA TechCon 2019]
ゲーム開発者からMaaS開発者へ ゲーム開発のノウハウを活かして 移動体情報配信システムを作ってみた [DeNA TechCon 2019]
 
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
 
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysData Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
 
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysData Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
 
トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9
 
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
 
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigiComplex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
 
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
 
Railsの基礎
Railsの基礎Railsの基礎
Railsの基礎
 
[C14] ソーシャル ゲーム基盤を支える SQL Server by Takashi Inaba
[C14] ソーシャル ゲーム基盤を支える SQL Server by Takashi Inaba[C14] ソーシャル ゲーム基盤を支える SQL Server by Takashi Inaba
[C14] ソーシャル ゲーム基盤を支える SQL Server by Takashi Inaba
 
Fluxflex meetup 2011 in Tokyo
Fluxflex meetup 2011 in TokyoFluxflex meetup 2011 in Tokyo
Fluxflex meetup 2011 in Tokyo
 
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective DatalakeDevelopers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
 
20130719 始めるdev ops
20130719 始めるdev ops20130719 始めるdev ops
20130719 始めるdev ops
 
JAWS-UG 仙台 2013 Spring 発表資料 「クラウド時代の考え方 - アマゾンクラウドのご紹介 -」
JAWS-UG 仙台 2013 Spring 発表資料 「クラウド時代の考え方  - アマゾンクラウドのご紹介 -」 JAWS-UG 仙台 2013 Spring 発表資料 「クラウド時代の考え方  - アマゾンクラウドのご紹介 -」
JAWS-UG 仙台 2013 Spring 発表資料 「クラウド時代の考え方 - アマゾンクラウドのご紹介 -」
 
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
 
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
 
So net
So netSo net
So net
 

Recently uploaded

【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
harmonylab
 
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance
 
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
Fukuoka Institute of Technology
 
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
Matsushita Laboratory
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
 
CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料
Yuuitirou528 default
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
iPride Co., Ltd.
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
atsushi061452
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
Sony - Neural Network Libraries
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
yassun7010
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance
 
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
Toru Tamaki
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
NTT DATA Technology & Innovation
 
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance
 

Recently uploaded (16)

【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
 
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
 
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
 
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 
CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
 
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
 
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
 

ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT

  • 1. ソーシャルゲームの データ分析環境としてのAWS 2013-03-09 JAWS-UG三都物語 KLab株式会社 開発制作本部 データ分析グループ 越智 修司 13年3月10日日曜日
  • 2. 自己紹介 •越智 修司(神戸市長田区在住) •開発制作本部 データ分析グループ所属 • Felica/Edy,ガラケサイト,銀行アプリ,きせかえ • アプリ・サービスのプロトタイピング • 有名アーティスト・アイドルのファンクラブアプリ開発 • 最近はデータ解析 • python,Rなど @ponpoko1968 13年3月10日日曜日
  • 3. はじめに • この発表は個人の見解であり、所属す る組織の公式見解ではありません。 13年3月10日日曜日
  • 4. 作ったもの 「クリップリーダー」  電子書籍リーダー iPad版 (85円) • 自炊PDFに特化 • evernote連携 iPhone版 • 段組書籍 (無料) 「勤怠くん」 勤怠メールを素早く送信 13年3月10日日曜日
  • 5. KLabのソーシャルゲーム 21タイトル 44サイト 数千万PV/日/タイトル 13年3月10日日曜日
  • 6. データ分析グループ 横断的にデータの面倒を見る技術者集団 13年3月10日日曜日
  • 7. お知らせ ブログ始めました http://analysis.blog.jp.klab.com/ スタッフ募集中!! 13年3月10日日曜日
  • 8. データ分析グループの 提供するサービス • Webサイト • 各種データのグラフが閲覧できま す • 速報メール • 前日のkpi速報値がメールで送信 されます。 • データのダウンローダ ー • 各種データのダウンロード機能 13年3月10日日曜日
  • 9. システム構成 コンテンツ側システム 分析システム Web server S3 Sales Log RDS Log Log 010010010001 Log 110011001110 010010010001 111110111111 110011001110 11 111110111111 11 Sales EC2 MySQL Contents master EMR 13年3月10日日曜日
  • 10. 使っている要素技術 • Python • 運用に用いる • 豊富なライブラリ • 可読性・保守性 •R • 探索的な分析 13年3月10日日曜日
  • 11. 工夫していること • ログファイルのmsgpack化 • 一旦msgpack化することで検索・処理 時間を軽減 msgpack web site (msgpack.org) より 13年3月10日日曜日
  • 12. システム構成 コンテンツ側システム 分析システム Web server S3 Sales Log RDS Log Log 010010010001 Log 110011001110 010010010001 111110111111 110011001110 11 111110111111 11 Sales EC2 MySQL Contents master EMR 13年3月10日日曜日
  • 13. msgpack(2) • EMR(Elastic Map-Reduce)で変換 • <app>.app.<Y-m-d>_hh.<dd> • <dd>=hash(user_id) % 100 時刻 user_id URL(path) GET/POST param 13年3月10日日曜日
  • 14. 使用例:PVベースのヒートマップ 0 1 2 3 4 5 • 全アクセスから 6 7 8 9 10 1/100をサンプリ (0:23) 11 12 13 14 15 16 17 18 ング 19 20 21 22 23 Mon Tue Wed Thu Fri Sat Sun (0:7) 13年3月10日日曜日
  • 15. 課題 • ゲームの高度化・市場の成熟化 • 競争激化 • データ分析のニーズが高まる • インタラクティブなデータ分析のニーズ • さらなる高速処理 • データ分析用DB Redshiftを検討中 13年3月10日日曜日
  • 16. ご清聴ありがとうご ざいました 13年3月10日日曜日