インタースペース ビッグデータ

1. 本日のアジェンダ
Web広告のビッグデータを支える
インフラとデータ分析システム開発事例
2016/02/25

2. 本日のアジェンダ
1. インタースペースのご紹介
2. ビッグデータ(広告配信ログ)の管理
3. ビッグデータ集計システム開発事例
4. 開発チーム体制
5. 今後のサービス展開イメージ

3. 本日のアジェンダ
1. インタースペースのご紹介
2. ビッグデータ(広告配信ログ)の管理
3. ビッグデータ集計システム開発事例
4. 開発チーム体制
5. 今後のサービス展開イメージ

4. 本日のアジェンダ
誰？

5. 自己紹介
* 清水 伸泰
* 株式会社インタースペース
* 客先常駐SierとしてC／C++／Javaで開発５年
某百貨店に転職、システム運用と外注管理３年
* Web業界に憧れてインタースペースへ
開発の全行程ができることに没頭して７年
* 現在は、広告プラットフォーム上に乗る
新プロダクトの開発PMをしています。

6. 本日のアジェンダ
一体何の会社？

7. 1. INTERSPACEのご紹介
会社名 株式会社インタースペース（Interspace.,Co.Ltd.）
本社所在地 東京都新宿区西新宿2-4-1 新宿ＮＳビル8階
代表者 代表取締役社長 河端 伸一郎
設立 1999（平成11）年11月8日
従業員数 325名（単体）359名（連結） ※2015年9月末現在
事業内容 ・インターネット広告事業
・メディア事業
上場市場 東京証券取引所 マザーズ市場 証券コード2122

8. 1. INTERSPACEのご紹介
アクセストレード
広告主数 ：約6,000件
メディア数：約370,000件
月間広告ｲﾝﾌﾟﾚｯｼｮﾝ数：約50億
月間広告クリック数 ：約3500万
メイン事業（アクセストレード）
マーチャント（広告主）様やパートナー（メディア）様が
作業を行う管理画面、また社内向け運用ツールへの新機能
の追加や付随する新サービスの開発・改修を行っています。

9. 1. INTERSPACEのご紹介
WEBサービス i・リワード
ACCSESSTRADE
Ad network
SFA
iSEO
メイン事業となるアフィリエイトサービスの他、各種
メディア向けサービスの開発・改修を行っています。
and more..

10. 本日のアジェンダ
■今日のお題
レガシーシステムからの脱却

11. 上からの圧力、下からのボトムアップ

12. 本日のアジェンダ
■疑問
どうしたら脱却できるか

13. 本日のアジェンダ
■解決案
他社の事例を参考にする

14. 本日のアジェンダ
事例を参考に、手を付けられる
ところから始めていく
例えば、
ネットマーケティング様
フル・クラウド化

15. 例えば、
ファンコミュニケーションズ様
ハイブリッド・クラウド
本日のアジェンダ
事例を参考に、手を付けられる
ところから始めていく

16. 本日のアジェンダ
例えば、
インタースペース
未経験の技術や開発手法を
取り入れる
事例を参考に、手を付けられる
ところから始めていく

17. 本日のアジェンダ
1. インタースペースのご紹介
2. ビッグデータ(広告配信ログ)の管理
3. ビッグデータ集計システム開発事例
4. 開発チーム体制
5. 今後のサービス展開イメージ

18. Affiliateの仕組み

19. Affiliateの仕組み
About 5 billion
lines / month

20. ログの例
各種サービスのアクセスログ
広告配信ログ
インプレッション
クリック
コンバージョンログ
その他計測ログ
など

21. ログ管理の背景と課題
• 外部環境の変化
（様々なデバイスやサービスの登場）
• アクセストレードで日々発生する膨大な
ログデータを一元管理したい
• 様々な種類のデータを様々な角度から分
析したい

22. • ログを集めてくるのが大変
（様々な箇所に散らばるログ，
転送におけるネットワーク負荷など）
• ログの保存はどうするか
• 集計クエリに時間がかかる
RDB
SCP
Batch
Server
Server
SCP
時間がかかる
ログ管理の背景と課題

23. ログの集計単位の例
• 時間別
日／時間／分
• デバイス別
PC／フィーチャーフォン／SP／タブレット
• キャリア別
• UA別
• キャンペーン／広告別
• カテゴリー別
• 経路別
• 任意のセグメント

24. 様々な種類のデータを
様々な角度から見たい

25. が、データ量も増大し，
従来の方法では時間／負荷など
の面から見直しが必要

26. Hadoopの導入

27. Our System Summary
AppServer
AppServer
Fluentd
Web + Application Servers
Fluentd
Fluentd Aggregators
Hadoop
Hadoop Cluster（CDH）
NameNode HA
JobTracker HA
Hive, Impala, Sqoop
Hue
Databases
Oracle or MySQL
Our own applications
with WebHDFS
with Sqoop
RDBMS
RDBMS
BI
AppServer
Tools
Batch
Cassandra
Redis
RDBMS
MQ

28. 活用例１
ラストクリックスコア
アトリビューションスコア
Sample
N1
N2
N3
N4
N9N8
N7
N6
N5
CV
2
CV
1
• アトリビューション分析
コンバージョンパス、ノード評価など

29. • 任意のセグメントによる集計
複数条件を組み合わせてセグメント作成
活用例２
カテゴリーA
XX
インプレッション
XX
クリック
XX
コンバージョン
condition: 1 condition: 2 condition: 3 condition: 4
Segment: 1
AND OR AND
Sample

30. 活用例３
• サービスにおける各種KPIの集計／可視化
• アドホックな集計

31. 本日のアジェンダ
1. インタースペースのご紹介
2. ビッグデータ(広告配信ログ)の管理
3. ビッグデータ集計システム開発事例
4. 開発チーム体制
5. 今後のサービス展開イメージ

32. 開発事例
開発内容
広告関連データをセグメント化する
ためのマスタ登録機能、データを集
計するレポート表示機能等を持った
管理画面を開発する

33. AppServer
AppServer
Fluentd
Our System Summary
Web + Application Servers
Fluentd
Fluentd Aggregators
Hadoop
Hadoop Cluster（CDH）
NameNode HA
JobTracker HA
Hive, Impala, Sqoop
Hue
Databases
Oracle or MySQL
Our own applications
with WebHDFS
with Sqoop
RDBMS
RDBMS
BI
AppServer
Tools
Batch
Cassandra
Redis
RDBMS
MQ

34. 開発事例
開発体制
人員：3名
期間：約3カ月
規模：約30画面
言語：Scala/Play

35. 開発事例
なぜScala&Playを選んだのか

36. 開発事例
• 構築がかんたん(内蔵webサーバ、インメ
モリDB利用可)
• シンプルで軽量(リソース消費が最小限)
• Scalaのwebフレームワークとしては一
番メジャー
• 現行システムで使用しているJava以外に
も、Scalaという技術的資産を残したかっ
た

37. 開発事例
やってみて浮かび上がる問題点

38. 開発事例
• Scala関数型プログラミングに難航
• Playの効果的な使い方がわからない
（どういう構築＆開発方法がマッチベター
なのか）
ScalaとPlayへの挑戦は初の試みだった為、
いくつか問題点が浮かび上がる

39. 開発事例
解決策を模索

40. 開発事例
どういう構築＆開発方法がベターなのか？
• とにかく公式ドキュメントを読み込む
→まずはドキュメントが推奨している手法
をベースにする
• 勉強会やセミナーに参加
→他社事例を参考にし、別のアプローチが
ないか検討

41. 開発事例
さらなる解決策を模索

42. 開発事例
Scalaに精通したエンジニアにリモートで
参画して頂き、ソースレビューやQ&Aなど
技術支援を頂きながら開発＆構築を行った
→独学でやることも大事だが、やはり有識者
は必要
特にライブラリ周りなどの助言は非常に助
かった

43. 本日のアジェンダ
1. インタースペースのご紹介
2. ビッグデータ(広告配信ログ)の管理
3. ビッグデータ集計システム開発事例
4. 開発チーム体制
5. 今後のサービス展開イメージ

44. 開発チーム体制
プロジェクトによっては、グループをまたいでメンバーを
構成し、開発チームを立ち上げます。
システム企画開発部
PCシステム開発グループ
モバイルシステム開発グループ
システムラボラトリー
システムインフラ
アクセストレードに関わるサービスやその他新規サービスの開発・運用を行います。
ストアフロントアフィリエイトやSDKなどモバイル向けサービスの開発・運用を行います。
新技術やミドルウェアの研究・開発・導入検討などの技術調査を行います。
データマイニング
プロダクトマネジメント
BPM
広告アクセスに関わるログデータの収集・分析を行い、統計調査を行います。
広告技術に関わる新規プロダクトの開発・管理やビジネスサポートを行います。
社内業務の自動化や運用の負荷軽減を目的にサービスの改善を行います。
サービスに関わるインフラの構築・運用管理を行います。

45. 本日のアジェンダ
1. インタースペースのご紹介
2. ビッグデータ(広告配信ログ)の管理
3. ビッグデータ集計システム開発事例
4. 開発チーム体制
5. 今後のサービス展開イメージ

46. 今後のサービス展開イメージ
今後はさらにプラットフォームを展開し、市場をリードし
ていくサービス開発に取り組みます。
管理
画面
SFA
Web
Service
iReward
Ad
Network
SEO
AccessTrade Ad Platform
管理
画面
SFA
Web
Service
iReward
Ad
Network
SEO
AccessTrade Ad Platform
Other Platform
(WIP)
Service
(WIP)
Service
(WIP)
and more...
AccessTrade広告プラットフォームを基盤とした様々な新
サービスの開発に取り組み、広告事業をサポートしていま
す。

47. 本日のアジェンダ
つまり、

48. 本日のアジェンダ
人が足りない

49. 人材急募
WANTED！
エンジニア絶賛募集中です！
【開発環境（一部）】
Java(Struts/Spring/Seasar2）
Scala(Playframework)
Perl/PHP/Objective-C
Stash(Gitベース)
【コラボレーションツール】
Confluence/JIRA

50. 何となく雰囲気が伝わるかもしれない記事

51. おまけ（研修制度とか）
・トーマツイノベーションに加入
ビジネススキルUP講座を無料受講
・マナビトオンラインに加入
デジタルマーケティング講座を
オンラインで無料受講
・社内図書館制度
月2冊本の購入リクエストを受付
・社外セミナー、カンファレンスへの参加推奨
業務時間中でもカンファレンスの参加が可能（上長の許可必須）
・社内勉強会の随時開催（LT大会、夜活勉強会等）
今後も社員のアイディアを参考に色々と行っていきます

52. おまけ（福利厚生とか）
・社内無料マッサージサービス「成田庵」
月2回、業務中に受けられるマッサージ。
社員にも大好評です。
・社員表彰制度
・部活支援制度 ・社員交流イベント

53. だから釣れて助けてくれ！
福利厚生

54. ご清聴ありがとうございました！