Developers Summit 2015（デブサミ2015） 佐藤由紀 発表資料。 ******************************************************************************************* 2015年注目のワードと言われている「データレイク」。 「ビッグデータ」よりも想像力を掻き立てる良いワードだなぁと個人的に感じています。 100億件/日ものデータを毎日新たに蓄積し、そのデータを広告配信ロボットに活かし続けているマイクロアド。 これまでマイクロアドがどのようにデータを活用して広告配信を展開してきたか、そして、これから目指す世界のために構築を進めているマイクロアドなりの「データレイク」とはどのようなものか、ゆかりのある琵琶湖のことを織り交ぜつつお話いたします。

1. 琵琶湖を中心とした世界
のようなお話
株式会社マイクロアド 佐藤由紀
1

2. 佐藤 由紀 sato yuki
株式会社マイクロアド
システム開発部長
“琵琶湖”の畔に6年間おりました
やっぱり職人気質のエンジニアが好き
実は宇宙にはあまり興味がない
2

3. 社名 株式会社マイクロアド MicroAd, Inc.
設立 2007年7月2日
国内拠点 東京、大阪、名古屋、福岡、京都
関連会社 株式会社マイクロアドプラス
株式会社マイクロアドデジタルサイネージ
株式会社ニューステクノロジー
株式会社エンハンス
株式会社マイクロアド・インバウンド・マーケティング
事業内容 広告プラットフォーム事業
会社概要
3

4. 海外拠点
中国 微告（上海）広告有限公司
微告科技（瀋陽）有限公司
香港 微告香港集団有限公司
台湾 台湾微告有限公司
韓国 마이크로애드 코리아
シンガポール MicroAd Singapore Pte. Ltd.
MicroAdSEA Pte. Ltd.
ベトナム MicroAd Vietnam Joint Stock Company
インドネシア PT MicroAd Indonesia
PT.MicroAd BLADE Indonesia
フィリピン MicroAdSEA Philippines Inc.
タイ MicroAd (Thailand) Co Ltd.
インド MicroAd India Pte. Ltd.
4

5. 広告プラットフォーム事業
広告主 メディア
●DSP：広告主様向けの
広告効果の最大化を目的としたサービス
●SSP：メディア様向けの
広告収益の最大化を目的としたサービス
5

6. 広告イメージ
6

7. 7
Supply Side Platform
Demand Side Platform
オークション型のインターネット広告配信プラットフォーム
サービスを開発/提供し、広告配信事業を行っている
広告プラットフォーム事業

8. 8
オークション参加回数

9. 「広告を見る人」
「表示ページ」
人×広告閲覧回数
どの広告を何回見たか
ターゲティング情報
広告を誰に出したいか
人×デモグラ情報
性別、居住地域、年代
広告×配信ページ
相性
“どの広告”を
“いくら”で
入札するかを
決定
9
入札広告の選定

10. リターゲティング
サイト訪問
成約！
再来訪
ユーザがサイトを離れる
離脱
追跡
離脱ユーザが閲覧する
サイトに広告を掲載
広告主サイトへの再来訪を促す、広告配信手法
10

11. 広告主サイトに来る人の
行動履歴を分析
興味や属性を
統計的に特定
同じような興味や属性を持つ人を
ネット中からかき集め、広告を配信
潜在顧客をターゲットとして、広告を配信する手法
11
オーディエンスターゲティング

12.  大量リクエスト（100億件/日）に対し
 大量データ（10億件を10セット）を参照し
 高速にレスポンス（５ミリ秒）する。
より品質の高いデータを生成するため、
１２０億件/日のデータを収集・転送・集計・分析
12
システムの特徴

13. 琵琶湖を中心とした世界
のようなお話
13

14. もくじ
1. 琵琶湖とデータレイク
2. マイクロアドのデータ活用の歴史
3. 小休止
4. マイクロアドなりのデータレイク
14

15. データレイクとは
pentaho社の説明から抜粋
(http://www.pentaho-partner.jp/doc/bigdata_bi_pentaho.pdf)
要件
 全てのデータをストアする
 定型・非定型のデータ分析に使用する
特徴
 シングルソース
 大きいボリューム
 蒸留されていない
15

16. 雑談(1/2)
ビッグデータとは何でしょうか？
「先駆者ですよね。ビッグデータ戦略の講演を。」
と声をかけていただき、ありがたいのですが・・・
↓
いまだにピンときません。
単なる流行り言葉なら極力使いたくないです。
16

17. 雑談(2/2)
アドテクとは何でしょうか？
「先駆者ですよね。アドテクの今後について講演を。」
と声をかけていただき、ありがたいのですが・・・
↓
技術を活用した広告、もう普通のことですよね。
固有名詞化しておく必要はないのでは、と思っています。
17

18. 私が使ってみたいと思った言葉
“データレイク”
グッときました。
イメージが広がります。
頭の中に”琵琶湖”が現れました！
18

19. 琵琶湖とデータレイク
19

20. “琵琶湖”と言えば
 滋賀県
 日本一大きな湖
 近畿の水がめ
 昔は湖上水運が盛んだった
 琵琶湖疏水
 多数の固有種が生息する豊かな自然
 赤潮・アオコの環境問題
 ブラックバス・ブルーギル
 鮒ずし
 比叡山
 琵琶湖花火大会
 鳥人間コンテスト
20

21. 460もの流入河川
様々な水を蓄えている
流出河川（瀬田川・淀川）
近畿の商圏・生活圏の形成に貢献
琵琶湖疏水
文化をも育む
独自の生態系
xx種もの固有種
湖上水運
年貢やその他物資を
琵琶湖を中心とした世界
21

22. マイクロアドの琵琶湖
“琵琶湖”を”データレイク”に置き換えると
↓
私たちの目指していることの説明に！！
22

23. 460もの流入河川
様々な水を蓄えている
流出河川（瀬田川・淀川）
近畿の商圏・生活圏の形成に貢献
琵琶湖疏水
文化をも育む
独自の生態系
xx種もの固有種
湖上水運
年貢やその他物資を
琵琶湖を中心とした世界
23

24. 多様なデータの蓄積
・web上のあしあと
・実店舗での購買履歴
データの活用
・効果的な広告配信に貢献
・マーケティング施策へ活用
データからの発見
新サービスの着想に寄与
独自のサービス提供
・MicroAd BLADE
・LIFT
・ATTRACT
データの集計・分析
価値あるデータを生み出す
データレイクを中心とした世界
010101
010101
010101
24

25. マイクロアドのデータ活用の歴史
25

26. マイクロアドのデータ活用の歴史(1/3)
 2004年頃
ブログコンテンツに応じた広告を出すサービス開始。
 2006年
ユーザ一人一人に対して適した広告を出していく
『Micro Ad』を提唱。サービスを開始。
 2007年
リターゲティング®機能を提供開始。
株式会社マイクロアド設立。
データ
データ
26

27. マイクロアドのデータ活用の歴史(2/3)
 2010年
内部処理をオークション化（RTBの前身）
 2011年
RTBによる広告配信サービス『 MicroAd BLADE』、
『 MicroAd AdFunnel 』をリリース
 2013年
株式会社マイクロアドデジタルサイネージ 設立。
データ
データ
27

28. マイクロアドのデータ活用の歴史(3/3)
 2014年
デジタルサイネージ向け放映課金型アドネットワーク
『MONOLITHS』の提供開始。
 2015年
アジア11ヶ国にてサービス展開中（2/20現在）
データ
28

29. マイクロアドのデータ活用の歴史(1/3)
 2004年頃
ブログコンテンツに応じた広告を出すサービス開始。
 2006年
ユーザ一人一人に対して適した広告を出していく
『Micro Ad』を提唱。サービスを開始。
 2007年
リターゲティング®機能を提供開始。
株式会社マイクロアド設立。
データ
データ
リターゲティング元年
29

30. マイクロアドのデータ活用の歴史(2/3)
 2010年
内部処理をオークション化（RTBの前身）
 2011年
RTBによる広告配信サービス『 MicroAd BLADE』、
『 MicroAd AdFunnel 』をリリース
 2013年
株式会社マイクロアドデジタルサイネージ 設立。
データ
データRTB元年
30

31. マイクロアドのデータ活用の歴史(3/3)
 2014年
デジタルサイネージ向け放映課金型アドネットワーク
『MONOLITHS』の提供開始。
 2015年
アジア11ヶ国にてサービス展開中（2/20現在）
データ現在
31

32. 2007年：リターゲティング元年
広告主サイトに訪問したユーザに再来訪を
促す広告（リターゲティング広告）を配信。
データ処理 入力 処理頻度 主な利用技術
リタゲ対象
ユーザ集計
生ログ 1日毎 Hadoop
Java
AT対象
ユーザ集計
- - -
最適配信の
ための統計分析
サマリ済 本番導入
未実施
MySQL
SPSS Statistics
32

33. 2011年：RTB元年
広告表示（誰かがwebサイトにアクセス）の度
に入札が行われ、最高値の広告を表示。
データ処理 入力 処理頻度 主な利用技術
リタゲ対象
ユーザ集計
生ログ 2時間毎 Hadoop+Hive
Java
AT対象
ユーザ集計
生ログ 1日毎 Netezza
Java
最適配信の
ための統計分析
生ログ 14日毎 Netezza
SPSS Modeler
33

34. 2015年：現在
データ処理 入力 処理頻度 主な利用技術
リタゲ対象
ユーザ集計
生ログ リアル
タイム
Hadoop+Hive+Hbase
Java
AT対象
ユーザ集計
生ログ 1日毎 Hadoop+Hive
Java
最適配信の
ための統計分析
生ログ 1日毎 PureData
SPSS Modeler
34

35. 35
データ発生 データ処理 データ活用⇒ ⇒
データの一生（現在のマイクロアド）

36. 36
データ発生 データ処理 データ活用⇒ ⇒

37. 広告オークション
参加プログラム
・・・・・
データ(ログ)発生部分のシステム概要
37
広告オークション
配信記録プログラム
・・・・・
広告配信/クリック
サイトアクセス
記録プログラム
・・・・・
広告主サイトアクセス
オークションログ
（100億件/日）
広告配信ログ
クリックログ
（10億件/日）
広告主サイトアクセスログ
（4億件/日）

38. 38
データ発生 データ処理 データ活用⇒ ⇒

39. 広告オークション
参加プログラム
・・・・・
39
広告オークション
配信記録プログラム
・・・・・
広告配信/クリック
サイトアクセス
記録プログラム
・・・・・
広告主サイトアクセス
オークションログ
（100億件/日）
広告配信ログ
クリックログ
（10億件/日）
広告主サイトアクセスログ
（4億件/日）

40. Frequency
最適配信
パラメータ
Retargeting
Audience
Targeting
広告オークション参加プログラム
参照データ群（Key-Valueストアで保持）
RTBサーバ KVS
レプリケーション
広告配信オークション時のデータ活用
等々
KVS

41. 41
データ発生 データ処理 データ活用⇒ ⇒

42. 42
fluentd
Hadoop
Netezza
SPSS Modeler
Retargeting
Audience
Targeting
最適配信
パラメータ
オークションログ
（80億件/日）
広告配信ログ
クリックログ
（6億件/日）
広告主サイトアクセスログ
（4億件/日）
fluentd fluentd
Storm

43. 43

44. 昨年のデブサミ
44

45. ネットとかリアルとか
関係ございません
45

46. インターネットの内と外
46

47. マイクロアドのデータ活用の歴史(抜粋)
 2013年
株式会社マイクロアドデジタルサイネージ 設立。
 2014年
デジタルサイネージ向け放映課金型アドネットワーク
『MONOLITHS』の提供開始。
47

48. ネットでのノウハウと技術を活かして
リアルな世界にもどんどんアプローチを。
48

49. デジタルサイネージの可能性
空港や病院など
日本中に
サイネージ広告を
出稿！
49

50. 50
2/19,20に
雅叙園から半径3km以内の
デジタルサイネージに
エンジニア向け広告を放映

51. 構想
 サイネージにカメラ搭載
 女性が多ければ女性向け広告を
 放映した広告に注目した人はどんな人か
 注目したユーザ層にネットでも広告を
 ネット分析結果で分かったターゲット
ユーザ層をサイネージ広告放映に活用
夢はまだまだ広がる
51

52. マイクロアドなりのデータレイク
52

53. 53
fluentd
Hadoop
Netezza
SPSS Modeler
Retargeting
Audience
Targeting
最適配信
パラメータ
オークションログ
（80億件/日）
広告配信ログ
クリックログ
（6億件/日）
広告主サイトアクセスログ
（4億件/日）
fluentd fluentd
Storm

54. 54
fluentd
Hadoop
Netezza
SPSS Modeler
Retargeting
Audience
Targeting
最適配信
パラメータ
オークションログ
（80億件/日）
広告配信ログ
クリックログ
（6億件/日）
広告主サイトアクセスログ
（4億件/日）
fluentd fluentd
Storm
池
池
池
池
池
池
池

55. たくさんの池
特徴
 用途別に池が存在
#利用対象の人・技術にもっとも都合の良い状態
 色んなデータ状態の池がある
#生ログ、データ加工済、データ分析済
メリット
 用途によって最適化されているため、利用
しやすい
デメリット
 想定外の新たなデータ利用を模索しにくい
55

56. 対して、データレイクは
特徴
 シングルソース
 大きいボリューム
 蒸留されていない
要件
 全てのデータをストアする
 定型・非定型のデータ分析に使用する
56

57. マイクロアドが目指している
データレイクは・・・
57

58. 加工データも格納し利用できるデータレイク
58
オークションログ
広告配信ログ
クリックログ
広告主サイト
アクセスログ
データレイク
実店舗
購買データ
サイネージ
取得データ
その他
多様なデータ
データ分析者
エンジニアサービス利用者
（広告主様やメディア様）
UI 集計
システム
生ログ
集計結果データ 分析結果データ
生データ
分析
システム

59. 最後に
いま(2015年)からデータ活用を始めるなら、
私たちと同じ道ではなく、”データレイク”
から始めることをお勧めするかもしれない。
マイクロアドのデータレイクは、
技術検証・プロトタイプ作成中。
59

60. 60
ご清聴いただき、ありがとうございました