【C-2】メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習

Copyright © LOCKON CO.,LTD.All Rights Reserved.
メモリも僕のキャパシティも溢れっぱなし。。。
２年目エンジニアが実現した機械学習
#devsumiC C-2
2018/07/27
株式会社ロックオン開発部内藤勇之助

Copyright © LOCKON CO.,LTD.All Rights Reserved. 2
自己紹介
内藤勇之助
株式会社ロックオン開発部
▼ 2017年多摩大学経営情報学部卒業
▼ 2017年株式会社ロックオンへ新卒入社
・外部サービス連携開発
・データベースバージョンアップ
・クロスデバイス

3
会社概要
株式会社ロックオン
LOCKON CO.,LTD.
【大阪本社】大阪府大阪市北区梅田2-4-9 ブリーゼタワー13F
【東京本社】東京都千代田区有楽町2-2-1 X-PRESS有楽町12F
【子会社】 LOCKON marketing of U.S.A. inc.（米国カリフォルニア州）
【子会社】 LOCKON Vietnam Co., Ltd.（ベトナム社会主義共和国）
設立 2001年6月4日
資本金 30,671万円
代表者代表取締役岩田進
従業員数 122名（グループ連結）
事業内容マーケティングロボットの提供
マーケティングプラットフォーム
AD EBiS、THREe、マーケティングメトリックス研究所
東京証券取引所マザーズ上場（3690）
商流プラットフォーム
EC-CUBE
マーケティングプラットフォーム
AD EBiS（アドエビス）
日本発ECオープンプラット
フォーム EC-CUBE

4
機械学習によるサービスの作り方
機械学習でサービスを作るには

5
機械学習によるサービスの作り方
①テーマ設定
②POC 開発
③プロジェクト
課題に対して機械学習が妥当か。どう評価するか。
ある程度の評価を担保する
精度・性能・評価を並行して開発

計測
広告効果測定アクセス解析
View計測 LPOクリック計測/SEO計測経路分析
動画広告
記事広告
ディスプレイ
広告
コンテンツ
マーケティング
純広告
自然検索
アフィリエイト
広告
リスティング
広告
リターゲティン
グ広告
ダイレクト
SNS
LP TOP
コンテンツ
デジタルマーケティングに必要な”あらゆる機能”をワンパッケージで提供
CV
活用
外部連携
BI/レポーティング
MR/CRM/SFA
広告配信/運用管理
リサーチ/モニター
3rd Party Data
EC/通販支援ツール
TV/オフライン施策
分析
レポーティング
施
策
軸
ユ
ー
ザ
ー
軸
デモグラフィック
カスタマージャーニー
分析
チャネル別集計
アトリビューション
分析
アドエビスはあらゆるマーケティングの効果をメディア・デバイス・代理店を横断して測定、マーケティング活動の成果最大化をサポートす
るサービスです。
「アドエビス」が提供する３つのソリューション
6

アドエビスは、年々機能を拡張し、2015年には従来の広告効測定システムからマーケティングプラットフォームとして進化を遂げ、現在では
累計9,000件以上の導入実績を誇ります。
広告効果測定市場において
3年連続シェアNo.1!!※
※ITR「ITR Market View:メール／Webマーケティング市場2018」広告効果測定市場の売上金額シェアにおいて
2015年度 2016年度 2017年度（予測値）
広告効果測定ツールとして
信頼の導入実績
9,000件!!
4000
4500
5000
5500
6000
6500
7000
7500
8000
8500
2011年度 2012年度 2013年度 2014年度 2015年度 2016年度 2017年度
2004年
AD EBiS
発売開始
2018年
9,000件
突破!!
マーケティングプラットフォームアドエビスとは

クロスデバイス

9
スマートフォンの普及によるマルチデバイス化

10
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
?
?
当日
翌日

11
Click
Buy
A
B
当日
翌日

12
Click
Buy
A
B
当日
翌日
広告をなくす

13
Click
Buy
A
B
当日
翌日
購入が激減
広告をなくす

14
同一ユーザーの類推によってデバイスを跨った行動が見える
Click Buy
A

15
スマートフォンの普及によるマルチデバイス化
60%
40%
コンバージョン
単一デバイスで
コンバージョン
（出典） criteo「2016年度下期クロスデバイス・コマースレポート」

16
これまでのクロスデバイス分析
不明ユーザー
同一ユーザー
IDで特定
※それぞれのデバイスでログインしていれば、
同一人物だとシステム上扱える

17
これまでのクロスデバイス分析
不明ユーザー
同一ユーザー
IDで特定
※それぞれのデバイスでログインしていれば、
同一人物だとシステム上扱える
しかし、複数デバイスで確実に
ログインしてくれるようなサイトは少ない

18
アドエビスのクロスデバイス分析
不明ユーザー
同一ユーザー
同一ユーザー機械学習で
同一ユーザーを類推

19
要求
スケーラビリティ
4時間で100社を分析するという要件

20
要求
そのために
精度・性能のチューニング

21
全体構成イメージ
EMR
S3
EC2
Onpre
Cloud(AWS)
Access data Output
Access data Output
Input
Out
Control Cross device analysis

課題のテーマ
22
精度・性能チューニング

24
分析対象の数が今後増えても性能を落とさない基盤

Amazon EMR

EMRでの機械学習
26
EMRについて
Hadoop

27
EMRについて
Amazon S3 Amazon EC2

28
EMRについて
スケーラビリティに優れている!
EMR
EC2 EC2 EC2
EC2 EC2 EC2

29
EMRの料金について
＜オンデマンドインスタンス＞
- EC2同様の1分単位の従量課金
＜スポットインスタンス＞
- 起動できない or 強制終了される可能性あり
- 大幅なコストを削減できる（最大90%）

30
AWS警察
クロスデバイスチームの1ヶ月分のAWS開発費、
あと数日で使い切りそうですが大丈夫ですか?
え、そんなことはないはず。。。
内藤

31
25%
0%
20%
40%
60%
80%
100%
予想実際
(予算)

32
25%
70%
0%
20%
40%
60%
80%
100%
予想実際
(予算)

33
予想実際
(予算)
25% 25%
45%
0%
20%
40%
60%
80%
100%
謎の45%

34

35

# 信じ切っていいのは請求書だけ

4時間という壁
38
240分 ÷ 100 = 2.4分/1社
1貫して分析バッチが動くようになっていた時は
1社40分以上かかっていた。。。

4時間という壁
39
クラスター構成
工夫 Point
クラスターを並列で起動

4時間という壁
40
クラスター構成
直列並列
1社目
２社目
1００社目
・
・
・
240分 ÷ 100 = 2.4分/1社
1社目
2社目
・
・
・
10社目
11社目
12社目
・
・
・
20社目
21社目
22社目
・
・
・
30社目
240分 ÷ 10 = 24分/1社

4時間という壁
41
工夫 Point
共通処理を入れる

4時間という壁
42
共通処理を入れる
ステップ１
ステップ2
ステップ3
ステップ１
ステップ2
ステップ3
Before After
ステップ１
ステップ2
ステップ3
ステップ１
ステップ2
ステップ3
処理ブロックA
処理ブロックB
共通処理
不要

4時間という壁
43
工夫 Point
処理対象データを減らす

4時間という壁
44
組合せ爆発の対応
user 1 user 2 判定
AAA BBB 〇
CCC GGG 〇
AAA CCC ×
FFF QQQ 〇
HHH RRR ×
・・・・・・・・・

4時間という壁
45
組合せ爆発の対応
120憶C2 ＝ ?
必要のないデータは省く

4時間という壁
46
最大70％の改善!

性能改善
47
Bourlon
精度改善の為に、アルゴリズム少し変えました。
取り込んだら遅くなりました。。。
内藤

性能改善
評価
性能改善精度改善

要求に対して
49
EMRを使うことで分析対象が増えても性能を落とさない
4時間で100社の分析をぎりぎり達成!

【C-2】メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習

More Related Content

Similar to 【C-2】メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習

More from Developers Summit

【C-2】メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習