1. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
【.LOG（ドットログ）】第2回アドテクノロジーを支える技術 #ドットログ
「SpiderAFにおける機械学習を使った不正検知」
2019/02/21@ログリー株式会社
赤石 暁(株式会社Phybbit)

2. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 2
赤石 暁 (あかいし あきら）
株式会社Phybbit Developer
略歴
2010年 3月 首都大学東京 博士過程修了
2012年11月 電気通信大学 特任助教
2018年 3月 株式会社Phybbit 入社
やってること
SpiderAFの開発
不正トラフィックの研究・解析

3. P E N D I N G P A T E N T
C O N F I D E N T I A L Copyright © 2018, Phybbit Ltd. All rights reserved.
目次
1. アドフラウド（広告不正）って何？
2. ログデータから何がわかる？
3. 不正パターンの可視化
4. まとめ

4. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 44
Phybbit (SpiderAF)
広告ログデータを集計
可視化・スコアリング
データから
アドフラウドを
見つけ出す!
SpiderAF ダッシュボード

5. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 55
アドフラウド(広告詐欺)って何？
広告をクリック
ウェブサイト運営者
スクリプト・ボットによる
不正クリック
アドフラウドのひと

6. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 66
ログデータから不正を見つける
クリック時間、IP、OS/端末情報
不正サイトを見つける
ルールベース
機械学習
- 教師あり（XGBoost , CNN, NLP, etc.）
- 教師なし（k-means clustering, t-SNE）

7. P E N D I N G P A T E N T
C O N F I D E N T I A L Copyright © 2018, Phybbit Ltd. All rights reserved.
目次
2. ログデータから何がわかる？

8. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 88
ログデータから得られる情報
時間
IP:国、県、ISP
デバイス情報、OS環境、ブラウザ
クリック=HTTP request UserAgent/SDK
サイトA
サイトB
サイトC
サイトD
サイトE
サイトF

9. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 99
クリック時間の集計
サイトごとに集計
サイトBサイトA
サイトB
サイトB
サイトA
一定期間（e.g.一ヶ月）の
データを集計

10. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1010
時間分布の不正パターン
サイトA
昼休み
サイトB
一日中クリックしっぱなし?!
寝てる😴
仕事終わり😆

11. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1111
分の分布の不正パターン
サイトA サイトB
何分にクリックするかはバラバラ
→平均するとほぼ一定
15分おきにクリック?!
ボット/スクリプトによるクリック?!

12. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1212
IPの分析
国の分布 県の分布 ISPの分布
正常サイトでは日本の人口分布に近くなる

13. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1313
IPの分析
国の分布 県の分布 ISPの分布
正常サイトでは日本の人口分布に近くなる不正サイトでは、不自然な分布になる

14. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1414
端末情報
正常サイト 不正サイト
デバイス、ブラウザでも同様の傾向がある
iOS 6.0は2012年リリース
不正サイトでは
古いOSが使われがち
（scriptのUAを更新してない?!
安い端末で大量クリック?!）

15. P E N D I N G P A T E N T
C O N F I D E N T I A L Copyright © 2018, Phybbit Ltd. All rights reserved.
目次
3. 不正パターンの可視化

16. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1616
不正パターンを見つけたい
クリックの時間
24次元データ 低次元データ
サイトA
サイトB
サイトC
サイトA
サイトB
サイトC
Dimensionality reduction
PCA
NMF
t-SNE
サイトごとに合計で割る

17. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1717
t-SNE
t-distributed stochastic neighbor embedding
サイトA
サイトB
サイトC
サイトA
サイトB
サイトC
https://scikit-learn.org/
元データ構造を2次元にmapping

18. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1818
t-SNEでの可視化
不正サイトを一括で見つけられる!

19. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 1919
OS version
• androidだけ
• iOSだけ
• 両方
サイトA
サイトB
サイトC
57次元
サイトA
サイトB
サイトC
サイトごとに合計で割る

20. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 2020
OS t-SNE
iOSだけ
androidだけ
両方
サイトC
サイトB
サイトA
サイトD
サイトE
サイトF
サイト
G
サイトH
サイトI

21. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 2121
OS t-SNE
古いiOSだけ
小さい“島”は
異常なパターンになっている
→ぜんぶ不正サイト
android 5.0 ?!
iOS 10.3 ?!
サイトC
サイトB
サイトA
サイトD
サイトE
サイトF
サイト
G
サイトH
サイトI

22. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 2222
t-SNEによる不正検出
どんなデータでも使える
ラベルなしで使える(教師なし)
t-SNEの利点
不正サイトを一括で見つけられる
サイトの類似性がわかる
• 不正スコアの精度向上
• 新しい不正パターンの発見

23. CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved.
CONFIDENTIAL
PATENT PENDING
Copyright © 2018, Phybbit Ltd. All rights reserved. 2323
まとめ
ログデータから不正を見つける
サイトごとに集計し、不正パターンを見つける
t-SNEで可視化
https://spideraf.com