ML@Loft #11. 類似画像/テキスト検索 (https://ml-loft.connpass.com/event/169623/) のLT登壇資料です． 小売業向けに展開している Insight for Retail というプロダクトに用いている特徴量DBの課題と解決策について，アルゴリズムとシステムの両面から触れています．

1. 中川 裕太
@僕らの遊び場ABEJA
リピーター分析における特徴量DBって
研究課題満載でホントおもしろい！

2. 中川 裕太
Research Engineer @ ABEJA

7. Agenda
特徴量DBの課題
課題に対するアプローチ
次なる研究テーマ

8. 特徴量DBの課題
課題に対するアプローチ
次なる研究テーマ

9. そもそも、特徴量DBとは？

11. 分析のワークフロー

12. 分析のワークフロー
これ

13. 特徴量DB の課題
検索/更新の速度 変更の容易性 トランザクションの競合

14. 特徴量DB の課題
検索/更新の速度 変更の容易性 トランザクションの競合

15. 導入後、約8か月間の負荷グラフ

16. シーズナルな巨大負荷にも耐える必要がある
GW
お盆

17. 特徴量DB の課題
検索/更新の速度 変更の容易性 トランザクションの競合

18. もともとはモノリスで特徴量DBを実装
data
logic
Feature DB Feature Cache

19. アルゴリズムを変更してデプロイすると

20. 再起動に1日かかるorz

21. 特徴量DB の課題
検索/更新の速度 変更の容易性 トランザクションの競合

22. 特徴量DBに並列で複数モデルからリクエストが来る
Feature DB
Other Models Other Models Other Models Other Models

23. サービスが成長してきて
並列数が増えると

24. write の多いリピータの設定では

25. データの不整合が発生し得る
Feature DB
Other Models Other Models Other Models Other Models
writeread

26. 特徴量DBの課題
課題に対するアプローチ
次なる研究テーマ

27. 特徴量DB の課題
検索/更新の速度 変更の容易性 トランザクションの競合

28. 課題に対するアプローチ
検索/更新の速度 変更の容易性 トランザクションの競合
特徴量の工夫 ロジックとデータの分離 楽観的なロック

29. 今回のテーマ
検索/更新の速度 変更の容易性 トランザクションの競合
特徴量の工夫 ロジックとデータの分離 楽観的なロック

30. もともとは任意の人に紐づく特徴量に対して最近傍探索

31. リピータでは検索精度が求められる

32. クエリの対象を絞る工夫が必須

33. 特徴量を von-Mises Fisher 分布に従うよう学習

34. μの推定値を使うのが精度・速度の両面で妥当

35. これにより約9.8倍の高速化を達成

36. 特徴量DBの課題
課題に対するアプローチ
次なる研究テーマ

37. 構造がなさそうな空間で
どう検索をスケールさせるか

38. CPU でぶん殴ればスケールできることは見えている

39. インフラのCPU数がキャップになるし

40. ぶっちゃけ金もかかる

41. 一方で

42. 顔特徴量の構造を示唆する論文もある
X. Zhu, C. Vondrick, C. C. Fowlkes, and D. Ramanan. Do we need more training data? IJCV, 119(1):76–92, 2016.

43. 特徴量DBは掘れば掘るほど出てくる
研究課題の宝庫