機械学習モデルの負荷がやばすぎて、100倍高速にしつつ精度も上げた話 (https://abeja-innovation-meetup.connpass.com/event/148827/) の登壇資料です． 【概要】 ABEJAでは機械学習を用いた店舗解析サービスを2015年から提供しています。その中で、先日リリースした新機能の処理速度を100倍高速にしつつ精度も上げた事例についてお伝えします。具体的にどんな挑戦があり、それに対してどうアプローチしたかについてまとめてあります。

1. 中川 裕太
@僕らの遊び場ABEJA
機械学習モデルの負荷がやばすぎて
100倍高速にしつつ精度も上げた話

2. 中川 裕太
Research Engineer @ ABEJA

7. Agenda
Retail Task Force での挑戦
100倍高速にしつつ精度も上げた話
次なる挑戦

8. Retail Task Force
での挑戦

9. と、その前に

10. Insight for Retail では動画解析を DAG として実装
camera
camera
queue
model A
model B
model C
model D
aggregator dashboard
analysis DAG

11. 負荷に合わせたオートスケールが可能
queue
model A
model B
model C
model D
model A
model B
model D
model D

12. 詳しい内容は JAWS Days 2019 参照

13. DAG の中身

14. そろそろ、本題に入ります

15. 導入後、約8か月間の負荷グラフ

16. 負荷がピーキーに上昇することがある

17. 基本的には無限に近く
オートスケールするシステム

18. でも、やっぱり

19. 特徴量検索が悲鳴を上げた

20. クライアントごとの特徴量検索がスケール限界を迎える
← ここ

21. 非常に高い負荷に耐えれる
特徴量検索システムを構築する
21

22. さらに

23. 周期的な影響や
休日
平日

24. シーズナルな影響
GW
お盆

25. そして、サービス成長

26. 変化する負荷にエラスティックに
追従して原価を最適化する
26

27. これが Retail Task Force の
心躍る頭イカれた挑戦

28. 100倍高速にしつつ
精度も上げた話

29. まずはスケジュールと人数感
月 月 月 月
開発
人
研究
人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
モデル改善
リリース

30. 月 月 月 月
開発
人
研究
人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
モデル改善
リリース

31. ここに変更を加えやすい状況を作っておくことが先決
← ここ

32. ロジックとデータを分離
data
logic
datalogic
Search/Update
のみ
Similarity Search

33. ロジック部分の変更性を向上し
アルゴリズム改善の高速化

34. ロジック部分は独立にオートスケール可能に
Similarity Search

35. 副次的に回復性も向上

36. 先日のAWS障害でもお客様影響ほぼなく回復

37. 月 月 月 月
開発
人
研究
人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
モデル改善
リリース

38. 大小いくつかの改善に取り組んだ
➢ 中心ベクトルの利用
➢ データ構造の効率化
➢ 冗長な処理のシンプル化
➢ クエリ改善
➢ バックエンドを OpenBLAS から mkl へ

39. 特に効果が大きかったのが
➢ 中心ベクトルの利用
➢ データ構造の効率化
➢ 冗長な処理のシンプル化
➢ クエリ改善
➢ バックエンドを OpenBLAS から mkl へ

40. もともと

41. リリースの早期化と保守性の観点から
シンプルなアルゴリズムを採用

42. 任意の人に紐づく特徴量を複数保持して厳密最近傍

43. データは増え続ける

44. 性能はデータ点数に比例する

45. つまり

46. やばい

47. 解決案は2つ
厳密探索でデータ点数を減らす
データ点数はそのままで近似探索をする

48. 厳密探索でデータ点数を減らす
データ点数はそのままで近似探索をする

49. どうも顔特徴量は von-Mises Fisher 分布らしい

50. ならば

51. μの推定値を使うのが精度・速度の両面で妥当

52. 実データから見積もると約9.8倍の高速化が可能

53. 厳密探索でデータ点数を減らす
データ点数はそのままで近似探索をする

54. 近似最近傍で速度を向上し、データ点数で精度劣化を防ぐ

55. 確かに search だけなら200倍近く高速化される

56. でも

57. update の多いリピータの設定だと

58. 高々4倍程度にしか高速化されない

59. 速度と保守性から前者を採用
厳密探索でデータ点数を減らす
データ点数はそのままで近似探索をする

60. 月 月 月 月
開発 人
研究 人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
モデル改善
リリース

61. みなさん

62. 研究と開発の連携って難しいですよね

63. 作っているそばから新しい手法が発見される

64. 研究と開発のライフサイクルの違い
py
✓ 新しい手法をどんど
ん試したい。
✓ もっと柔軟に実験し
たい。
✓ 安定したモジュール
を使って開発したい。
✓ 負荷特性が変わるの
はつらい。
研究 開発

65. マイクロサービスで研究成果をラップすることで解決
model
pre/post process
network

66. 詳しい内容は 前回ミートアップ 参照

67. 今回はこれに加えて2つの挑戦をした
3レイヤーでそれぞれレポジトリを持つ
研究と開発で程よい距離感を並走する

68. 研究と開発で程よい距離感を並走する
3レイヤーでそれぞれレポジトリを持つ

69. 研究と開発で目指すゴールは一緒

70. でも、進め方は違う

71. お互いに余白を残して程よい距離感を並走する
程よい距離感

72. 具体的には

73. 月 月 月 月
開発
人
研究
人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
モデル改善
リリース
定期的に研究と開発で一緒に方向性を議論し

74. 8月末の落としどころを中盤には決め
月 月 月 月
開発
人
研究
人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
研究A
研究B
研究C
リリース

75. リリースに載せるもの
月 月 月 月
開発
人
研究
人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
リリース
研究A
研究B
研究C

76. 継続的に研究するものを判断
月 月 月 月
開発
人
研究
人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
リリース
研究A
研究B
研究C

77. 結果として

78. 研究・開発ともにお互いを
信頼し安心して進めることができた

79. 3レイヤーでそれぞれレポジトリを持つ
研究と開発で程よい距離感を並走する

80. もともとは2レポジトリ
model
pre/post process
network

81. 研究・開発でお互いに課題はあった
➢ 関係ないデプロイの依存関係が混入する
➢ デプロイ時を考慮した制約が大きい
➢ 不要な研究用コードが大量にある
➢ 研究・開発のブランチ運用が複雑になる

82. そこで研究用レポジトリを分割
model
pre/post process
デプロイ用network 研究用network

83. 研究用レポジトリに最低限のルールを設定
model
pre/post process
デプロイ用network 研究用network
➢ Inference 用のサンプ
ルを置く
➢ モデルファイルは分
けて実装する

84. 研究用コードを参考にデプロイ用コードを実装・レビュー
model
pre/post process
デプロイ用network 研究用network
➢ Inference 用のサンプ
ルを置く
➢ モデルファイルは分
けて実装する

85. 結果として

86. 約2か月で、3モデルの研究

87. 約3日で、3モデルの本番デプロイ

88. これら3つの挑戦により
月 月 月 月
開発
人
研究
人
変更性を高める
アーキ改善
アルゴリズム改善
デプ
ロイ
EDA
モデル改善
リリース

89. 特徴量検索の速度は100倍

90. 真値との IoU も向上

91. 次なる挑戦

92. 今回の取り組みでスケール限界は伸び安定化した

93. 次なる挑戦は2つ
原価削減
スケール限界の更なる向上

94. 原価削減
スケール限界の更なる向上

95. 120社700店舗以上への導入実績 (2019年3月時点)

96. 原価削減の効果はすごく大きい

97. とても心躍る挑戦
97

98. 原価削減
スケール限界の更なる向上

99. お客様のニーズは確実に見えている

100. でも、そのためには
さらに10倍の性能向上が求められる

101. アルゴリズムとインフラ両面からの
研究的アプローチが必須

102. こんな心躍る頭イカれた挑戦は
早々できるものではない
102

103. これだけでも十分すごい挑戦なのに

104. 全体から見たらごく一部

105. こんな心躍る頭イカれた挑戦が
山のようにある

106. 例えば

107. 複数デバイスから得られるデータのマージ

108. 実世界で取得される
大量で頻度も異なりノイズ満載なデータ

109. こいつらをいい感じにマージして
価値を見出す必要がある

110. もうちょっと頭イカれている
としか言えない

111. 111

112. 一緒にチャレンジする仲間を募集中！！

113. まとめ
急成長するサービスを支えられるよう研究と開発で協力し
処理速度を100倍高速して精度も向上した
具体的にはアーキテクチャを見直し変更性を高めたうえで
特徴量の構造を踏まえたアルゴリズムの改善を行った
山のようにある心躍る頭イカれた挑戦を
一緒に楽しめる仲間を募集中

114. 114
心躍る頭イカれた挑戦を
一緒に楽しみましょう！