Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

楽しむために楽するアーキテクチャ

Machine Learning Production Pitch #5 の登壇資料です。
小売業向けに展開している Insight for Retail というプロダクトの機械学習基盤に求められる要件と、それに対する設計思想・実装の概観を書いています。

  • Be the first to comment

楽しむために楽するアーキテクチャ

  1. 1. 中川 裕太 @僕らの遊び場ABEJA 楽しむために 楽するアーキテクチャ
  2. 2. 中川 裕太 Research Engineer @ ABEJA
  3. 3. Agenda 機械学習エンジニアとしてのミッション 楽するアーキテクチャ 次なる楽しい仕事
  4. 4. 機械学習エンジニアとしてのミッション 楽するアーキテクチャ 次なる楽しい仕事
  5. 5. まずは、かるーく事業紹介
  6. 6. プロダクトビジョン 顧客行動データを基軸にして、 新しい小売流通業のかたちを創造する
  7. 7. ダッシュボードに結果を表示する
  8. 8. 200,000,000人 Number of Visitors
  9. 9. 700+ Shops
  10. 10. 機械学習エンジニアは 何をやっているのか?
  11. 11. リサーチャーと協力して 最新論文のキャッチアップ
  12. 12. 社内研究環境を整備
  13. 13. アーキテクチャの設計と実装
  14. 14. 日々の運用と改善
  15. 15. とても楽しくやりがい満載
  16. 16. でも
  17. 17. 裏を返せば多忙…
  18. 18. 楽しく気持ちのよい仕事を するために楽しよう
  19. 19. 機械学習エンジニアとしてのミッション 楽するアーキテクチャ 次なる楽しい仕事
  20. 20. 楽をするためには まずは相手を知ることから
  21. 21. 動画解析のワークフロー
  22. 22. Stateless と Statefull の両方が混在する stateless statefull
  23. 23. 導入後、約8か月間の負荷状況
  24. 24. 周期的な影響や 土日 平日
  25. 25. シーズナルな影響 GW お盆
  26. 26. そして、サービス成長
  27. 27. コアに求められる要件も ちょいちょい変わる
  28. 28. カメラが変わったり
  29. 29. 画角が変わったり
  30. 30. 楽をするためのポイント サービスの形態に応じて変更を容易にする 負荷に対してエラスティックにスケールさせる 障害が起きても勝手に回復する
  31. 31. ぶっちゃけ当たり前
  32. 32. Insight for Retail での実装方法
  33. 33. 動画解析をマイクロサービスの DAG として実装 camera camera queue model A model B model C model D aggregator dashboard analysis DAG
  34. 34. DAG を組み替えるで容易に変更が可能 39 queue model A model B model E model D model F
  35. 35. 各サービスはインプット量と負荷に応じて勝手にスケール queue model A model B model C model D model A model B model D model D
  36. 36. 処理は失敗する前提で冪等性を保ってリトライしまくり 41 queue model A model B model C model D
  37. 37. stateless だけなら これだけで十分
  38. 38. でも、statefull な子も いるから厄介
  39. 39. ロジック層とデータ層を分けて API でつなぐ Similarity Search
  40. 40. さらに API も極力しぼってデータ層のシンプルさを保つ Similarity Search Search/Update のみ
  41. 41. 時間がないので詳細は他登壇資料を参照
  42. 42. 続きは懇親会で
  43. 43. 結果として
  44. 44. ICCV 2019 会期中の障害 0 件
  45. 45. 会議に集中できました
  46. 46. 機械学習エンジニアとしてのミッション 楽するアーキテクチャ 次なる楽しい仕事
  47. 47. 楽に運用できるようになったからこそ
  48. 48. 楽しい仕事にフォーカスすべき
  49. 49. 次なる楽しい仕事は2つ 原価削減 スケール限界の更なる向上
  50. 50. 原価削減 スケール限界の更なる向上
  51. 51. 120社700店舗以上への導入実績 (2019年3月時点)
  52. 52. 原価削減の効果はすごく大きい
  53. 53. エンジニア冥利に尽きる とても楽しい仕事
  54. 54. 原価削減 スケール限界の更なる向上
  55. 55. お客様のニーズは確実に見えている
  56. 56. 売りまくってくるという 営業の声にも応えたい
  57. 57. でも、技術的ハードルもめちゃ高い
  58. 58. インフラもロジックも研究が必須な とても楽しい仕事
  59. 59. 楽しい仕事をしてお客様に還元したい
  60. 60. まとめ 機械学習エンジニアはやりがい満載で楽しい仕事だけど 忙しさに忙殺されがち 自分たちのサービス特性を正しく知った上で とにかく自分が楽できるアーキテクチャを設計・実装すべき 運用で楽をすることによって お客様の価値の源泉となる次なる楽しい仕事ができる
  61. 61. 楽しむために 楽しよう

×