2020/05/28開催のMLCT#12のスライドです．

1. 使われる機能目指して
測ったり試したり
2020-05-28
Yuji Oshima @overs_5121

2. whoami
大嶋 悠司
Tech Lead of EdgeAI team in Mercari
● OSS活動:
○ Kubeflow katib (owner)
○ Docker infrakit (maintainer)
● Github: YujiOshima
● Twitter: @overs_5121

3. whoami
大嶋 悠司
Tech Lead of EdgeAI team in Mercari
● OSS活動:
○ Kubeflow katib (owner)
○ Docker infrakit (maintainer)
● Github: YujiOshima
● Twitter: @overs_5121
今日はEdgeAI技術を使ったアプリについてお話します！

4. Edge AI?
お客様の近くのデバイス上でMLの推論を行う技術
何かしらリッチな
サーバ

5. 何ができるのか
何かしらリッチな
サーバ
> 500m sec
< 50m sec
● モデルサイズ
● 消費電力
の制限

6. 何のためにやるのか
制限は大きいが
● 低レイテンシ
● ネットを必要としない推論
によってUXを大きく改善
メルカリでは（少なくとも今の所）Edge = モバイル

7. Machine Learning on Mobile

8. やることはだいたいおんなじ
モデル軽量化
・量子化など
モデル形式を変
換
モデル学習
デバイス上で
実行
現状 (2020/05) もっとも成熟しているTFLiteを選択

9. 何をつくったか
目的：バーコード出品をもっと認知してもらいたい！
手段：撮影した商品画像が本などだったら即座にバーコー
ド出品をサジェストしてみては？
実装：MobileNetなどのImage Classificationモデルででき
そう
参考:https://developers-jp.googleblog.com/2020/04/tensorflow-lite.html

10. モデル学習
モデル軽量化
・量子化など
モデル形式を変
換
モデル学習
デバイス上で
実行

11. モデル学習
基本的には普通に学習
Quantization Aware Training[1]を行った
UINT8への量子化による
精度劣化を防ぐ
※ただし学習時の計算コストは上がる
[1] https://arxiv.org/abs/1712.05877

12. モデル学習
モデル軽量化
・量子化など
モデル形式を変
換
モデル学習
デバイス上で
実行

13. モデルサイズと推論速度
モデルサイズ >> 100MB
推論速度 >> 100m sec
推論速度 < 50 msec
モデルサイズ < 10MB

14. TF Liteの変換オプション
● FLOAT32
○ CPUやGPUでモデルを学習・推論するときと同じ
● FLOAT16
○ 重みを単精度で表現することで軽量化
● Weight only quantization (UINT8)
○ 重みをUINT8量子化
● Full quantization (UINT8)
○ 重みと活性化関数を量子化

15. 変換オプションによるサイズと速度
weight onlyで目標のlatencyは達成できるためweight only quantを選択
File size latency
FLOAT32 ☓ △
FLOAT16 △ △
weight only quant ◎ △
full quant ◯ ◎

16. ランタイム
モデル軽量化
・量子化など
モデル形式を変
換
モデル学習
デバイス上で
実行

17. FT Lite + delegation
TF LiteはAndroid, iOSそれぞれにruntimeを用意
更にdelegationを用いてパフォーマンスを向上
● GPU
● CoreML
● Hexagon DSP
● XNNPack
今回はdelegationなしで十分なパフォーマンス
今後やってきます！

18. 完成！！！

19. お疲れさまでした！！！！！

20. ほんとう？
モデル軽量化
・量子化など
モデル形式を
変換
モデル学習
デバイス上で
実行 ？

21. 結果
● タップしてくれる人が想定以上に少ない...
● バーコード出品の増加率も高くない

22. 計測改善
モデル軽量化
・量子化など
モデル形式を
変換
モデル学習
デバイス上で
実行
計測・改善

23. モデルの問題か？
● モデルの精度は？
○ メルカリの出品画像をテスト画像&Quantize後のモデルで検証
○ 90%近い Precision が出ている
○ 恐らくはモデルの精度頑張るフェーズではない
● モデルのlatencyは？
○ それなりに古い端末でも 30 msec前後で動いている
○ それほど体験を毀損しないのでは？

24. 結果
User Interface
● 表示時間
○ あんまり長いと邪魔だろう．．．4秒くらいかなあ（感覚）
○ 短すぎたのでは？

25. 各秒数でタップしたユーザ数
4 sec 表示
8 sec 表示
SEC
表示時間

26. 各秒数でタップしたユーザ数
4 sec 表示
8 sec 表示
SEC
表示時間
延ばしたほうが良さそう

27. デザイン
仮説：お客様は文言をしっかり読んでいる（そして伝わってない）
お客様とのインタラクションは十分か
● 文言
○ そもそもバーコード出品が何かわからないのでは？
● デザイン
○ 使用するが押せると思わないのでは？

28. デザイン改善

29. デザイン改善

30. デザイン改善

31. 改善の結果
Android， iOS共にバーコード出品数増加に貢献
デザイン改善後は改善前に比べて効果が倍！
改善版はぜひお手元の端末でご確認ください！
デザイン，モデルの精度，モデルのlatencyを総合的にモニタリング
MLをモバイル上で使う営み
UXを改善する営み

32. UXを考えていく

33. 拡張：
● ユーザがタスクを楽しんでいる
● 責任を伴う
● タスクに対してvisionがある
自動化 vs 拡張
自動化が可能なタスクであっても，ユーザがそれを望まないことがある
その場合ユーザの能力を「拡張」するようなUIがよい
自動化：
● ユーザにタスクができない
● タスクが退屈で繰り返される
https://pair.withgoogle.com/

34. 自動化の例：AI出品
商品名や詳細，カテゴリやブランドを画
像から自動で入力
何を書くか分からない場合に有効

35. 拡張の例: Mercari IME
商品タイトルや詳細に使われそうな単
語をIMEの形でサジェスト
商品出品は
● 責任を伴う
● お客様がVisionを持つ
タスク

36. 拡張の例: Mercari IME
商品タイトルや詳細に使われそうな単
語をIMEの形でサジェスト
商品出品は
● 責任を伴う
● ユーザがVisionを持つ
タスク
今後どこかで話します！