SXSW2018で展示されたインタラクティブSayaの感情スコア推定モデルの研究開発事例をご紹介します。 Saya by TELYUKA (GARATEACIRCUS) https://www.telyuka.com/ Saya Project http://www.sayaproject.com/ Special Thanks to Qosmo, Inc http://qosmo.jp/

1. 博報堂のインタラクティブ技術研究事例
〜Saya Projectの感情スコア推定モデル〜
博報堂 研究開発局

2. 自己紹介
藤原 晴雄
2013年入社
博報堂研究開発局 兼 SIX Inc.

3. 趣味1
スニーカー集め。
最近は増える度に怒られます。

4. 趣味2
BOT開発
自作BOTで人気商品の争奪戦に挑む！
有料BOTを駆使する転売ヤーとガチBATTLE！
Supxxxxロゴパーカー売り切れタイム

5. 主な担当業務
業務1 データマーケティング関連
- メディアプランニングモデル開発
- レコメンドアルゴリズム開発
業務2 インタラクティブ技術のR&D
- センシング技術関連
- 新しいインタラクティブ装置のプロトタイピング

6. 主な担当業務
業務1 データマーケティング関連
- メディアプランニングモデル開発
- レコメンドアルゴリズム開発
業務2 インタラクティブ技術のR&D
- センシング技術関連
- 新しいインタラクティブ装置のプロトタイピング

7. なぜインタラ技術研究をやるのか
コミュニケーションUI/UXの形は圧倒的に多様化＆リッチ化している！
音声アシスタント 会話BOT AR/VR バーチャルYoutuber …

8. なぜインタラ技術研究をやるのか
UI/UXの形がどうであれ、機械がユーザとうまくやっていく必要がある。
- ユーザのことを理解する
- ユーザに対していいかんじのアクションを起こす
これらを実現するあらゆる手段がインタラクティブ技術研究の対象となる。

11. Saya Project
Sayaをインタラクティブな表現媒体に進化させるプロジェクト。

15. 等身大サイズを実現するため
、98inch、縦置き可能4Kモニ
タをレンタル。
2,233mm
1,288mm

19. Dataset by Pierre-Luc Carrier and Aaron Courville
https://arxiv.org/abs/1307.0414

20. - 姿勢推定モデルを活用し、手を振ると、振り返してくれる
- 感情スコアが最高レベルまで到達すると、スペシャルモーションが発動

21. 直近の課題＆研究
課題
- もっとサクサク動かしたい！ウェブ/モバイルでも動かしたい！
- もっと複雑なジェスチャーを認識したい！
取り組み
- 表情認識モデルの軽量化・高速化
- OpenPose, PoseNet等の研究を参考に、ジェスチャー認識モデル開発に向けて調査中

22. 直近の課題＆研究
課題
- もっとサクサク動かしたい！ウェブ/モバイルでも動かしたい！
- もっと複雑なジェスチャーを認識したい！
取り組み
- 表情認識モデルの軽量化・高速化
- OpenPose, PoseNet等の研究を参考に、ジェスチャー認識モデル開発に向けて調査中

23. Facial Emotion Recognition
- SXSW 2018ではVGG16をFine-Tuningしたものを利用
- FPSちょっと低め。ブラウザなどで読み込むにはちょっと重い。
- 今回は軽量化 + ウェブ/モバイル実装するためにMobileNetベースのモデルづくりを決意
Size Top-1 Accuracy Top-5 Accuracy Parameters Depth
VGG16 528MB 0.715 0.901 138,357,544 23
MobileNet 17MB ❤️❤️❤️ 0.665 0.871 4,253,864❤️ 88
https://keras.io/ja/applications/

24. MobileNetは通常のConvを空間方向のConvとチャネル方向の1x1convに分解し
畳み込みをより少ないパラメータで出来る！
Depthwise Separable Conv
MobileNets: Efficient Convolution Neural Networks for Mobile Vision Applications
https://arxiv.org/pdf/1704.04861.pdf

25. Depthwise Separable Conv
参考）https://qiita.com/HiromuMasuda0228/items/7dd0b764804d2aa199e4

26. 演算量比較
https://www.youtube.com/watch?v=T7o3xvJLuHk
Depthwise
Pointwise

27. 演算量比較
https://www.youtube.com/watch?v=T7o3xvJLuHk

28. 演算量比較
https://www.youtube.com/watch?v=T7o3xvJLuHk

29. GoogleさんのMobileNetとても良さそう！❤️❤️❤️

30. Fine-Tuning!
MobileNetの10ブロック目の畳み込み層より下はfreezeし、
特徴抽出器として流用。
全結合 + dropout + softmax分類層を新たに追加し、
後半部分から先のみを追加学習。
ここ入れ替えて学習
ここだけ学習

31. Fine-Tuning!
結果：なんかそこそこいい具合に学習できてるっぽい！？

32. DEMO

33. まとめ
嬉しかったこと
- MobileNetに移行したらモデルが軽くなってFPSも速くなった！
- MobileNetのFine Tuningなら学習に比較的時間がかからない！
- 学習したkerasモデルはtensorflow.js経由でブラウザでも実装できそう！
困ったこと
- Neutralが出にくい…学習データのクラスに偏りがあったせい？
- どの層から学習させれば最適なのか根拠がみつからない
- 深層学習のチューニング難しい…誰かもっと教えて…