東京大学松尾研主催のディープラーニング講座AILの発表資料です。 一人暮らしの大学生をターゲットに余った食材を画像に撮るだけで簡単にその食材を使ったレシピを提案するアプリケーションを作成しました。 構成はiOSクライアント+レシピAPI+画像認識APIです。

1. AIL 最終発表会
2017/1/21(土) チーム: taose-deeplearning
三浦笑峰(smilenannan) 松島達也(Tmats)
釘島昌史(Kxxxxxxxx) 次田叡令(tsugitta)
久保静真(kuboshizuma)
1

2. プロジェクト概要
2

3. プロジェクト
CookWhat
野菜を撮影するだけで、その野菜を使った
レシピを提案してくれるアプリケーション
3

4. プロジェクトの目的
一人暮らしの大学生は献立を考えるのは大変
1. 一人分だと食材が余ってしまう
2. 献立考えるが面倒くさい
写真を撮るだけで余った食材を使った
レシピを提案してくれる
4

5. アプリケーションの意義
普段から料理をする人は42%、自炊したい人は82%
自炊をもっと手軽にしたい
( http://lab.oceanize.co.jp/cooking/ ) 5

6. デモ
6

7. デモ
デモを行います
7

8. 8

9. アプリケーション構成
9

10. アプリケーション全体像
レシピの取得
画像から食材
の認識
食材を指定して
レシピのリクエスト
画像認識API
レシピAPIiOSクライアント
10

11. iOSクライアント
• 一切の無駄を排除し、直感的かつ最短の操作で最適なレ
シピに巡り会える
• オレンジを基調とした、どこか馴染みのある色合いによ
り、利用者の生活にすんなりと溶け込むことが可能に
11

12. レシピAPI
• 材料からレシピをレコメンドするAPIが公開されていな
かったため、自作。
• 楽天のレシピAPIからレシピのデータだけは集められた
ので、レシピのDBを構築。(レシピ数約5,000件)
• 食材を入力すると、その食材を使ったレシピを出力する。
12

13. 画像認識API
• iOSで撮影した画像に写っている野菜を検出して
その野菜の名前を出力するAPI
→1枚に複数の野菜が写っていても対応
• 物体の検出と
検出した物体がどの野菜かを識別
13

14. 画像処理・認識
14

15. 画像認識の仕組み
検出
識別
人参
ピーマン
トマト
流れ
15

16. 画像認識の仕組み
検出
トマト
人参? トマト?
16

17. 画像認識の仕組み
検出
検出プロセス
17

18. 画像認識の仕組み
検出
➡食材の大きさによらず検出できる
18

19. 画像認識の仕組み
検出
切り出した画像
検出用
CNN
2クラス分類
食材or食材以外
19

20. 画像認識の仕組み
検出
検出結果
20

21. 画像認識の仕組み
検出
検出された画像
識別用
CNN
多クラス分類
ピーマンor玉ねぎor...
21

22. 工夫点
• ノイズに強い物体検出
検出されない
22

23. 工夫点
• ノイズに強い物体検出
– 今回の物体検出の工夫
• 訓練データを1から作成させることで性能を向上
• 食材以外を食材として認識しない
– 一般的な物体を検出するアルゴリズム
• 食材以外も認識してしまい、識別性能を落とす
23

24. 今後の課題
• データの拡張
– 現実に近い写真の追加
• アンサンブル
– 複数の識別器を用いた分類
➡ロバスト性の向上
24

25. おわり
25