AIL 最終発表会
2017/1/21(土) チーム: taose-deeplearning
三浦笑峰(smilenannan) 松島達也(Tmats)
釘島昌史(Kxxxxxxxx) 次田叡令(tsugitta)
久保静真(kuboshizuma)
1

プロジェクト概要
2

プロジェクト
CookWhat
野菜を撮影するだけで、その野菜を使った
レシピを提案してくれるアプリケーション
3

プロジェクトの目的
一人暮らしの大学生は献立を考えるのは大変
1. 一人分だと食材が余ってしまう
2. 献立考えるが面倒くさい
写真を撮るだけで余った食材を使った
レシピを提案してくれる
4

アプリケーションの意義
普段から料理をする人は42%、自炊したい人は82%
自炊をもっと手軽にしたい
( http://lab.oceanize.co.jp/cooking/ ) 5

デモ
6

デモ
デモを行います
7

8

アプリケーション構成
9

アプリケーション全体像
レシピの取得
画像から食材
の認識
食材を指定して
レシピのリクエスト
画像認識API
レシピAPIiOSクライアント
10

iOSクライアント
• 一切の無駄を排除し、直感的かつ最短の操作で最適なレ
シピに巡り会える
• オレンジを基調とした、どこか馴染みのある色合いによ
り、利用者の生活にすんなりと溶け込むことが可能に
11

レシピAPI
• 材料からレシピをレコメンドするAPIが公開されていな
かったため、自作。
• 楽天のレシピAPIからレシピのデータだけは集められた
ので、レシピのDBを構築。(レシピ数約5,000件)
• 食材を入力すると、その食材を使ったレシピを出力する。
12

画像認識API
• iOSで撮影した画像に写っている野菜を検出して
その野菜の名前を出力するAPI
→1枚に複数の野菜が写っていても対応
• 物体の検出と
検出した物体がどの野菜かを識別
13

画像処理・認識
14

画像認識の仕組み
検出
識別
人参
ピーマン
トマト
流れ
15

画像認識の仕組み
検出
トマト
人参? トマト?
16

画像認識の仕組み
検出
検出プロセス
17

画像認識の仕組み
検出
➡食材の大きさによらず検出できる
18

画像認識の仕組み
検出
切り出した画像
検出用
CNN
2クラス分類
食材or食材以外
19

画像認識の仕組み
検出
検出結果
20

画像認識の仕組み
検出
検出された画像
識別用
CNN
多クラス分類
ピーマンor玉ねぎor...
21

工夫点
• ノイズに強い物体検出
検出されない
22

工夫点
• ノイズに強い物体検出
– 今回の物体検出の工夫
• 訓練データを1から作成させることで性能を向上
• 食材以外を食材として認識しない
– 一般的な物体を検出するアルゴリズム
• 食材以外も認識してしまい、識別性能を落とす
23

今後の課題
• データの拡張
– 現実に近い写真の追加
• アンサンブル
– 複数の識別器を用いた分類
➡ロバスト性の向上
24

おわり
25