[DL Hacks]Learning Cross-modal Embeddings for Cooking Recipes and Food Images[CVPR 2017]
•
1 like•1,007 views
2018/03/26 Deep Learning JP: http://deeplearning.jp/hacks/
![Learning Cross-modal Embeddings for
Cooking Recipes and Food Images
[CVPR 2017]
東京大学工学部システム創生学科知能社会システムコース
B3 近藤 生也](https://image.slidesharecdn.com/im2recipe2-180427043855/85/DL-Hacks-Learning-Cross-modal-Embeddings-for-Cooking-Recipes-and-Food-Images-CVPR-2017-1-320.jpg)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (9)
[DL Hacks]Learning Cross-modal Embeddings for Cooking Recipes and Food Images[CVPR 2017]
- 1. Learning Cross-modal Embeddings for Cooking Recipes and Food Images [CVPR 2017] 東京大学工学部システム創生学科知能社会システムコース B3 近藤 生也
- 2. 書誌情報 • 論文名 • Learning Cross-modal Embeddings for Cooking Recipes and Food Images • 著者 • MIT Torralba labの方々など • 公開日 • 2017/07/20 • 論文URL • http://im2recipe.csail.mit.edu
- 3. 背景 • そもそも分類じゃだめなのか • 料理の画像認識は難しい • 同じクラスでも違う • チキンラーメンと千里眼のラーメン • 違うクラスでも似てる • うどんとフォー • 考えられる料理名の数に対して、データ数が少なすぎる → 一般料理で精度が残念
- 4. 背景 • Food-101（分類）の精度と、 実際に使ってみた結果 ⇒分類には限界がある • しかしそもそも適切なラベルが含まれていなかった...• 101分類自体は高い精度が出る
- 6. 概要 • Recipe1M というデータセットの作成 • 画像→レシピの検索（人間超え） • レシピ→画像の検索 • 材料の特定 • 料理の演算
- 7. Recipe1M • 20サイトからスクレイピング • タイトル • 材料 • レシピ • 画像 • コースラベル（メイン、スナック、前菜...）
- 8. 材料のエンコード https://speakerdeck.com/lunardog/learning-cross-modal-embeddings-for-cooking-recipes-and-food-images • あらかじめレシピ データで学習させた word2vecモデルを使 う • あらかじめ材料名は 同じ基準で並べ替え る • bi-directional LSTM でエンコード • 300次元にする
- 11. skip-thought
- 18. 結果（レシピから画像の推定）
- 19. 結果 • チーズサラダ - サラダ + ケーキ => チーズケーキ • 等、意味的な演算を可能とした。