家庭料理における調理効率化に向けた料理レシピの構造化に関する研究

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
家庭料理における調理効率化に向け
た料理レシピの構造化に関する研究
2021/02/03
北海道大学工学部
情報エレクトロニクス学科情報理工学コース
複雑系工学講座調和系工学研究室
学部4年小林直也

2
研究背景
• 家庭料理には健康面、経済面でメリットがある
– 自らが調理することでレシピや具材に注目
– 一般に外食や弁当の購入より安価
• 一方、家庭料理を効率的に行うのは困難
– 材料の買い出し
• その日その日でレシピを決めると買い物回数が増加
– 献立の決定
• レシピサイトには大量のレシピ
• 計画的に選択しなければ材料が使い切れない
– 実際の調理
• レシピサイトの調理手順はその1品を作るもののみ
• 複数レシピの同時調理の手順を知りたい
→家庭料理の効率化の需要がある
– 材料をまとめ買いしやすい献立
– 最短の時間で可能な主菜、副菜の組み合わせ
– 最短の調理手順

3
研究背景
• 効率的な調理計画作成に必要な情報
– 材料の種類と分量
– 各調理工程の所要時間
– 調理工程の順番
• 既存の日本語レシピからの情報抽出は困難
– 材料名の表記法が異なる（たまねぎ、タマネギ、玉ねぎ）
– 分量に「適量」「少々」など曖昧な表現
– 各調理にかかる時間の情報がない
– レシピ文章から調理工程の抽出が困難
→ 構造化レシピを作成
– 通常のレシピをコンピュータで扱うという難題を回避
– コンピュータで扱えるレシピの有用性を示す

4
研究概要
• 料理レシピを構造化
– 構造化レシピ作成支援アプリの作成
– 木構造をベースとした構造化レシピを作成
→ コンピュータでのレシピの処理が可能に
• 材料をちょうど使い切れる一週間の献立提案
– 材料を使い切りやすい献立の選択
– 材料を使い切るためのレシピの分量変更
• 調理手順のスケジューリング
– 最短時間で調理可能な主菜、副菜の組み合わせの選択
– 最短時間で調理可能な調理手順を可視化

5
関連研究
• コンピュータビジョン分野
– 料理レシピテキスト、画像の相互検索[1]
– 料理画像→レシピ生成[2]
→レシピをWord2VecやResNetにより抽出したベクトルとして扱う
→本研究のレシピの表現とは大きく異なる
– レシピ中の分量や調理時間の数値に着目するには不向き
– 人間が容易に理解できる表現でない
[1] J. Marín et al., "Recipe1M+: A Dataset for Learning Cross-Modal Embeddings for
Cooking Recipes and Food Images," in IEEE Transactions on Pattern Analysis and
Machine Intelligence, vol. 43, no. 1, pp. 187-203, 1 Jan. 2021
[2] A. Salvador, M. Drozdzal, X. Giro-i-Nieto and A. Romero, "Inverse Cooking: Recipe
Generation From Food Images," 2019 IEEE/CVF Conference on Computer Vision and Pattern
Recognition (CVPR)

6
関連研究
• レシピの分析に関する分野
– 香り成分に基づくレシピの相性判定[3]
– 調理手順を自動的にワークフロー化[4]
– →レシピをグラフ構造や木構造で表現
→本研究のレシピ表現に類似
本研究では構造化後のレシピの利用に焦点
[3] Ahn, Yong-Yeol and Ahnert, Sebastian and Bagrow, James and Barabasi, Albert-Laszlo, 2011
Flavor network and the principles of food pairing. Scientific Reports. 1. 10.1038/srep00196.
[4] Y. Yamakata, S. Imahori, H. Maeta and S. Mori, "A method for extracting major workflow composed of
ingredients, tools, and actions from cooking procedural text," 2016 IEEE International Conference on
Multimedia & Expo Workshops (ICMEW), Seattle, WA, 2016, pp. 1-6, doi: 10.1109/ICMEW.2016.7574705.

7
提案手法
材料が余りにく
い14品のレシピ
選択
レシピの分量
変更
調理手順が最
短の一週間の
組み合わせ
一週間分の献立
【レシピ名】
ブロッコリーとベーコンのにんにく炒め
【材料】
ブロッコリー 1株
ベーコン 50g~
︙
︙
【作り方1】
ブロッコリーは小房に分けてレンジで1~2分加熱する
︙
︙
通常のレシピ
構造化レシピデータ

8
レシピの構造化手順
• 構造化レシピは、構造化レシピ支援アプリを利用して手作業で作成
• 今回は既存のレシピを参考に構造化レシピを作成する
【レシピ名】
【材料】
ベーコン 50g~
にんにく 1かけ
サラダ油大さじ1
●しょうゆ小さじ１
●塩こしょう少々
【作り方1】
ブロッコリーは小房に分けてレンジで1~2分加熱する。
【作り方2】
フライパンにサラダ油とみじん切りにしたにんにくを入れ
て弱火で熱しする
︙
︙
ベーコン 50g
しょうゆ小さじ1
塩胡椒少々
ブロッコリーを小房に分ける
小房に分けたブロッコリーをレンジ
で加熱
にんにくをみじん切りする
みじん切りにしたにんにくを炒める
元レシピ
作り方から元の材料を変化させる操作
を抽出
例:
材料を抽出
︙
︙
にんにくみじん切り切ったにんにく

9
ベーコン 50g
しょうゆ小さじ1
塩胡椒少々
ブロッコリーを小房に分ける
小房に分けたブロッコリーをレンジ
で加熱
にんにくをみじん切りする
みじん切りにしたにんにくを炒める
ベーコン 50g
濃口しょうゆ小さじ1
塩 0.5g
ブロッコリー
切ったブロッ
コリー
にんにく
切ったにんに
く
こしょう 0.5g
切る切ったブロッコリー
レンジで加
熱
加熱したブロッコ
リー
みじん切り切った
炒める炒めたにんに
く
材料名を統一・あいまいな分量を決定
材料→調理→中間材料
の形式に操作を分ける
︙
︙ ︙
︙

10
ブロッコリー
切ったブロッ
コリー
にんにく
切ったにんに
く
切る切ったブロッコリー
レンジで加
熱
リー
みじん切り切ったにんにく
炒める炒めたにんに
く
元レシピ中に明記
されていない時間
は推定(赤字)
3分
2分
3分
10分
︙
︙
・調理時間の情報を追加

11
ブロッコリーにんにく
切る
切ったブロッコリー
レンジで加
熱
リー
みじん切り
切ったにんにく
炒める
炒めたにんに
く
︙
3分
調理者
2分
レンジ
3分
調理者
炒める
10分
コンロ、フライパン
ベーコン
細切り
切ったベーコン
同一の中間材料同士をつなぎ、木構造でレシピを表現
3分
調理者
3分
調理者
各調理には必要な器具(調理
者含む)が対応
調理者が並列作業できると
仮定し、コンロを使う調理
は調理者が不要とした

12
レシピ構造化支援アプリ
レシピのタイトルを入力
調理を追加
• 同一の表現方法で簡単に構造化レシピを作成する必要
- 統一された材料名、調理名
- 必要情報の欠落がない
→ レシピ構造化支援アプリを作成し利用

13
材料名、調理名は選択式
→名称の統一
・材料名の選択

14
分量、時間の入力は必須
調理後の中間材料を命名
・必要情報の入力

15
レシピの構造が自動的に
可視化される
・構造化レシピの可視化

16
完成するまで調理を追加
・調理の追加

17
参考にしたレシピ
https://cookpad.com/recipe/2738643

18
作成した構造化レシピ
{
"name": "ブロッコリーとベーコンのにんにく炒
め",
"cookingSteps": [{
"ingredients": [{
"id": "ブロッコリー",
"name": "ブロッコリー",
"amount": "1",
"unit": "株"
}],
"cooking": {
"id": "cooking_169",
"name": "切る/包丁/切る",
"time": "3"
},
"step": 1,
"cookedIngredient": {
"id": "cookedIngredient_1",
"name": "切ったブロッコリー"
}
}, {
"ingredients": [{
"id": "ニンニク",
"name": "ニンニク",
"amount": "1",
"unit": "かけ"
}],
︙
︙
・構造化レシピデータはjson形式で出力される

19
実験
目的: 構造化レシピを買い出しの効率化に利用
– 一週間分の材料をまとめ買いして、一週間後に使い切る
実験1. 材料の余りが最小となる14品のレシピの選択
– 主菜、副菜15品ずつのレシピの中から7品ずつ選択
– 14品のレシピを作り終えたときに余る材料が最小になるレシピを選
択
実験2. 材料の余りをゼロにするためのレシピの分量変更
– 1の結果余った材料を使い切るために各レシピに割り振る
目的: 構造化レシピを調理時間の短縮に利用
実験3. 調理時間が最短となる主菜と副菜の組み合わせの導出
– 1で選択した主菜、副菜に同時調理のスケジューリングを適用
– 1週間の調理時間が最短となる組み合わせを導出
実験4. 2品のレシピの最短の調理手順の可視化
– 同時調理のスケジューリング結果を図示

20
使用した構造化レシピデータ
レシピ名
調理の所要時間総和
(分)
単品での最短調理
時間(分)
きゅうりの中華漬け 48 42
こんこんてりてり 51 35
なすのなめろう 24 24
エビチリ 21 18
スコッチエッグ 45 35
タコのカルパッチョ 23 23
ハムエッグ 8 8
ピーマンの肉詰め 39 39
ブロッコリーとベーコンの
にんにく炒め
42 31
卵とエビの春巻き 36 29
大根とベーコンの炒め物 41 35
治部煮 53 43
肉じゃが 57 48
長芋と鶏肉の酢豚風 23 18
鯖の南蛮漬け 29 19
レシピ名
調理の所要時間総
和(分)
単品での最短調理時間
(分)
あんかけうどん 43 32
とんかつ 34 34
とろ~りクリームシ
チュー
67 55
グラタン 29 19
コロッケ 44 34
ビーフシチュー 74 56
ポテトマカロニグラタ
ン
93 57
マーボー春雨 60 37
ロールキャベツ 31 30
回鍋肉 54 46
油淋鶏 34 30
焼きめし 17 14
生姜焼き 42 36
酢豚 58 42
野菜餃子(24個) 44 44
主菜候補(15品) 副菜候補(15品)
調理ステップ数平均: 8.93
材料数平均: 4.03
材料質量平均: 632g
主菜最短調理時間平均: 37.7分
副菜最短調理時間平均: 29.8分

21
1. 材料の余りを最小化するレシピ選択
• 材料をちょうど7日間の献立で使用する分量購入することはできな
い
– 店舗で購入できる単位が存在
→材料の余りが発生
• 材料の余り(g) = 店舗で購入できる分量(g) × 自然数 – 7日間で使用
する分量(g)
• 材料の余りの総計が最小になるように主菜、副菜から7品ずつ選択
• 実験設定
– 主菜候補15品、副菜候補15品から7品ずつ選択
– 同じレシピは2回以上選択しない
– 材料の余りはグラム換算で算出
– 店舗で購入できる分量は材料の種類と1:1対応
– すでに所持している材料はないものとする
– 調味料や牛乳、米などは考慮すべき材料から予め除いた

22
1. 材料の余りを最小化するレシピ選択
• 材料の余りの最小化の定式化
• 献立 𝒃 = 𝑏0, 𝑏1, … , 𝑏𝑅
– 𝑅：料理の種類数
– レシピ 𝑖 を献立に含める場合 𝑏𝑖 = 1
レシピ 𝑖 を献立に含めない場合 𝑏𝑖 = 0
• レシピ 𝑖 に必要な材料 𝒎𝑖 = [𝑚𝑖,0, 𝑚𝑖,1, … , 𝑚𝑖,𝑀]
– 𝑀：データで使用した全材料の種類数
– 𝑚𝑖,𝑗：レシピ 𝑖 に必要な材料 𝑗 の量[g] (0であることも)
• 店舗で購入できる材料の量 𝒔 = [𝑠0, 𝑠1, … , 𝑠𝑀]
– 𝑠𝑗：材料 𝑗の販売単位[g]
• 献立 𝒃 の材料の余り
– 𝐿 = 𝑗(𝑠𝑗𝑛𝑗 − 𝑖 𝑏𝑖𝑚𝑖,𝑗)
• 𝑠𝑗𝑛𝑗：購入する材料 𝑗 の量[g]
– 𝑛𝑗：𝑠𝑗𝑛𝑗 − 𝑖 𝑏𝑖𝑚𝑖,𝑗 ≥ 0 を満たす任意の自然数
• 𝑖 𝑏𝑖𝑚𝑖,𝑗 ：献立𝒃 で使用する材料 𝑗 の量[g]
» 𝐿を最小化する𝑛𝑗, 𝑏𝑖
Google OR-Tools[1] の CP-SAT solver を使用
[1] Google OR-tools. https://developers.google.com/optimization/

23
実験1 結果
材料名余る分量(g)
にんじん 65
キャベツ 50
ミニトマト 80
ベーコン 50
ロースハム 51
きくらげ 30
食パン 100
豚バラ肉 150
合計 576
選択された主菜
とんかつ
ビーフシチュー
マーボー春雨
ロールキャベツ
回鍋肉
焼きめし
生姜焼き
選択された副菜
きゅうりの中華漬け
なすのなめろう
エビチリ
ハムエッグ
卵とエビの春巻き
鯖の南蛮漬け
材料の余りが最小になる主菜、副菜
発生した材料の余り
結果比較余る材料の分量(g)
最適解 576
平均値 2440
最小値 1173
最大値 3594
ランダムな選択(50回)との比較

24
2.材料の余りをゼロにするためのレシピの分量変更
• 実験1の結果では、材料の余りはゼロにはならない
– レシピ数が不十分
– 1つのレシピにしか使用されない材料が存在
→余った材料を各レシピに使用される割合に応じて分配
レシピA
にんじん0.5本
レシピB
にんじん0.3本
レシピC
にんじん0.2本
にんじんの余り
100g
+50g
+30g
+20g
• 実験設定
– レシピ中で個数表記(本、枚など)である分量は0.1個単位で増量
– グラムで表記されている分量は1g単位で増量
– 上の条件を満たすため小数を切り捨て

25
実験2 結果
変更前の分量と変更後の分量の比較
主菜副菜変更前分量変更前分量(g) 変更後分量変更後分量(g)
ビーフシチューにんじん 1本 150 1.2本 180
マーボー春雨にんじん 10g 10 12g 12
マーボー春雨きくらげ 70g 70 100g 100
ロールキャベツ食パン 2枚 100 4枚 200
ロールキャベツベーコン 10枚 200 12枚 240
回鍋肉キャベツ 250g 250 263g 263
回鍋肉豚バラ肉 250g 250 400g 400
焼きめしロースハム 5枚 85 6.6枚 112
エビチリミニトマト 2個 20 10個 100
ハムエッグロースハム 4枚 68 5.3枚 90
ブロッコリーとベーコンのにんにく炒めベーコン 50g 50 60g 60
鯖の南蛮漬けにんじん 0.5個 75 0.6個 90
問題点(赤字)
・分量が増えすぎている
→データ数が少なく、一品にしか使われない材料が多数
・小数が実用的でない
→材料ごとに分量の変更可能な単位を決定すれば解決

26
構造化レシピのスケジューリング
• 調理の計画はジョブショップスケジューリング(JSP)に類似
– 調理者、調理器具に複数ある調理を割り振る
– 各調理には完了するのに一定の時間が必要
– 各調理を行う順番には制約がある
– 最短時間で全ての調理を完了することを目指す
• 典型的なJSPとの相違点
– 単一のレシピ内にも並列作業可能な調理が存在
• ex.じゃがいもを煮る間にキャベツを切る
– 調理に必要な器具は複数存在
• ex.野菜を炒める: フライパン, コンロ
– 同じ調理が可能な器具は複数存在
• ex.野菜を炒める: コンロAとコンロBのいずれかが担当
• 実験条件
– コンロを使う調理は調理人を要しない(他の調理を並列作業可)
– 各調理を開始できる条件は、中間材料が全て揃っていること
– スケジューリングの実行にはCP-SAT solver[1]を使用
26
[1] Google OR-tools. https://developers.google.com/optimization/

27
3.調理時間が最短となる主菜と副菜の組み合わせの導出
• 実験1で選択された主菜と副菜の組み合わせ方は7ｘ7=49通
り
• 一週間の主菜と副菜の組み合わせ方は7の階乗通り
– 49通りの組に2品を同時調理するスケジューリングを適用
– この結果を元に一週間での調理時間が最短の組み合わせを計算
• 実験設定
– 主菜と副菜の組み合わせ方に注目
– どの組み合わせを何日目に作るかは考慮しない
– 調理環境
• 調理人1
• フライパン1
• コンロ2
• 保存容器1
• ボール1

28
実験3 結果
recipe1＼recipe2
きゅうりの中華漬
け
なすのなめろうエビチリハムエッグ
ブロッコリーとベー
コンのにんにく炒め
卵とエビの春巻き鯖の南蛮漬け
とんかつ 47 40 42 37 43 49 38
ビーフシチュー 58 56 56 56 59 56 56
マーボー春雨 49 43 45 40 56 53 44
ロールキャベツ 48 36 36 31 39 41 39
回鍋肉 46 46 56 51 71 63 50
焼きめし 42 25 22 17 31 29 28
生姜焼き 44 40 44 39 53 51 40
主菜副菜調理時間(分)
とんかつ鯖の南蛮漬け 38
ビーフシチュー卵とエビの春巻き 56
マーボー春雨ハムエッグ 40
ロールキャベツブロッコリーとベーコンのにんにく炒め 39
回鍋肉きゅうりの中華漬け 46
焼きめしエビチリ 22
生姜焼きなすのなめろう 40
一週間の調理時間(分)
平均 312
最大値 345
最小値 281
選択された一週間分の主菜・副菜の組み合わせ
全通りの平均、最大値、
最小値
主菜・副菜の同時調理時間

29
4. 2品のレシピの最短の調理手順の可視化
• レシピのスケジューリング結果の表示
– 調理人と調理器具ごとに調理が割り当てられる
– スケジューリング結果として各調理の開始時間と終了時間が提示
→各調理に取り組む時間、順番をガントチャートで可視化
• 実験設定
– 実験3の結果の組み合わせの一つである回鍋肉ときゅうりの中華漬け
の構造化レシピを例に取る

30
回鍋肉の構造化レシピ

31
きゅうりの中華漬けの構造化レシピ

32
スケジューリング結果
【調理者】
0-3分豚バラ肉に片栗粉をまぶす
3-5分きゅうりに塩をまぶす
5-8分キャベツを洗う
8-10分洗ったキャベツを手でちぎる
……
【フライパン】
3-13分片栗粉をまぶした豚肉を中火で炒める
13-23分柔らかくしたキャベツを中火で炒める
23-33分焼いたキャベツ, 甜面醤を入れた豚肉,
長ネギを中火で炒める
……
・スケジューリング結果のテキスト
今回は構造化レシピから文章生成のアルゴリズムを確立で
きず、手動で文章表現を作成

33
実験4 結果
片栗粉をまぶした豚
肉を中火で炒める
板ずりした
きゅうりを寝
かす
味付けされた
きゅうりを冷蔵
長ネギを入れた
豚肉とキャベツ
を中火で炒める
■回鍋肉
■きゅうりの
中華漬け
※コンロ2不使用
ボール
豚バラ肉に片
栗粉をまぶす
保存容器
コンロ1
フライパン
調理者
時間(分)
使
用
器
具
・
調
理
者
それぞれのレシピの調理時間の和: 88分
同時調理の最短調理時間: 46分

34
本実験で提案された献立
主菜副菜調理時間(分)
とんかつ鯖の南蛮漬け 38
ビーフシチュー卵とエビの春巻き 56
マーボー春雨ハムエッグ 40
ロールキャベツブロッコリーとベーコンのにんにく炒め 39
回鍋肉きゅうりの中華漬け 46
焼きめしエビチリ 22
生姜焼きなすのなめろう 40
主菜副菜変更前分量変更前分量(g) 変更後分量変更後分量(g)
ビーフシチューにんじん 1本 150 1.2本 180
マーボー春雨にんじん 10g 10 12g 12
マーボー春雨きくらげ 70g 70 100g 100
ロールキャベツ食パン 2枚 100 4枚 200
ロールキャベツベーコン 10枚 200 12枚 240
回鍋肉キャベツ 250g 250 263g 263
回鍋肉豚バラ肉 250g 250 400g 400
材料名分量
にんじん 2本
きゅうり 3本
ニンニク 4かけ
ショウガ 9かけ
ピーマン 3個
キャベツ 2玉
豚ロース肉 2パック
卵 3パック(12個)
なす 1個
ミョウガ 2本
7日分の主菜、副菜の組合わせ購入する材料と分量(一部)
材料の分量変更(一部)

35
まとめ
• 構造化レシピの提案と構造化支援アプリを作成
– 日本語レシピをコンピュータで扱う課題を回避
– 分量の計算やスケジューリングが実施可能な構造化レシピを作成
• 構造化レシピを家庭料理の効率化に利用する実験を実施
– 統一された材料名、分量→材料が余りにくい献立提案
→ 材料を余らせずまとめ買いすることが可能に
– 明確な調理手順、所要時間→レシピのスケジューリング
→ 最も時間のかからない組み合わせや手順で調理可能に
→ 家庭料理の効率化に利用可能
• 今後の課題
– 必要なテーブルの追加
• 材料、分量、調理の種類→調理時間決定
• 購入しやすい分量を追加
– 中間素材の名称を統一→中間素材の保存、利用
– レシピの選択と分量変更を合わせて最適化

家庭料理における調理効率化に向けた料理レシピの構造化に関する研究

In this document

More Related Content

What's hot

Similar to 家庭料理における調理効率化に向けた料理レシピの構造化に関する研究

More from harmonylab

Recently uploaded

家庭料理における調理効率化に向けた料理レシピの構造化に関する研究