1. 人の行動をモデル化して予測する
-調理作業支援を題材とした行動予測と情報提示-
オムロンサイニックエックス株式会社
橋本敦史
@a_hasimoto
atsushi.hashimoto at sinicx.com

2. 自己紹介
~2013.3 博士(情報学)@京都大学
- 机上作業を対象とした画像処理
~2018.3 助教@京都大学
- 作業ガイダンス
2018.4~ OMRON SINIC X 株式会社
シニアリサーチャー

3. OMRON SINIC X(OSX)について
近未来をデザインし，自ら実現することを目的とした会社
2018.4設立
Jiaxin Ma
栗原 聡
(慶應大)
橋本 敦史
Felix von Drigalski
片岡 裕雄
(産総研)
米谷 竜
(東大)
諏訪 正樹
小西 光春
井尻 善久
牛久 祥孝
松原 崇充
(NAIST)

4. 本シンポジウムの開催案内より
• 鉄鋼業は(…中略…) 設備の点検・メンテナンス，製品の検査など，
人手でしか行えない作業も多くあります．そのため(…中略…)
人による作業の自動化，効率化は製造業全体の課題であります．
スマートキッチンと鉄鋼業の共通点・相違点
• 人手の作業
• 手順書がある．
• 材料の加工=ものづくり
• しばらく前にやったことが後に影響
• 加熱など，制御系機器との協調作業
頭の体操と思いながら，聞いていただければ幸いです．

5. 認識に基づく調理支援システム(デモ動画)
http://www.mm.media.kyoto-u.ac.jp/wp-content/uploads/2018/03/demo.webm

6. 何をしたいのか？
調理を支援したい
必要な人に必要な情報を提供したい

7. 何をしたくないのか？
邪魔をしたくない
作業以外の余計な操作を増やしたくない
調理を支援したい
必要な人に直ぐに情報を提供したい

8. 何をしたくないのか？
作業以外の余計な操作を増やしたくない
必要な人に直ぐに情報を提供したい
情報を全表示したくない(必要なタイミングで小出しにする）
わかりやすいローストビーフの作り方
1. 牛肉400gに予め塩小さじ2/3，胡椒適量
で下味をつける
小さじ2/3は，小さじすり切り1杯から2mm
下の高さ．適量とは，味見をしながら好みの
味付けにせよとの指示．この場合，生の牛肉
の状態では味見ができないので，何度か作っ
て好みを見つけてください．
2. フライパンにオリーブオイル大さじ1，
牛肉を入れて中火で炒める．
液体で大さじ1を計る場合，表面張力でスプー
ンから盛り上がる程度に入れる．中火とは鍋
底に火が当たるくらい．焼き加減は，肉の表
面にメイラード反応が十分に起こり，内部に
火が通り過ぎない程度とする．メイラード反
応は165℃程度でおき，香ばしい香りと，肉
の色味の変化（いわゆるきつね色の状態)で
確認できる．内部は55℃以上で火が通り，
65℃以上で火が通り過ぎてしまう．
2. 上下を返してさらに1分ほど焼く．
表面にメイラード反応を起こすだけで良い．
3. アルミホイルにつつんで寝かせる
長時間に渡って肉の内部を55℃以上に保つ
ことにより，ミオシンの変性を促し，内部が
柔らかくなるようにする．

9. 適切なタイミングでの情報提示
• 例) カーナビゲーション
• 交差点に侵入して，実際に曲がるよりも前に（しかし，他の交差点と
は勘違いしにくいタイミングで）情報を提示
©Google map
S
G
札幌駅
札幌ドーム
©Google street view

10. 料理/製品組み立てにおけるナビとは？
Slice
cut into ¼
put into
bowl
Add seasonings
Dress in the
seasonings
自由度を許すなら，本質的には順序は複数通りある
• 許さない場合はナビゲーションは比較的容易
• 許すとすれば，意図の推定が必要となる（やる前に情報提示）

11. より網羅的なナビゲーション⇢オートメーション?
• ノーマンによる「行為の7段階モデル」(誰のためのデザイン?1988)
1. ゴール
の形成
2. 意図の
形成
3. 行為の
詳細化
4. 行為の実行
（観測可能な物理的行為）
5. 状況の
知覚
6. 状況の
解釈
7. 結果の
評価
- 十分細かく切れた
- まだ半分ある
このまま続ける？ z
o) 脳神経回路を介した身体への指示
a) 道具や対象を探す
（視線の変化）
b) それらへ腕を伸ばす
（筋電等の初期動作）
c) それらに接触する
（領域の交差）
d) それらに変化を加える
（一般的な動作認識対象）
これまでの成果
= c)を手がかりに
4.から2.を推定

12. スマートキッチン@京都大学
流量センサ（上下⽔道）
荷重とその重⼼を
計測できる天板
俯瞰カメラ 消費電⼒計
カメラC
カメラA & 深度カメラ カメラB & 熱画像カメラ

13. 各種センサから予測される行動の例1
（水道の流量センサ)
水を貯めている
水を流している
（洗いもの？）
上水道流量
下水道流量

14. 各種センサから予測される行動の例2
（コンロの電力センサ)
煮込んでいる?
沸騰?
ある程度火が
通ったと判断?
再度沸騰させて
完成?

15. 各種センサから予測される行動の例2
（サーモカメラ)カメラB & 熱画像カメラ
多くの加熱は均一な熱媒体
の中で行われる．
- 煮る，揚げる，蒸す
⇢ 制御の問題に落ちる
食材の温度を不均一に加熱
- 炒める
⇢ 人の介入を考慮する必要
100℃で停滞 ⇢ 煮る or 蒸す
160℃以上で温度が均一 ⇢ 揚げる
温度が不均一 ⇢ 炒める

16. 机上物体検出（専用に学習データを集めたもの)

17. さらに「手領域」と「物体領域」の
インタラクションを抽出したもの

18. インタラクションを手がかりとした
作業追跡・意図推定の実験

19. 人と物体の接触に基づく
意図推定（工程事前予測）の精度
実験対象の映像毎の精度（再現率） 実験対象の工程毎の精度（再現率）
把持中の調味料ボトルの
誤認識による推定精度低下

20. 実施中の工程(始まった後)の推定精度

21. 様々な調理支援システム(サーベイ)
スマートキッチンシステム
入力
次へ
AR
外部知識
インターフェース操作
要約映像，
キャプション
直接投影
調理記録
(カロリー, その他栄養，
廃棄量, 消費資源量,
etc.)
行動観測
音声
タッチ
(接触/非接触) ジェスチャ
視線
ARマーカ
荷重
映像
センサ化された
調理器具
情報提示
作業ログ
食事記録
自動生成レシピ
レシピ 映像，音声
出力
データベース(栄養，
味・香り，消費資源)
DB

22. Cook’s Collage: Déjà vu Display for a
Home Kitchen (Georgia Institute of Technology, 2005)

23. Points of Déjà vu Display
• Count “how many times you did it” and Show.
• 人間の短期記憶を補助
• 研究手法として WOZ法を利用している．
• WOZ: Wizard of Oz (オズの魔法使い)
Observer
Subject
System

24. CounterActive(MIT Media lab, 2001)
• プロジェクタによる手かざしスイッチ
& 直接的な情報の投影
• 机上の物体配置に合わせた動的なイン
ターフェイス
• 作業空間の直ぐ側に情報を直接投影⇢顔
をあげずに情報を参照できる．

25. eyeCOOK (Queen’s University, Canada, 2003)
Eye Tracker
Head Set
• 視線追跡 + 音声認識
• 手を使わず操作できるレシピ閲覧イン
ターフェイス
• 視線=マウスカーソルの位置
• 音声=クリック
• 詳細表示と概要表示を画面との距離で
自動的に切り替え．
• 画面の直ぐ近くにいる⇢詳細表示
• 離れている⇢概要表示

26. Kitchen of the Future (Ochanomizu Univ.
Japan, 2006)
• フット・スイッチ
• 認識技術を使うよりはるかに簡便で正確な入力が可能
• 複雑な入力操作は不可能

27. • 頻出する行動パターンを学習
• ショートカットメニューをプロジェ
クタで投影
• 手かざしスイッチで操作
• 例) 冷凍庫から取り出す⇢電子レン
ジで解凍メニューをだす．
Kitchen Sense(MIT Media Lab. 2005)
• 不可視の情報をプロジェクションで可視化
• 液体の温度: 高温⇢赤くする

28. Enabling calorie-aware cooking in
a smart kitchen (NTU, 2008)
• “重量”をセンシング⇢カメラで
は得られない様々な情報を得る
• 食材のカロリー
• 場所（天板の重心移動)
• 液体をグラム単位で追跡,等
• 食材の種類の認識
• WOZ法を用いている
（現在は学習データさえあれば深
層学習などで代替可能）

29. Panavi (Keio Univ. Japan, 2009)
• 温度センサや加速度センサを道具(フライパン)に組み込み
• 「どう加熱したか」をセンシング．
• 音アイコンやプロジェクタによる情報の直接投影による状態の
通知・可視化

30. Automatic Measuring for Seasonings
(Our research, 2009)
• 調味料の消費量を計測
• 調味料ボトルの上にARマーカーを設置
• 秤の上なら，どこに返しても大丈夫．
• 返却前と返却後の重量差=消費量
カメラ
ARマーカ付き
調味料ボトル
精密な秤

31. MimiCook (The Univ. of Tokyo, Rekimoto Lab. 2014)
• 手順逸脱の検知
• 道具や食材の置き場所は予め決めておく（キッティング済み）
• その場所からの取出し=使用，とみなし，決められた1通りの手順との
ズレをチェック⇢逸脱を検知．

32. 作業映像からのレシピ文生成
(京大森研との共同研究, 2017)
作業ログを動画⇢自然言語表現へ圧縮．
動詞に相当するものの認識が入っていないため，
まだまだ不完全．

33. 様々な調理支援システム(再掲)
スマートキッチンシステム
入力
次へ
AR
外部知識
インターフェース操作
要約映像，
キャプション
直接投影
調理記録
(カロリー, その他栄養，
廃棄量, 消費資源量,
etc.)
行動観測
音声
タッチ
(接触/非接触) ジェスチャ
視線
ARマーカ
荷重
映像
センサ化された
調理器具
情報提示
作業ログ
食事記録
自動生成レシピ
レシピ 映像，音声
出力
データベース(栄養，
味・香り，消費資源)
DB

34. 近年の動向
• YouCook2(2017), EpicKitchen Dataset(2018)
• コンピュータビジョン&パターン認識分野で，次々と大規模な
調理活動のデータセットが作成・公開されている．
• なぜ「料理」？
• 「製品組み立て」の実データは，
機密が一杯で公開しにくい．
• 言語資源（レシピ）が豊富
• 作業の複雑製&多様性
Epic Kitchen Dataset (ECCV2018)

35. 最後に
OMRON SINIC Xは，正に製造業の近未来をデザインしたい
Jiaxin Ma
栗原 聡
(慶應大)
橋本 敦史
Felix von Drigalski
片岡 裕雄
(産総研)
米谷 竜
(東大)
諏訪 正樹
小西 光春
井尻 善久
牛久 祥孝
松原 崇充
(NAIST)
コラボレーション頂ける企業/研究室も募集中です！