RisaTakahashi_器画像撮影による料理との組み合わせ提示システムの開発 — 画像欠損の影響を考慮した類似度検索の精度評価 —

RisaTakahashi_器画像撮影による料理との組み合わせ提示システムの開発 — 画像欠損の影響を考慮した類似度検索の精度評価 —

• 1.
  器画像撮影による料理との組み合わせ提示システムの開発 — 画像欠損の影響を考慮した類似度検索の精度評価 — 関西大学○高橋りさ , 高橋知奈 , 松下光範
• 2.
  背景 店頭で器を購入し活用することは容易ではない 写真： https://www.photo-ac.com/main/detail/22966244/#goog_rewarded この器にこの料理乗せたら どんな感じかな‥ デザイン気に入って買ったけど 料理を乗せたら思ったより地味‥ 1/20
• 3.
  背景 店頭で器を購入し活用することは容易ではない 写真： https://www.photo-ac.com/main/detail/22966244/#goog_rewarded この器にこの料理乗せたら どんな感じかな‥ デザイン気に入って買ったけど 料理を乗せたら思ったより地味‥ 器に料理が盛り付けられていれば 使用場面をイメージしやすいのでは？ 2/20
• 4.
  提案手法 似た器を代わりの情報源として 料理写真を提示するシステム 3/20
• 5.
  提案手法 料理との組み合わせ例を提示することで，購入する器の選択を支援 この器気になる‥ 陶器屋や雑貨屋など 店頭で器を購入するユーザ 料理が盛り付けられた類似した器を提示 普段作ってる料理 にも合いそう 天津飯か〜 作ってみようかな 4/20
• 6.
  提案手法 5/20 料理画像のうち，器が類似したものを検索 このとき，料理部分がノイズになる可能性 料理を除去 類似
• 7.
  料理除去した画像の中から類似検索 クエリ 提案手法 6/20
• 8.
  一方にのみ中央に欠損があると，類似検索に影響が出る可能性 ⇨ クエリの中央に対してもあえて欠損処理 クエリ クエリ 提案手法 7/20
• 9.
  処理フロー 8/20
• 10.
  処理フロー 中央の除去 ① 半径160px の円をマスクとして切り抜き ② データセットの画像サイズにリサイズ 9/20
• 11.
  処理フロー 類似マッチング ① imgsim を用い データセット中の器画像との類似度を算出 ②類似度が上位の画像を採用 * *Chen, M., Chang, Z., Lu, H., Yang, B., Li, Z., Guo, L. and Wang, Z.: AugNet: End-to-End Unsupervised Vi-sual Representation Learning with Image Augmentation (2021) 10/20
• 12.
  クエリへの欠損処理は類似マッチングの精度向上に本当に貢献する？ R Q クエリ 必要でなければ省略 クエリ 11/20
• 13.
  器の画像欠損の有無が類似度算出に与える影響の検証 ？ ？ 欠損あり 欠損なし 実験– 目的 クエリ中央の欠損がある場合とない場合で 算出される類似度に生まれる違いを測る 12/20
• 14.
  実験 - クエリ (a)グルメサイトに掲載されている料理画像から 1 件選定 (b) 切り抜き処理 (a) 料理が盛り付けられたクエリ (b) クエリ ( 欠損あり ) (c) クエリ ( 欠損なし ) (c) (b) の画像の中央を Latent Diffusion Models(LDM) の inpaint 機能を用いて生成 13/20
• 15.
  ・先行研究 で用意した器画像データセット (1200件，中央に欠損あり ) *Rakahashi, R., Takahashi, C. and Yamanishi, R.:Estimation of plates impression by restaurant information on the gourmet website * 実験 – データセット ・正解データを追加 ・クエリ画像と特に類似している器の画像 3 件を収集 (EC サイトの器の商品ページより ) ・中央に欠損処理 14/20
• 16.
  ？ ？ 欠損あり 欠損なし ・用意したクエリ画像( 欠損あり，欠損なし ) に対し データセット 1200 件 + 正解データ 3 件との類似度を算出 ・類似度上位群に正解データの器を多く検出 ＝ 類似度算出の精度が高いと仮定 実験 – 類似度算出 15/20
• 17.
  1 ．正解データの含有 ・欠損なし： 4位に一つのみ ・欠損あり： 2 位， 6 位， 9 位に 3 件とも ⇨ クエリにも欠損がある方が，類似マッチングの精度が高い 実験 – 結果 16/20
• 18.
  2 ．類似度の数値 (ユーグリッド距離 ) 欠損なし (13.96 ～ 16.96) > 欠損あり (10.81 ～ 13.44) ⇨ 「欠損あり」はクエリと形状が近く，より高い類似度が算出される可能性 実験 – 結果 17/20
• 19.
  2 ．類似度の数値 (ユーグリッド距離 ) 欠損なし (13.96 ～ 16.96) > 欠損あり (10.81 ～ 13.44) ⇨ 「欠損あり」はクエリと形状が近く，より高い類似度が算出される可能性 実験 – 結果 欠損処理が類似マッチングの精度向上につながることを示唆 ⇨ 提案システムにおいても欠損処理をしたものをクエリとする 18/20
• 20.
  おわりに – 本研究の貢献 ・クエリの器への欠損処理により 類似マッチングの精度を向上 ・料理盛り付け例の提示による 器購入支援システムの提案 クエリ 家庭で器を選ぶ際も活用可能 19/20
• 21.
  まとめ 背景：店頭で器を選択することは困難 提案手法：器の情報源として，類似した器を用いた料理写真を提示 実験：クエリへの欠損処理が類似度算出に与える影響を検証 結果：欠損処理が類似検索の精度を向上させることを示唆 展望：・インターフェースの実装，実験 ・データセット拡張 20/20