SlideShare a Scribd company logo

A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation

H
H

衣服の選択において,他人に与える印象を考慮してトップスとボトムスをどのように組み合せるか決めることは重要である.一方で,場面ごとに衣服が適切な印象を与えるかを判断することは簡単ではない.さらに,適切でない場合の代替案の決定も困難である.本稿では,着衣人物画像に対して衣服の印象評価と推薦を通じて衣服の組み合わせを提案する衣服推薦情報提示システムを開発した.カメラによりユーザーの全身画像を撮影し,衣服領域を抽出する.抽出画像に対し推定された印象をユーザーに提示する.さらに,上下のコーディネートが適切であるか考慮した上で推薦する組み合わせを決定する.ユーザーに対するアンケート調査を実施して,本システムの有効性を確認した.

A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation

1 of 27
Download to read offline
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
衣服印象推定に基づく
衣服推薦情報提示システム
に関する研究
北海道大学 大学院情報科学院
情報理工学部門 複合情報工学分野 調和系工学研究室
右田 幹
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
2
背景
[1]明智安永,京子野口:ファッションへの関心と着装行動に関する基礎的調査研究 : 性別、年齢、主観的経済状況、性格による差の検討,ファッ
ションビジネス学会論文誌, Vol.17, pp.129–137 (2012).
[2]桂慶介,加藤桃子,島川博光:TPO とユーザが与えたい印象を考慮したコーディネート推薦,第 15 回情報科学技術フォーラム,pp.381–384
(2016).
印象を気にかけて、衣服を選択することは重要[2]
⁃ 他人に与える印象も重要な要素
多岐に渡る衣服から、以下のような衣服を選ぶことは容易ではない
⁃ 自分自身が好む衣服を着用していること
⁃ 他人に与える印象が場面にふわさしい衣服であるか
外出する際の衣服を選択する上で、個人の好みを重視[1]
⁃ 自分自身が好む衣服を着用することは重要な要素
自分にも好みだけど
デートに合うかな。。。
場面にふさわしく、ユーザーが好む衣服の選択支援を検討
アパレル店員
⁃ 客観的に与える印象が場面にふさわしいか判断が可能
⁃ 問い合わせたユーザー自身が好む衣服を選ぶことは容易ではない
衣服選択支援の例
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
3
関連研究
[3]柳公人,横山想一郎,山下倫央,川村秀憲:着衣人物画像に対する印象推定を用いた衣服推薦システムの開発,人工知能学会 社会における AI 研
究会,pp.1–8 (2021).
[4] Liu, X., Li, J., Wang, J. and Liu, Z.: MMFashion: An Open-Source Toolbox for Visual Fashion Analysis, ACM Multimedia 2021,
Open Source Software Competition, Vol.abs/2005.08847 (2020).
印象をもとにした衣服推薦
着用している衣服から似た傾向を持ち、場面に
ふさわしい衣服を推薦するシステムを提案[3]
衣服を組み合わせた際に
適切であるか不明
衣服の相性推定を取り入れたツール[4]
⁃ CNNにより推定
場面にふさわしい衣服の組み合わせ
を提示する支援になり得る
推薦の様子
推薦の様子
衣服の相性
を算出
…
適切な
組み合わせ??
自分自身が好む衣服
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
4
目的
衣服推薦情報提示システムの開発
 衣服画像から、印象と衣服の相性により、場面にふさわしい
コーディネートを推薦
検証内容
 印象と衣服の相性を用いた推薦方法の比較
 衣服推薦情報提示システムの検証
・コーディネートは、様々なカテゴリ(トップス、ボトムス、靴、鞄など)による構成
・構成要素を多くするほど、選択肢が増え、支援が困難
・本研究では、コーディネートをトップスとボトムスによって構成されるものとする
衣服推薦情報提示システムの設置環境
自宅
 クローゼットの中からコーディネートを選択するための支援になる
店舗
 提案したコーディネートを試着できる
今回は、店舗を想定したシステムを構築
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
5
提案手法
衣服推薦情報提示システムの概要
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
6
提案手法
ユーザーの撮影 衣服領域抽出
衣服推薦モジュー
ル
結果表示
印象推定器
着衣と近い系統の
衣服を抽出
衣服推薦情報提示システムの概要
衣服データ
着衣画像
データ
衣服推薦
データ
相性推定器
衣服の相性が適切な
コーディネートを選択
Ad

Recommended

【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究harmonylab
 
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究harmonylab
 
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...harmonylab
 
Outfit net fashion outfit recommendation with attention based multiple instan...
Outfit net fashion outfit recommendation with attention based multiple instan...Outfit net fashion outfit recommendation with attention based multiple instan...
Outfit net fashion outfit recommendation with attention based multiple instan...harmonylab
 
MLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for VisionMLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for Visionharmonylab
 
A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...harmonylab
 
Semi-Supervised Neural Architecture Search
Semi-Supervised Neural Architecture SearchSemi-Supervised Neural Architecture Search
Semi-Supervised Neural Architecture Searchharmonylab
 
Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Le...
Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Le...Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Le...
Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Le...harmonylab
 

More Related Content

Similar to A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation

Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...harmonylab
 
A Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear GridA Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear Gridharmonylab
 
Self-supervised Learning of Adversarial Example: Towards Good Generalizations...
Self-supervised Learning of Adversarial Example:Towards Good Generalizations...Self-supervised Learning of Adversarial Example:Towards Good Generalizations...
Self-supervised Learning of Adversarial Example: Towards Good Generalizations...harmonylab
 
Emotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GANEmotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GANharmonylab
 
A Generalist Agent
A Generalist AgentA Generalist Agent
A Generalist Agentharmonylab
 
Feature Erasing and Diffusion Network for Occluded Person Re-Identification
Feature Erasing and Diffusion Network for Occluded Person Re-IdentificationFeature Erasing and Diffusion Network for Occluded Person Re-Identification
Feature Erasing and Diffusion Network for Occluded Person Re-Identificationharmonylab
 
You Only Learn One Representation: Unified Network for Multiple Tasks
You Only Learn One Representation: Unified Network for Multiple TasksYou Only Learn One Representation: Unified Network for Multiple Tasks
You Only Learn One Representation: Unified Network for Multiple Tasksharmonylab
 
All That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated Text
All That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated TextAll That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated Text
All That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated Textharmonylab
 
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究harmonylab
 
Personalized Fashion Recommendation from Personal Social Media Data An Item t...
Personalized Fashion Recommendation from Personal Social Media Data An Item t...Personalized Fashion Recommendation from Personal Social Media Data An Item t...
Personalized Fashion Recommendation from Personal Social Media Data An Item t...harmonylab
 
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)harmonylab
 
Recursively Summarizing Books with Human Feedback
Recursively Summarizing Books with Human FeedbackRecursively Summarizing Books with Human Feedback
Recursively Summarizing Books with Human Feedbackharmonylab
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backboneharmonylab
 
深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究harmonylab
 
Towards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly DetectionTowards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly Detectionharmonylab
 
2021 09 29_dl_hirata
2021 09 29_dl_hirata2021 09 29_dl_hirata
2021 09 29_dl_hirataharmonylab
 

Similar to A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation (20)

Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
 
A Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear GridA Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear Grid
 
Self-supervised Learning of Adversarial Example: Towards Good Generalizations...
Self-supervised Learning of Adversarial Example:Towards Good Generalizations...Self-supervised Learning of Adversarial Example:Towards Good Generalizations...
Self-supervised Learning of Adversarial Example: Towards Good Generalizations...
 
Emotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GANEmotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GAN
 
A Generalist Agent
A Generalist AgentA Generalist Agent
A Generalist Agent
 
Feature Erasing and Diffusion Network for Occluded Person Re-Identification
Feature Erasing and Diffusion Network for Occluded Person Re-IdentificationFeature Erasing and Diffusion Network for Occluded Person Re-Identification
Feature Erasing and Diffusion Network for Occluded Person Re-Identification
 
You Only Learn One Representation: Unified Network for Multiple Tasks
You Only Learn One Representation: Unified Network for Multiple TasksYou Only Learn One Representation: Unified Network for Multiple Tasks
You Only Learn One Representation: Unified Network for Multiple Tasks
 
All That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated Text
All That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated TextAll That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated Text
All That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated Text
 
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
 
Personalized Fashion Recommendation from Personal Social Media Data An Item t...
Personalized Fashion Recommendation from Personal Social Media Data An Item t...Personalized Fashion Recommendation from Personal Social Media Data An Item t...
Personalized Fashion Recommendation from Personal Social Media Data An Item t...
 
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
 
RAPiD
RAPiDRAPiD
RAPiD
 
2021 haizoku
2021 haizoku2021 haizoku
2021 haizoku
 
2021 haizoku
2021 haizoku2021 haizoku
2021 haizoku
 
Recursively Summarizing Books with Human Feedback
Recursively Summarizing Books with Human FeedbackRecursively Summarizing Books with Human Feedback
Recursively Summarizing Books with Human Feedback
 
修士論文
修士論文修士論文
修士論文
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
 
深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究
 
Towards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly DetectionTowards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly Detection
 
2021 09 29_dl_hirata
2021 09 29_dl_hirata2021 09 29_dl_hirata
2021 09 29_dl_hirata
 

More from harmonylab

【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究harmonylab
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimationharmonylab
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Modelsharmonylab
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimationharmonylab
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Modelsharmonylab
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究harmonylab
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究harmonylab
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究harmonylab
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究harmonylab
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究harmonylab
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...harmonylab
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究harmonylab
 
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...harmonylab
 
ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic
ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic ArithmeticZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic
ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmeticharmonylab
 
2022年度調和系工学研究室配属説明会資料
2022年度調和系工学研究室配属説明会資料2022年度調和系工学研究室配属説明会資料
2022年度調和系工学研究室配属説明会資料harmonylab
 
CKL_about_panf2022.pdf
CKL_about_panf2022.pdfCKL_about_panf2022.pdf
CKL_about_panf2022.pdfharmonylab
 
Outracing champion Gran Turismo drivers with deep reinforcement learning
Outracing champion Gran Turismo drivers with deep reinforcement learningOutracing champion Gran Turismo drivers with deep reinforcement learning
Outracing champion Gran Turismo drivers with deep reinforcement learningharmonylab
 
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face RecognitionArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognitionharmonylab
 

More from harmonylab (18)

【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
 
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
 
ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic
ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic ArithmeticZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic
ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic
 
2022年度調和系工学研究室配属説明会資料
2022年度調和系工学研究室配属説明会資料2022年度調和系工学研究室配属説明会資料
2022年度調和系工学研究室配属説明会資料
 
CKL_about_panf2022.pdf
CKL_about_panf2022.pdfCKL_about_panf2022.pdf
CKL_about_panf2022.pdf
 
Outracing champion Gran Turismo drivers with deep reinforcement learning
Outracing champion Gran Turismo drivers with deep reinforcement learningOutracing champion Gran Turismo drivers with deep reinforcement learning
Outracing champion Gran Turismo drivers with deep reinforcement learning
 
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face RecognitionArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
 

A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation

  • 1. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 衣服印象推定に基づく 衣服推薦情報提示システム に関する研究 北海道大学 大学院情報科学院 情報理工学部門 複合情報工学分野 調和系工学研究室 右田 幹
  • 2. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 2 背景 [1]明智安永,京子野口:ファッションへの関心と着装行動に関する基礎的調査研究 : 性別、年齢、主観的経済状況、性格による差の検討,ファッ ションビジネス学会論文誌, Vol.17, pp.129–137 (2012). [2]桂慶介,加藤桃子,島川博光:TPO とユーザが与えたい印象を考慮したコーディネート推薦,第 15 回情報科学技術フォーラム,pp.381–384 (2016). 印象を気にかけて、衣服を選択することは重要[2] ⁃ 他人に与える印象も重要な要素 多岐に渡る衣服から、以下のような衣服を選ぶことは容易ではない ⁃ 自分自身が好む衣服を着用していること ⁃ 他人に与える印象が場面にふわさしい衣服であるか 外出する際の衣服を選択する上で、個人の好みを重視[1] ⁃ 自分自身が好む衣服を着用することは重要な要素 自分にも好みだけど デートに合うかな。。。 場面にふさわしく、ユーザーが好む衣服の選択支援を検討 アパレル店員 ⁃ 客観的に与える印象が場面にふさわしいか判断が可能 ⁃ 問い合わせたユーザー自身が好む衣服を選ぶことは容易ではない 衣服選択支援の例
  • 3. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 3 関連研究 [3]柳公人,横山想一郎,山下倫央,川村秀憲:着衣人物画像に対する印象推定を用いた衣服推薦システムの開発,人工知能学会 社会における AI 研 究会,pp.1–8 (2021). [4] Liu, X., Li, J., Wang, J. and Liu, Z.: MMFashion: An Open-Source Toolbox for Visual Fashion Analysis, ACM Multimedia 2021, Open Source Software Competition, Vol.abs/2005.08847 (2020). 印象をもとにした衣服推薦 着用している衣服から似た傾向を持ち、場面に ふさわしい衣服を推薦するシステムを提案[3] 衣服を組み合わせた際に 適切であるか不明 衣服の相性推定を取り入れたツール[4] ⁃ CNNにより推定 場面にふさわしい衣服の組み合わせ を提示する支援になり得る 推薦の様子 推薦の様子 衣服の相性 を算出 … 適切な 組み合わせ?? 自分自身が好む衣服
  • 4. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 4 目的 衣服推薦情報提示システムの開発  衣服画像から、印象と衣服の相性により、場面にふさわしい コーディネートを推薦 検証内容  印象と衣服の相性を用いた推薦方法の比較  衣服推薦情報提示システムの検証 ・コーディネートは、様々なカテゴリ(トップス、ボトムス、靴、鞄など)による構成 ・構成要素を多くするほど、選択肢が増え、支援が困難 ・本研究では、コーディネートをトップスとボトムスによって構成されるものとする 衣服推薦情報提示システムの設置環境 自宅  クローゼットの中からコーディネートを選択するための支援になる 店舗  提案したコーディネートを試着できる 今回は、店舗を想定したシステムを構築
  • 5. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 5 提案手法 衣服推薦情報提示システムの概要
  • 6. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 6 提案手法 ユーザーの撮影 衣服領域抽出 衣服推薦モジュー ル 結果表示 印象推定器 着衣と近い系統の 衣服を抽出 衣服推薦情報提示システムの概要 衣服データ 着衣画像 データ 衣服推薦 データ 相性推定器 衣服の相性が適切な コーディネートを選択
  • 7. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 7 提案手法 ユーザーの撮影 衣服領域抽出 結果表示 衣服推薦情報提示システムの概要 着衣画像 データ 衣服推薦 データ 印象推定器 着衣と近い系統の 衣服を抽出 衣服データ 相性推定器 衣服の相性が適切な コーディネートを選択 衣服推薦モジュー ル
  • 8. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 8 使用する推定モデル 印象推定器[3] – ResNet-50をImage Netで事前学習 – Fashion Impression Dataset[5] • 71,781のカテゴリ別衣服画像をECサイトから収集 • ファッション専門学生により2値でタグ付け (148種類) – 衣服画像と印象タグの教師あり学習 [5] Kambe, M., Yokoyama, S., Yamashita, T. and Kawamura, H.: Estimating Impressions for Clothing, Landscape, and Indoor Images Using CNN, Pro- ceedings of the 23rd Asia Pacific Symposium on Intelligent and Evolutionary Systems, Cham, Springer International Publishing, pp.67–78 (2020) [6] Vasileva, M. I., Plummer, B. A., Dusad, K., Rajpal, S., Kumar, R. and Forsyth, D.A.: Learning Type-Aware Embeddings for Fashion Compatibility, CoRR, Vol.abs/1803.09196 (2018). FIDの データとタグの例 かわいい ガーリー デート ︙ 相性推定器[6] ⁃ ResNet-18をImage Netで事前学習 • 学習済みResNetを用いたSiameseNetによる埋め込み ⁃ Polyvore Outfitsデータセット • Polyvore (海外ECサイト) からデータを収集 • 68,306枚のコーディネート画像 (衣服の説明文、タグを含む) ⁃ 衣服ペアの適合度を説明文の視覚的類似度をもとに 距離学習
  • 9. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 9 衣服推薦 衣服抽出 [5]Kambe, M., Yokoyama, S., Yamashita, T. and Kawamura, H.: Estimating Impressions for Clothing, Landscape, and Indoor Images Using CNN, Pro-ceedings of the 23rd Asia Pacific Symposium on Intelligent and Evolutionary Systems, Cham, Springer International Publishing, pp.67–78 (2020) 抽出条件1 : 特定の場面にふさわしい衣服 ① 印象推定器[5] 𝐼𝑚𝑝(𝑋𝑖, 𝐼𝑗) により特定の場面の印象値 𝐾𝑖𝑗を取得 記号 意味 𝑋𝑖 衣服の集合 𝐼𝑗 印象の要素集合 (ガーリー、 モード、ナチュラル) 𝐾𝑖𝑗 衣服𝑖に対する印象𝑗の印象値 𝑡ℎ𝑟𝛼 印象値𝐾𝑖𝑗の閾値 (予備実験により算出) 3種類の系統 (ガーリー、モー ド、ナチュラル) に対する印象 の当てはまりを0から1で数値化 𝐾𝑖𝑗 = 𝐼𝑚𝑝 𝑋𝑖, 𝐼𝑗 ※ 𝐾𝑖𝑗 : 大きいほどあてはまる ② 𝐾𝑖𝑗 ≥ 𝑡ℎ𝑟𝛼を満たす衣服 𝑋𝑖 を 𝑋𝑖 として抽出 ③トップス、ボトムス別に 𝑋𝑖 を 𝑋𝑖 𝑡𝑜𝑝 , 𝑋𝑖 𝑏𝑡𝑚 に分割 大きい 小さい 𝐾𝑖𝑗 𝑡ℎ𝑟𝛼
  • 10. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 10 衣服推薦 衣服抽出 抽出条件2 : 着衣と近い系統の衣服 記号 意味 𝑋𝑖 𝑡𝑜𝑝 印象値から抽出した衣服集合 (トップス) 𝑋𝑖 𝑏𝑡𝑚 印象値から抽出した衣服集合 (ボトムス) 𝑖𝑛𝑝𝑢𝑡𝑡𝑜𝑝 入力着衣画像 (トップス部分) 𝑖𝑛𝑝𝑢𝑡𝑏𝑡𝑚 入力着衣画像 (ボトムス部分) 𝑡ℎ𝑟𝛽 系統ベクトルのユークリッド 距離に対する閾値 (予備実験により算出) ① 𝑋𝑖 𝑡𝑜𝑝 , 𝑋𝑖 𝑏𝑡𝑚 , 𝑖𝑛𝑝𝑢𝑡𝑡𝑜𝑝, 𝑖𝑛𝑝𝑢𝑡𝑏𝑡𝑚に 対してそれぞれの系統ベクトル 𝑣 を作成 印象推定器により得られた 3種類の印象値 (ガーリー、 モード、ナチュラル) で構成 ② 𝐿2(𝑣𝑋𝑖 𝑡𝑜𝑝, 𝑣𝑖𝑛𝑝𝑢𝑡𝑡𝑜𝑝 ) ≤ 𝑡ℎ𝑟𝛽を満たす衣服集合 𝑌𝑖 𝑡𝑜𝑝 と 𝐿2 𝑣𝑋𝑖 𝑏𝑡𝑚, 𝑣𝑖𝑛𝑝𝑢𝑡𝑏𝑡𝑚 ≤ 𝑡ℎ𝑟𝛽を満たす衣服集合 𝑌𝑖 𝑏𝑡𝑚 を抽出 系統が遠い 系統が近い ※ 𝐿2(𝑎, 𝑏):𝑎, 𝑏間のユークリッド距離 閾値𝑡ℎ𝑟𝛽
  • 11. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 11 衣服推薦 衣服の組み合わせ [6] Vasileva, M. I., Plummer, B. A., Dusad, K., Rajpal, S., Kumar, R. and Forsyth, D.A.: Learning Type-Aware Embeddings for Fashion Compatibility, CoRR, Vol.abs/1803.09196 (2018). 相性推定器[6]を使用 相性推定器 𝐶𝑜𝑚𝑝 により、トップスとボトムスの相性の適合度 𝐹𝑖𝑗 を算出 𝐹𝑖𝑗 = 𝐶𝑜𝑚𝑝(𝑌𝑖 𝑡𝑜𝑝 , 𝑌 𝑗 𝑏𝑡𝑚 ) 組み合わせたコーディネート の相性の適合度を0以上の実数値で表現 ※ 𝐹𝑖𝑗が小さいほど適合 𝐹𝑖𝑗が最小値を取るトップスとボトムスを推薦衣服 𝒐𝒖𝒕𝒑𝒖𝒕 として出力 o𝑢𝑡𝑝𝑢𝑡 = min(𝐹𝑖𝑗)
  • 12. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 12 実験 2つの実験を並行に実施 • 実験B ⁃ 衣服推薦情報提示システム の検証 各手法で決定された画像例 印象のみ 衣服同士の 相性のみ 印象+衣服同士 の相性 手法 結果表示 • 実験A ⁃ 印象と衣服の相性を用いた 推薦方法の比較
  • 13. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 13 実験A アンケートについて ⁃ 問題数 : 9問 ⁃ 被験者 : 10代~20代の女性19人 ⁃ デートに相応しいコーディネートを選択 ⁃ 手法は被験者から隠し、位置もランダム アンケート画面の例 実験目的 ⁃ 印象と衣服の相性を用いた推薦方法を比較 実験内容 ⁃ 手法ごとに決定された衣服画像を提示し、アンケートにより比較
  • 14. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 14 実験A : 結果 被験者ごとに各手法が選択された回数 印象のみ 衣服同士の相性のみ 印象+衣服同士の相性 (提案手法) 各手法が選択された回数 印象のみ 71 衣服同士の相性のみ 37 印象+衣服同士の相性(提案手法) 52 印象のみによる方法が最も選ばれた 特徴的な選択をする被験者は現れなかった 問題ごとに傾向を調査
  • 15. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 15 実験A : 結果 問題ごとに、被験者が選択したコーディネートのうち、どの手法に該当するかを合計 (複数回答した結果も含める) 実験A : 印象と衣服の相性を用いた推薦方法の比較 印象のみ 印象+衣服同士の相性 (提案手法) 問題ごとに選択されたコーディネートにばらつきがある 相性のみ 「印象のみ」、「印象+衣服同士の相性」それそれで最も選ばれた 2種類のコーディネートに着目
  • 16. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 16 実験A : 結果 問題id : 2 問題id : 6 「印象のみ」を選択した理由 ⁃ ボトムスの黒色はコーディネートに適している ⁃ ファッション雑誌でよく見る 実験A : 印象と衣服の相性を用いた推薦方法の比較 印象のみ 衣服同士の 相性のみ 「 印象のみ」で多く選ばれた2つのコーディネート 印象+衣服同士 の相性 印象のみ 衣服同士の 相性のみ 印象+衣服同士 の相性 「印象+衣服同士の相性」を選択しない理由 ⁃ 白に統一したコーディネートに違和感 ⁃ ボトムスが短い 「印象のみ」を選択した理由 ⁃ ピンクと黒はコーディネートに適している ⁃ 素材感がデートっぽい 「印象+衣服同士の相性」を選択しない理由 ⁃ ボトムスの方が目立つ色を用いたコーディネート に違和感 ⁃ デートに革を来ていかない 提案手法が想定していない判断基準を持った被験者がいた
  • 17. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 17 実験A : 結果 実験A : 印象と衣服の相性を用いた推薦方法の比較 印象のみ 衣服同士の 相性のみ 「 印象のみ」で多く選ばれた2つのコーディネート 印象+衣服同士 の相性 印象のみ 衣服同士の 相性のみ 印象+衣服同士 の相性
  • 18. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 18 実験A : 結果 問題id : 7 問題id : 1 「 印象+衣服同士の相性」を選択した理由 ⁃ 青色が清潔感を与えている ⁃ コーディネートに統一感がある 実験A : 印象と衣服の相性を用いた推薦方法の比較 印象のみ 衣服同士の 相性のみ 「印象+衣服同士の相性」で多く選ばれた2つのコーディネート 印象+衣服同士 の相性 印象のみ 衣服同士の 相性のみ 印象+衣服同士 の相性 「 印象のみ」を選択しない理由 ⁃ トップスの黒色に違和感 「 印象+衣服同士の相性」を選択した理由 ⁃ トップスの色がデートに適している ⁃ コーディネートに統一感がある 「 印象のみ」を選択しない理由 ⁃ トップスが目立つコーディネートになっている 提案手法が想定する判断基準(衣服組み合わせ)を持った被験者もいた
  • 19. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 19 実験A : 結果 問題id : 7 問題id : 1 実験A : 印象と衣服の相性を用いた推薦方法の比較 印象のみ 「印象+衣服同士の相性」で多く選ばれた2つのコーディネート 印象+衣服同士 の相性 印象のみ 印象+衣服同士 の相性
  • 20. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 20 実験A : 考察 解決案 ⁃ データセットの拡張(ローカライズ) ・日本人向けファッションデータセットを用いて再学習 ⁃ パーソナライズ ・属性情報の嗜好を入力しフィルタリング 「印象のみ」「印象+衣服同士の相性」 ⁃ 衣服の組み合わせにより、選択されている傾向にある 相性を考慮することで場面にふさわしくなるという仮説を補強 する回答を得た 「相性のみ」「印象+衣服同士の相性」 ⁃ 相性を考慮して出したコーディネートが良くないと判断された ・学習データセットが海外向けで日本人にあってない ・想定してない判断基準を持った被験者がいた
  • 21. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 21 実験B 実験目的 ⁃ 衣服推薦情報提示システムの検証 検証方法 ⁃ 実際に体験してもらう被験者を用意 ⁃ システムが被験者のコーディネートを評価,衣服を3着推薦 ⁃ 被験者にアンケートを実施 アンケート システムによる 衣服推薦 被験者用意
  • 22. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 22 実験B アンケート ⁃ 3つのテーマに関する質問 ⁃ テーマ ① システムの扱いやすさ ② 推薦された衣服に関する結果表示 ③ 推薦内容はデートの場面にふさわしく,着用したいか ⁃ 問題数 ① 3問 ② 4問 ③ 2問 被験者 ⁃ 10代~20代の女性4人 ⁃ デートの場面を想定
  • 23. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 23 実験B : 結果 0% 20% 40% 60% 80% 100% 全体を通しての使いやすさ 撮影のタイミング 撮影から結果表示までの時間 よい どちらかといえばよい どちらかといえば悪い 悪い 0% 20% 40% 60% 80% 100% 推薦内容の納得感 推薦内容の理解 文字や図の見やすさ 結果の表示場所 よい どちらかといえばよい どちらかといえば悪い 悪い 0% 20% 40% 60% 80% 100% 結果表示を拡張した合計20種類 結果表示の3種類 含まれる 含まれない ① システムの扱いやすさ ② 推薦された衣服に関する結果表示 ③ 推薦内容は特定の場面にふさわしく、着用したいか
  • 24. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 24 実験B : 考察 0% 20% 40% 60% 80% 100% 全体を通しての使いやすさ 撮影のタイミング 撮影から結果表示までの時間 よい どちらかといえばよい どちらかといえば悪い 悪い 0% 20% 40% 60% 80% 100% 推薦内容の納得感 推薦内容の理解 文字や図の見やすさ 結果の表示場所 よい どちらかといえばよい どちらかといえば悪い 悪い 結果画面 UI/UXに関しては概ね良い評価を得られた ① システムの扱いやすさ ② 推薦された衣服に関する結果表示
  • 25. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 25 実験B : 考察 ・4人中1名が提示した3種類を着用したくないと回答 ・しかし、推薦結果を20種類に増やすことで必ず該当する衣服が存在 提示した3種類の例 結果表示を拡張した 合計20種類の一部 最適な推薦結果が表示できる提示枚数の調査が必要 0% 50% 100% 結果表示を拡張した合計20種類 結果表示の3種類 含まれる 含まれない ③ 推薦内容は特定の場面にふさわしく、着用したいか
  • 26. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 26 まとめ 衣服推薦情報提示システムの開発 ⁃ 衣服画像から、特定の場面にふさわしいコーディネートを推薦 コーディネート推薦手法の提案 ⁃ 2つの衣服抽出条件を搭載 • 特定の場面にふさわしい衣服であるか • 着ている衣服と近い系統であるか ⁃ 衣服の相性推定により、衣服の相性が適切なコーディネートを提示 ⁃ 相性を考慮することで場面にふさわしくなるという仮説を補強する 回答を得られた 衣服推薦情報提示システムの検証  被験者から評価を得られる傾向が見られた
  • 27. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 27 研究業績 • 国内学会 ポスター発表 査読なし (1件) 1. 〇右田幹, 横山 想一郎, 山下 倫央, 川村 秀憲 :着衣人物画像に対する 印象評価と衣服推薦に関する情報提示システムの開発,情報処理北海道 シンポジウム2022, 北海道(2022-10) • 発表予定 (2件) (国内学会 口頭発表 査読なし) 1. 〇右田幹, 横山 想一郎, 山下 倫央, 川村 秀憲 : 衣服印象評価とコー ディネイトに基づく衣服推薦システムの開発, 情報処理学会第85回全国 大会, 東京(2022-03) 2. 〇右田幹, 横山 想一郎, 山下 倫央, 川村 秀憲 : 着衣の印象評価を用い たコーディネートの推薦情報提示システムの開発,社会システムと情報 技術研究ウィーク(WSSIT2023), 北海道(2022-03) • 受賞 (1件) 1. 学術研究賞(情報処理北海道シンポジウム2022)