【卒業論文】印象タグを用いた衣服画像生成システムに関する研究

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
印象タグを用いた衣服画像生成
システムに関する研究
北海道大学工学部
情報エレクトロニクス学科情報理工学コース
複合情報工学分野調和系工学研究室
学部4年古田悠華

2
研究背景
オーダーメイド服[1][2]
型紙作りからすべてオーダー
既存の型紙＋カスタマイズ
既製服＋カスタマイズ
デザインの注文方法[3][4]
デザイナーと相談
各パーツの組み合わせ
デザインの持ち込み
デザイナーから提案された案から選択
デザイナーと依頼者、デザイナーと製作者の間では
「デザイン画」を用いてデザインを共有する
デザイン画
衣服の形状や色、柄、素材感などを描写したもの
[1] S for you. “オーダーメイドの3つの種類とは？”. https://www.s4u.jp/16820869414544 ,(2024/01/24閲覧)
[2] enamu. “オーダーメイドとは？種類やメリットについて”. https://enamu.ymdy.co.jp/ec/articles/ordermadeitem_merit_demerit ,(2024/01/24閲覧)
[3] Assolo. “プロデザイナーが作るオーダーメイド服”. https://assolo.jp/assolo/ ,(2024/01/24閲覧) ]
[4] 印刷通販【デジタ】. "注文方法について”. https://www.digitaprint.jp/wear_order.php ,(2024/01/24閲覧)
デザイン画の例
外観的特徴タグ
•フリルブラウス
•ピンク色
•長袖
•ボウタイ
•袖口フレア
•薄手の生地
印象タグ
•女性らしい
•ふんわりした
•ガーリー
•かわいらしい
•ひらひらした

3
用語説明
•フリルブラウス
•ピンク色
•長袖
•ボウタイ
•袖口フレア
•薄手の生地
印象タグ
•女性らしい
•ふんわりした
•ガーリー
•かわいらしい
•ひらひらした

4
研究背景
オーダーメイド服の利点
団体の統一感
オリジナルTシャツ
ユニフォーム
見栄え・自己表現
オーダースーツ
着物リメイク
オーダーメイドドレス
変形学生服
個人差への対応
体型・障がいに対応した服
オーダーメイド服の欠点[7]
既製服よりも時間、費用がかかる
敷居が高いと感じる
デザインやサイズの調整の手間が
かかる
[5] TSURUTO. “着物リメイクのセミオーダー”. https://www.tsuruto-online.com/pages/kimonofukuorder ,(2024/01/24閲覧)
[6] 服づくり工房 Mトワル. “障がい者にこそファッションが必要な理由”. https://mt.cutewdress.com/personal-order/care-fashion/ ,(2024/01/24閲覧)
[7]ECのミカタ編集部. “オーダーメイドファッションアイテムに関するアンケート 4割以上が「オーダーメイドでの購入経験あり」”. ECのミカタ. 2020/11/18,
https://ecnomikata.com/ecnews/28303/ ,(2024/01/25閲覧)
着物リメイク[5] 車いすでも
かわいい
スカート[6]

5
研究背景
近年のオーダーメイド
技術の進化[8]
オンライン上でオーダー可能なスーツやシャツ
メタバースの登場[9]
アバターのファッションの重要性
無料デザインツール
⇒ 今後、オリジナルの衣服の作成がより一般的に
課題
デザイン画を専門家以外が作成することは難しい
自分の中で衣服へのこだわりや希望が明確になっていない
頭の中のデザインを表象する技術がない
[8]株式会社三越伊勢丹. ”Wonderful Story”. Hi TAILOR., https://wonderfulstory.newsweekjapan.jp/episode.php/imhds/
[9]“【事例11選】バーチャルファッションとは？事例や4大メリットを紹介”. メタバース総研.2023-12-01, https://metaversesouken.com/metaverse/fashion-2/ . (2024-01-09閲覧)
[10]VRoid. “VRoid Studio”, https://vroid.com/studio.(2024-01-09閲覧)
VRoid Studio[10]
テンプレートを組み合わせ作成
重ね着や細かい調整も可能

6
研究目的
目的
個人の好みを反映した衣服のデザイン画を作成する支援
内容
個人の好みを反映可能な衣服画像生成システムの作成
利用場面
オリジナル服のデザイン作成
対象ユーザー
一般人
希望や好みが曖昧
具体的なファッション用語に精通していない
デザインを形にする技術力がない

7
関連研究
ユーザーの考えを反映し選択を支援する方法
衣服推薦[11] お土産推薦[12]
メイクアップ
支援[13]
カラー
コーディネー
ト推薦[14]
内装
コーディネート
推薦[15]
ユーザー
の入力
印象タグの
選択式
要求,制限
好みの画像＋
ユーザーの画像
1回目：色相
2回目以降：
好みの画像
行動＋
具体的要求
入力の
具体性
抽象的具体的抽象的抽象的具体的
好み・
希望
曖昧明確明確曖昧曖昧
出力の
意外性
高低高高高
アルゴ
リズム
検索フィルタリング画像合成
対話型遺伝的
アルゴリズム
行動分析
[11]白田由香利. “e-Stylist システムにおける感性用語を用いた商品推薦機能”.学習院大学経済経営研究所年報第17巻 1-12 2003年
[12]池田俊輝,奥野拓. "知識ベース型手法を用いたお土産推薦システムの構築“. 第79回全国大会講演論文集. 2017-03-16
[13]神武里奈星野准一. “好みの顔画像の色に基づくメイクアップ支援システム”.日本感性工学会論文誌. 2017 年 16 巻 3 号 p. 299-306
[14]伊藤亜世, 木下正博, 大堀隆文, 鈴木康広 .“対話型遺伝的アルゴリズムを用いた和服のカラーコーディネートに関する研究”.精密工学会学術講演会講演論文集. 2013A,781-782, 2013
[15]梶山朋子, 佐藤真一. “カタログ閲覧行動分析に基づく内装コーディネート支援システム“.電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems / 電子情報通信学会編
本研究の対象の特徴
好みや希望：曖昧
→入力の具体性：抽象的出力の意外性：高いほうがよい

8
関連研究
デザインの伝達方法
類似画像の
提示[16]
抽象的な語彙を
用いた説明[17]
具体的な語彙を
用いた説明[18]
専門家と
相談
画力の向上
ユーザーの
難易度
中低高中高
手軽さ中高低低低
時間
かかること
もある
かからないかからないかかるかかる
伝達易難易難難
[16]浦井教輝, 奥中大地, 徳丸正孝. “衣服の感性検索システムのための衣服画像の特徴量抽出による類似検索”.日本知能情報ファジィ学会ファジィシステムシンポジウム講演論文集, 2012, 28 巻, 第28回ファジィシ
ステムシンポジウム, p. 876-881, 公開日 2013/07/25
[17]山本萌絵, 鬼沢武久. “衣服の印象を考慮した服飾コーディネートに関する研究”.日本知能情報ファジィ学会ファジィシステムシンポジウム講演論文集, 2013, 29 巻, 第29回ファジィシステムシンポジウム, セッ
ションID TG1-3, p. 151, 公開日 2015/01/24,
[18]立野貴梨, 高木昇, 澤井圭, 増田寛之, 本吉達郎. “視覚障碍者支援を目的とした衣服画像説明文生成手法”.日本知能情報ファジィ学会ファジィシステムシンポジウム講演論文集, 2020, 36 巻, 第36回ファジィシ
ステムシンポジウム, セッションID WC1-2, p. 473-476, 公開日 2020/12/18
本研究のシステムの理想
ユーザの難易度：低伝達：わかりやすい
→入力方法：画像提示，抽象的な語彙による説明

9
研究内容
先行研究①：印象を考慮したコーディネートの提案[19]
先行研究②：浴衣デザインシステム[20]
[19]山本萌絵, 鬼沢武久, 衣服の印象を考慮した服飾コーディネートに関する研究, 日本知能情報ファジィ学会ファジィシステムシンポジウム講演論文集, 2013, 29 巻, 第29回ファジィシステ
ムシンポジウム, セッションID TG1-3, p. 151, 公開日 2015/01/24
[20]三木光範, 菅原麻衣子, 廣安知之, 対話型遺伝的アルゴリズムを用いた浴衣デザインシステム, 人工知能学会全国大会論文集, 2007, JSAI07 巻, 第21回 (2007), セッションID 1E2-5, p.
1E25, 公開日 2018/07/29
提案手法先行研究① 先行研究②
ユーザーからの入力
印象タグ
印象タグ＋画像
印象タグ
画像への
数値評価
推薦システムへの入力外観的特徴タグ外観的特徴タグユーザーの評価
画像出力システム画像生成AI データベース
対話型遺伝的
アルゴリズム
オリジナル性 ◎ 〇 ◎
ユーザーからの
FB反映 ◎ × 〇

10
対話型衣服画像生成システムのイメージ
修正用の印象タグの選択肢
複数の衣服画像
？
衣服の印象タグの選択肢
ユーザーシステム
印象タグ選択
画像選択
印象選択

11
衣服画像生成システム
画像生成モデルには具体的語彙を入力
衣服の場合
抽象的語彙：印象タグ
具体的語彙：外観的特徴タグ
質問回答
衣服画像の評価
最終結果表示
画像生成
属性推定
プロンプト成形
YES
NO
印象タグ
プロンプト
印
象
タ
グ
衣服画像
質問
選択画像，印象タグ
選
択
画
像

12
属性推定
作成したデータベースを用いて
印象タグを外観的特徴タグに変換
入力
印象タグ
春，夏，秋，冬，
きれいめ，カジュアル，
ガーリー，大人っぽさ等
出力
text-to-image(t2i)
プロンプト成形しやすいように
属性別に分類した外観的特徴タグ
カテゴリ：T-シャツ, シャツ等
色：白，黒，青，緑，紫等
柄：無地，横縞，縦縞，水等
袖丈：長袖，半袖
その他特徴：Vネック，クルーネック
image-to-image(i2i)
外観的特徴タグ（1語）
上記＋ファー，プリーツ，フリル等
質問回答
最終結果表示
画像生成
属性推定
YES
NO
印象タグ
プロンプト
印
象
タ
グ
衣服画像
質問
選
択
画
像
印象タグ外観的特徴タグ
ガーリー blouse pink white frill
シンプル hoodie t-shirt solid color simple
華やか red purple lace embroidery
爽やか shirt white blue
vertical
stripes
エスニック t-shirt brown bohemian embroidery
大人っぽさ blouse shirt purple v-neck
幼さ t-shirt polka dots yellow crew-neck
データベース（部分抜粋）

13
外観的特徴タグを画像
生成モデルに対応させた
形式に変換
目的
以下を満たす画像を生成
するプロンプトの作成
衣服単体の画像
（小物，人物を描写しない）
無地単色背景
出力
t2i
プロンプト
カテゴリ, 色, 柄, 袖丈,その他特徴, solo, still life, simple
background, grey background, white background, no humans
ネガティブプロンプト
human, people, wearing
i2i
プロンプト
質問回答
最終結果表示
画像生成
属性推定
YES
NO
印象タグ
プロンプト
印
象
タ
グ
衣服画像
質問
選
択
画
像

14
画像生成
画像生成AI：
Stable Diffusion
モデル：SDXL Turbo
画像サイズ：512×512
seed：5,7,25
生成枚数：8枚
t2i
プロンプト→画像
ステップ数：3
i2i
画像＋プロンプト
→新たな画像
strength:：0.5,0.6,0.7
ステップ数*strength=5
質問回答
最終結果表示
画像生成
属性推定
プロンプト成
形
YES
NO
印象タグ
プロンプト
印
象
タ
グ
衣服画像
質問
選
択
画
像
出力画像例

15
評価実験
目的
衣服画像生成システムの検証
実験対象者
20代男女6名（男4,女2）
実験方法
タスクにしたがってシステム
を操作・アンケートに回答
評価用画面

16
評価実験
実験設定
タスクから連想する衣服をシステムで2回ずつ試行
試行終了条件
想像通りの衣服が作成されるor作成5回目の画像選択後
タスク
1. 大学生で茶髪の女性が、友人とおしゃれなカフェに行くときの服装
2. 30代の女性が東京駅付近のオフィスへ仕事で行くときの服装
衣服の制限
トップス
レディース（キッズ、メンズは不可）を想定
普段着（制服等は不可）
重ね着は不可

17
実験結果
被験者の生成画像例
タスク1：大学生で茶髪の女性が、友人とおしゃれなカフェに行くときの服装
タスク2：30代の女性が東京駅付近のオフィスへ仕事で行くときの服装
タスク1 タスク2
衣服画像：最後に選択されたもの（被験者ID，試行回，生成回数） ×：被験者が最後にNOと答えたもの
被験者F，試行2，生成4 被験者B，試行1，生成5
被験者A，試行2，生成5 被験者B，試行1，生成5
× ×
被験者C，試行1，生成3 被験者D，試行1，生成3
被験者B，試行1，生成5 被験者B，試行2，生成5
×
×

0
2
4
6
はい
どちらかといえばはい
どちらかといえばいいえ
いいえ
18
アンケート結果
被験者：20代男女6名（男4,女2）
Q.
システムの操作後，
設問から想像した衣服を
具体的に説明できるよう
になったか
Q.
システムを通して，
課題から想像する衣服は
具体的になったか
Q.
オーダーメイド服を作成
する場合，このシステム
があればデザインを
伝えやすくなると思うか
考察
肯定的意見のほうが多く，
デザインの表象を支援する
効果が確認
考察
肯定的意見が得られ，
衣服への要望をユーザーの
中で明確にする効果が確認
考察
肯定的意見が得られ，
オーダーメイド服の
デザインの注文に役立つ
効果が期待
0
2
4
6
はい
いいえ
0
2
4
6
はい
いいえ
A.
A. A.

19
実験結果
画像選択で前と同じものを選び続けたケース
経緯
選択画像：2回目の生成で選択した画像
選択した印象タグ：3通り試した
想像通りであるか：YES
考察
2回目の時点である程度想像通り
さらに近づけるには選択肢不足
（Q.選択肢の不足していたか：どちらかといえば不足）
被験者Aの場合
経緯
選択画像：1回目の生成で選択した画像
選択した印象タグ：3通り，計4回
想像通りであるか：NO
考察
生成結果に衣服画像でない画像
新たな画像が選択できなかった
被験者Cの場合衣服画像でない
画像例
タスク2,試行1回目
タスク2,試行2回目

20
アンケート結果
Q.
選択肢は十分だったか
A.
Q.
生成時間に対する満足度
A.
0
2
4
6
十分
どちらかといえば十分
どちらかといえば不足
不足
0
2
4
6
満足
どちらかといえば満足
どちらかといえば不満
不満
考察
「どちらかといえば不足」
と回答した人がおり，
選択肢を追加する必要性がある
考察
肯定的意見が多数派の中，
「不満」と回答した人もおり，
将来的に解決する必要性がある
被験者：20代男女6名（男4,女2）

21
実験結果まとめ
効果が確認できたこと
デザインを表象する技術としての支援
衣服への要望をユーザーの中で明確化
オーダーメイド服のデザインの注文の補助
システムの課題
選択肢
バリエーションを増加
生成可能な外観的特徴タグの特定
印象タグと外観的特徴タグの関連性の修正
1つの印象タグから推定される外観的特徴タグの増加
生成画像
衣服以外の画像が生成されたSeedの修正
プロンプトの修正

目的
個人の好みを反映した衣服のデザイン画を作成する支援
提案手法
ユーザーの入力を選択式の印象タグとした対話型衣服画像
作成システム
結果
デザインを表象する技術としての支援
衣服への要望をユーザーの中で明確にする効果
オーダーメイド服のデザイン役立つという期待
衣服単体以外の画像により選択が困難
選択肢不足による生成画像の限界
まとめ 22

【卒業論文】印象タグを用いた衣服画像生成システムに関する研究

Recommended

Recommended

More Related Content

Similar to 【卒業論文】印象タグを用いた衣服画像生成システムに関する研究

Similar to 【卒業論文】印象タグを用いた衣服画像生成システムに関する研究 (20)

More from harmonylab

More from harmonylab (18)

Recently uploaded

Recently uploaded (9)

【卒業論文】印象タグを用いた衣服画像生成システムに関する研究