Personalized outfit recommendation with learnable anchors

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
修士１年右田幹
Personalized Outfit Recommendation
with Learnable Anchors

論文情報 2
• タイトル
– Personalized Outfit Recommendation With Learnable Anchors
• 著者
– Zhi Lu 1, Yang Hu 2, Yan Chen2 , Bing Zeng 1
• 1 University of Electronic Science and Technology of China
• 2 University of Science and Technology of China
• 出典及び出典日
– CVPR2021
• 論文URL
– https://openaccess.thecvf.com/content/CVPR2021/html/Lu_Personalized_O
utfit_Recommendation_With_Learnable_Anchors_CVPR_2021_paper.html
• GitHub
– https://github.com/lzcn/LPAE-Net/blob/main/README.md（リリース準備
中）

概要 3
・少ないデータ数から、好みにあった服をリコメンドするのが困難
・上記課題を克服するための、個人の好みにあった服の推薦システム
（ LPAE ）を提案
・提案手法
– Agrregation network
 アイテム間の相互関係を捉える
 服装全体を集約したもの（ベクトル）をoutfit style space上で捉え
る
– Matching nerwork
 ユーザーの好みを数値化
・結果
– 既存の手法より高い精度を出すことができた
– コールドスタート問題を解決するための案を提案できた

背景 4
服装のリコメンドシステム
・うまくマッチするアイテムの組み合わせ方法の提案
・ユーザー好みの服を提案すること
既存のリコメンドシステムの課題
・アイテム間の相互関係をより正確に捉えること
・画像データの少ないユーザーの好みを捉えること
提案内容
・self-attention mechanismを用いて、アイテム間の相互関係を捉
える
・LAPE（learnable personalized anchor embedding）により、個人
の服装の好みを数値化

関連研究 5
ファッションの互換性学習
 アイテムの組み合わせが上手くマッチしているかを予測
・Tanら
 conditional similarity networks（CSN）を使用
⁃ アイテムごとに条件（着用する場面など）を設定して比較
 attention mechanismを使用
⁃ 様々な条件下で、アイテム同士の関連性を発見
・Songら
 個人に向けた服装のリコメンド課題に取り組んだ
 Matrix factrorized （次元削減のうちの１つ）を行うことで
「アイテム-アイテム」「ユーザー-アイテム」の相互関係を
特徴づけた

提案手法 6
LPAEモデルのアーキテクチャ
LPAE（learnable personalized anchor embedding）
２種類のネットワークから成る
• Agrregation network
 服装全体を集約したもの（ベクトル）をoutfit style space上で捉える
• Matching nerwork

提案手法 7
outfit style space上で
捉える

提案手法 8

提案手法 9
self-attention mechanism
𝑆𝑒𝑙𝑓𝐴𝑡𝑡𝑛 X = 𝐿𝑎𝑦𝑒𝑟𝑁𝑜𝑟𝑚(𝐻 + 𝜎(𝐻))
𝐻 = 𝐿𝑎𝑦𝑒𝑟𝑁𝑜𝑟𝑚(𝑋 + 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑋, 𝑋, 𝑋))
𝐹 = 𝑆𝑒𝑙𝑓𝐴𝑡𝑡𝑛 X
𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑 𝑋, 𝑋, 𝑋 = 𝐶𝑜𝑛𝑐𝑎𝑡(𝑂1, … , 𝑂ℎ)
𝑂𝑖 = 𝐴𝑡𝑡𝑛 𝑋𝑊𝑖, 𝑋𝑊𝑖, 𝑋𝑊𝑖 = 𝑆𝑜𝑓𝑡𝑚𝑎𝑥
𝑋𝑊𝑖(𝑋𝑊𝑖)𝑇
𝑑
𝑋
𝑊𝑖 : パラメータ 𝑑 ∶ Xの次元数
Self attention
mechanisn
F
Item Aggregation Network
F（アイテム間の相互関係を表す変数）の求め方
Layer Normalization(層の正規化)
row-wise
Feedforward layer
（順伝搬の
値の更新）
アイテムの特徴の更新や、特徴の集約を行う
特徴量を結合する

提案手法 10
Output attentive pooling
𝑧 = 𝐿𝑎𝑦𝑒𝑟𝑁𝑜𝑟𝑚(ℎ + 𝜎(ℎ))
ℎ = 𝐿𝑎𝑦𝑒𝑟𝑁𝑜𝑟𝑚(𝑠 + 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑠, 𝐹, 𝐹))
Item Aggregation Network
Fを集約することで
outfit style space上で捉えるための𝑧を求める
𝑠: パラメータ

提案手法 11
Matching network
𝐴 : ユーザーの集合
𝑧𝑗 ∶ 𝑖人目のユーザーのj着目の服装
A𝑖 = [𝑎𝑖1, … , 𝑎𝑖𝑠]
𝐴 = [𝐴1, … , 𝐴𝑚]
𝑟𝑖𝑗
𝑢
=
1
𝑠
𝑘=1
𝑠
𝑎𝑖𝑘
𝑇
𝑧𝑗 𝑎𝑖𝑘 2 = 𝑧𝑗 2
= 1
𝑠𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑡𝑦
𝑟𝑖𝑗
𝑢
∶ 𝑖人目のユーザーのj着目についての
prefecence score（類似度）（userのアンカーのみに着目）
𝐴𝑖: 𝑖人目のユーザーの
アンカーの集合
𝑎𝑖𝑘 ∶ 𝑖人目のユーザーの𝑘個目のアンカー
アンカーの数（s）：ハイパーパラメータ
outfit style space内にある
服装を表現するベクトル

提案手法 12
Matching network
General anchors
LAPE-uとの違い：全体のアンカーも考慮にいれている点
以下のときに有効
・学習データが少ないとき
・新規ユーザーに対して好みを推薦するとき
𝑟𝑖𝑗
𝑔
=
1
𝑠1
𝑘=1
𝑠1
𝑎𝑖𝑘
𝑇
𝑧𝑗 +
1
𝑠2
𝑘=1
𝑠2
𝑔𝑘
𝑇
𝑧𝑗
𝑎𝑖𝑘 2 = 𝑔𝑘 2 = 𝑧𝑗 2
= 1
𝑔𝑘 ∶ 𝑘個目のgeneralアンカー
𝑟𝑖𝑗
𝑔
∶ 𝑖人目のユーザーのj着目についての
prefecence score（全体のアンカーに着目）

提案手法 13
Objective function
Orthogonal regularization
log-determinant divergence (LDD)を使用：アンカーを正規化
𝐷 𝐿𝐿𝑇
, 𝐼 = 𝑡𝑟 𝐿𝐿𝑇
− log det 𝐿𝐿𝑇
− 𝑠
𝐷 ∶ 全体のアンカーのうちの１つ（行列）
𝑠 ∶ アンカーの数
𝐼: 単位行列

提案手法 14
Objective function
Overall loss function
𝑃（学習データの中で２つのペアを用意）を定義
ユーザー𝑖が𝑘より𝑗の服を好んでいる（ prefecence score が高い）場合を表したもの
𝑙 =
(𝑖,𝑗,𝑘)𝜖𝑃
log(1 + exp − 𝑟𝑖𝑗 − 𝑟𝑖𝑘 + 𝜆 ∗ 𝑙𝑟𝑒𝑔)
𝑃 ≡ { 𝑖, 𝑗, 𝑘 𝑟𝑖𝑗 > 𝑟𝑖𝑘 , ∀𝑧𝑗 𝜖 𝑧𝑖
+
, 𝑧𝑘 𝜖 𝑧𝑖
−
}
𝑍𝑖
−
∶ 𝑟𝑖𝑘に該当するもの
𝑍𝑖
+
∶ ユーザーが投稿した服装（ 𝑟𝑖𝑗に該当するもの）
user-anchor, general-anchorのどちらの場合も同様
𝑙𝑟𝑒𝑔 : 前ページで説明した（ LDD ）の等式
Overall loss function

提案手法 15
New user profiling task
𝑟𝑖𝑗
𝑔
と 𝑟𝑖𝑗
𝑎
 ユーザーが着用している服とアンカーの類似度を示す
SA（ Learning by anchor-search ）
 𝑄を左式のスコアの高い順にランキング表示を行う（ 𝑖 𝑍𝑖
𝑇
𝑞𝑙 ）
 ユーザーのパラメータを構成する上位𝑠種類のアンカーを選択
𝑄 = {𝑞𝑙} = ∪𝑖,𝑘 𝑎𝑖𝑘
𝑍 = {𝑍𝑗}
SO（ Learning by optimization ）
 ユーザーのパラメータを直接学習する
SU（ Learning by user-search ）
 𝑍𝑗に対して、最も𝑟𝑖𝑗
𝑢
が大きいユーザー𝑖のパラメータを使用する
𝑎rgmax
𝑍𝑗∈𝑍
𝑟𝑖𝑗
𝑢
𝑄 ∶ user-anchorを結合したもの
𝑍 ∶ 新規ユーザーの服装
ユーザーのパラメータ学習方法

実験 16
使用する評価指標
・AUC（ Area Under the ROC curve ）
・NDCG（ Normalized Discounted Cumulative Gain ）
 どちらも、0~1の範囲の値を取る
テストデータの比率
・Positive : Nagative = 1 : 10
＊scoreは、全てのユーザーの得点を平均したもの

実験 17
使用するデータセット
・Polyvore-Us（U : ユーザー数）
Polyvore-630/Polyvore-519：個人の服装の推薦結果を評価
Polyvore-53/Polyvore-32：新規ユーザーの服装の推薦結果を分析
 1人のユーザーにつき、以下の服装の種類を用意
訓練データ：200種類
テストデータ：40種類
 1つの服装につき、3種類のアイテムを着用している
・IQON-3000
 全体のうち、608人のユーザー分をのみ使用
 1人のユーザーにつき、以下の服装の種類を用意
訓練データ：85種類
テストデータ：20種類
 1つの服装につき、3～8種類のアイテムを着用している
 上記データセットを「IQON-550」と「IQON-58」に分割

実験 18
Baseline
・Bi-LSTM：bidirectional LSTMを用いて、服装の相互関係を学習
・Type-Aware Embedding：アイテムのペアをタイプ別の空間に分
類して、類似性を学習
・SCE-Net： attention mechanismを用いて、様々な条件下で、ア
イテム同士の関連性を発見
・FHN：服装の相互関係とユーザーの好みをペアで学習
・LFM（latent factor model）
LPAEとの違い：ユーザーの特徴を表現するベクトル𝑢𝑖を用意
𝑟𝑖𝑗
𝐿𝐹𝑀
= ℎ𝑇
𝑎(𝑊 𝑢𝑖 ∙ 𝑍𝑗 + 𝑏)
𝑢𝑖 ∶ 𝑖番目のユーザーの服装の特
徴ベクトル
𝑍𝑗: 𝑖番目のユーザーの𝑗番目の服装
(embedding)
𝑊, ℎ, 𝑏:ハイパーパラメータ
Scoreの算出方法
内積
非線形の活性化関数

実験 19
その他設定事項
・ResNet-34：アイテムの特徴量抽出で使用
・アンカーの数
 LPAE-u : 64個
 LAPE-g : ユーザーごとのアンカー32個、全体のアンカー32個
・最適化：SGD
・Pytorchを使用

実験結果 20
LPAEが良い値（self-attention mechanismが効果的だった）
 アイテム間の関係をより細かく捉えることができる
LPAEのItem Aggregation Networkによる効果

実験結果 21
学習で用いるユーザーの服装の種類を１か５種類にした
 限られたデータで、どれくらい良い推薦ができるか確かめるため
少ないデータ（学習で使う服装の数）の場合、LPAEの方が優れている
アンカーを導入による、 cold start 問題対処への貢献度
少ないデータで推薦することは難しいよという話

実験結果 22
G-anchorは、コールドスター問題解決に有効
G-anchorは、服装の数が多くなると貢献度が減少する
 g-anchor、u-anchor使用時の平均値の差より分かる
 ユーザーの好みを把握するためには、1人のユーザーにつき50着は必要そう
general anchorsの貢献度
評価指標：AUC
データセット：Polyvore-53
実験回数：１０回（平均値と標準偏差を示している）
学習に使用できる服装数

実験結果 23
LPAE-uは、LPAE-gと比較して
positiveの割合は、入力した服
装に左右される
general anchorsの貢献度
入力する
服装
LAPE-uは、AとBでPositive
の検出率が大きく異なる
オレンジ枠：positive outfit
青枠：negative outfit

実験結果 24
・上段：推奨衣装
・下段：訓練データの一部
・数値：上下の服装のコサイン類似度
推薦結果を解釈する方法
コサイン類似度から、推薦タスクの出来栄えが分かる

conclusion 25
提案内容
LPAE：個人の好みに合わせた推薦システム
提案手法
– Agrregation network
 服装全体を集約したもの（ベクトル）をoutfit style space上で
捉える
– Matching network
結果
– 既存の手法より高い精度を出すことができた
– コールドスタート問題を解決するための案を提案できた

Personalized outfit recommendation with learnable anchors

More Related Content

What's hot

Similar to Personalized outfit recommendation with learnable anchors

More from harmonylab

Recently uploaded

Personalized outfit recommendation with learnable anchors