Recommended
More Related Content
Recently uploaded
Recently uploaded (16)
Featured
Featured (20)
Fashion Image Retrieval with Triplet loss 07/06/2018
- 1. マスター タイトルの書式設定 早稲田大学院 井上研究室 M2 石塚航希 画像群の性質を考慮した ドメイン間衣服画像検索の 実用化の検討
- 9. マスター タイトルの書式設定課題 9 Street画像とShop画像の性質が異なる Street画像 - 背景がバラバラ - 変形、隠れが多い - 光の状態が雑 Shop画像 - (背景が綺麗) - 商品がメイン - 光の状態が良い
- 10. マスター タイトルの書式設定データの性質について 10 Where to Buy It(2015) [1] ★ 背景やライティングがかなり洗練されている ★ 海外の通販サイトではこのパターンが多い Where to Buy It[ショップ画像]
- 11. マスター タイトルの書式設定データの性質について 11 DeepFashion(2016) [2] ★ ショップ画像の多様性が高い(背景・人の有無等) ★ 日本の通販(ZOZOTOWN・楽天等)に近い DeepFashion[ショップ画像] ZOZOTOWN ★ 少なくとも日本市場においてはこちらの方が有益 ★ 直接コーディネート推薦にもなりそう
- 13. マスター タイトルの書式設定 特徴空間 手法 13 𝒙 𝒏 𝒙 𝒑 𝒙 𝒂 𝒘𝒉𝒆𝒓𝒆 𝑫 𝒂, 𝒃 = 𝒂 − 𝒃 𝟐 𝟐 正解ペアと不正解ペア間 の距離に𝑚𝑎𝑟𝑔𝑖𝑛 だけ差 が出ることを期待 𝑳 𝒙 𝒂, 𝒙 𝒑, 𝒙 𝒏 = 𝐦𝐚𝐱[𝑫 𝒙 𝒂, 𝒙 𝒑 − 𝑫 𝒙 𝒂, 𝒙 𝒏 + 𝑚𝑎𝑟𝑔𝑖𝑛, 𝟎] Triplet-lossを用いる ※Tripletは「三つ組」という意味です
- 14. マスター タイトルの書式設定手法 14 𝒙 𝒏 𝒙 𝒑 𝒙 𝒂 𝒘𝒉𝒆𝒓𝒆 𝑫 𝒂, 𝒃 = 𝒂 − 𝒃 𝟐 𝟐 𝑳 𝒙 𝒂, 𝒙 𝒑, 𝒙 𝒏 = 𝐦𝐚𝐱[𝑫 𝒙 𝒂, 𝒙 𝒑 − 𝑫 𝒙 𝒂, 𝒙 𝒏 + 𝑚𝑎𝑟𝑔𝑖𝑛, 𝟎] Triplet-lossを用いる 特徴空間 正解ペアと不正解ペア間 の距離に𝑚𝑎𝑟𝑔𝑖𝑛 だけ差 が出ることを期待 ※Tripletは「三つ組」という意味です
- 15. マスター タイトルの書式設定手法：全体像 15 学習時 𝒙 𝒂 𝒙 𝒑 𝒙 𝒏 Triplet Loss Layer CNN CNN CNN パラメータ共有 shop street 画像
- 16. マスター タイトルの書式設定手法：全体像 16 学習時 検索時 𝒙 𝒂 𝒙 𝒑 𝒙 𝒏 Triplet Loss Layer CNN CNN CNN パラメータ共有 shop street 画像 𝒙 𝒒𝒖𝒆𝒓𝒚 vector 検索 CNN 𝒙 𝒈𝒂𝒍𝒍𝒆𝒓𝒚 vectorCNN
- 21. マスター タイトルの書式設定先行研究 21 VisNet(2017) [3] 深い(VGG)と浅いネットワークを並列に配置することで 高度な特徴と低レベルな特徴の両方を考慮できる それぞれの の内部構造を並列化CNN 𝒙 𝒂 𝒙 𝒑 𝒙 𝒏 Triplet Loss Layer CNN CNN CNN パラメータ共有 shop street 画像 WhereTo Buy Itデータセット(洗練された方) に対して効果を出した
- 23. マスター タイトルの書式設定実験設定 23 データ：DeepFashionの【Tシャツ】カテゴリ Train(67%) Test(33%) 合計 商品数 4123 2032 6155 画像数 26290 4064 30354 Triplet数 38378 - - ※Testデータは各idにつきクエリ画像１枚、正解画像１枚とした 実験1: CNNはシングル構造でVGGのみ 実験2:VGGと並列に浅いネットワークを追加
- 24. マスター タイトルの書式設定定性的評価 クエリ画像 実験1: シングルCNN 実験2: 並列CNN 近 遠 ※赤枠内がクエリと同一アイテム 24
- 25. マスター タイトルの書式設定定性的評価 25 実験1: シングルCNN 実験2: 並列CNN
- 27. マスター タイトルの書式設定まとめ＆展望 27 まとめ 展望 衣服画像検索におけるCNN並列化の有効性を検証した Attention機構を組み込む ★Visual Attention Model(2017) ★ Learn to Pay Attention(2018) ・衣服画像検索タスクの中で提案されている ・一般的な画像認識タスクの中で提案されている 浅いCNNではなく色やエッジに基づく人工的な特徴量 も試す
- 29. マスター タイトルの書式設定参考文献 29 [2]Ziwei Liu et al, 2016 “DeepFashion: Powering Robust Clothes Recognition and Retrieval with RichAnnotations ” [3]Zhonghao Wang et al, 2017 “Clothing Retrieval withVisualAttention Model” [4] Devashish Shankar et al, 2017 “Deep Learning based Large ScaleVisual Recommendation and Search for E-Commerce ” [5] Saumya Jetley et al, 2018 “LEARNTO PAY ATTENTION ” [1] M. Hadi Kiapour et al, 2015 “Where to Buy It: Matching Street Clothing Photos in Online Shops”
- 30. マスター タイトルの書式設定 早稲田大学院 井上研究室 M2 石塚航希 Appendix
- 31. マスター タイトルの書式設定Attentionモデル(検討中) 31 Learn to Pay Attention(2018) [5] Dropoutを応用したImpdropという構造を入れることで 背景の影響を減らす Visual Attention Model(2017) [4] ネットワーク途中の出力 を後半で再利用