Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Computer Vision for Fashion 日本語 2018-09-19

1,563 views

Published on

ファッション分野向けのコンピュータビジョンの基礎と研究動向

Published in: Technology
  • Be the first to comment

Computer Vision for Fashion 日本語 2018-09-19

  1. 1. Computer Vision for Fashion Kota Yamaguchi CyberAgent, Inc. TC-IAIP, Jul 13, 2018
  2. 2. 山口光太 Research Scientist CyberAgent, Inc. コンピュータビジョン・機械学習 • 2017- 現職 • 2014-2017 助教, 東北大学 • 2014 PhD, Stony Brook University • 2008 修士, 東京大学 twitter.com/kotymg github.com/kyamagu
  3. 3. FashionTech • ファッション領域の技術的ソ リューション • 商品検索 • マーケティング • トレンド分析 • 身体計測 • 機械学習の民主化とともに実 用が急速に進む
  4. 4. E-Commerce応用 [Kiapour, ICCV 2015] Street2Shop 物体検出、分類、類似検索はコンピュータビジョンの基礎技術
  5. 5. ファッション業界 “The global apparel market is valued at 3 trillion dollars, 3,000 billion, and accounts for 2 percent of the world‘s Gross Domestic Product (GDP).” – FashionUnited.com
  6. 6. ファッション領域のAIサービス https://www.amazon.com/Echo-Hands-Free-Camera-Style-Assistant/dp/B0186JAEWK https://www.technologyreview.com/s/609452/alibabas-ai-fashion-consultant-helps-achieve-record-setting-sales/ Amazon Echo Look Alibaba FashionAI
  7. 7. Body measurement Original Stitch MakipZOZOSUIT by ZOZOTOWN 3DLOOK
  8. 8. Virtual Styling https://qz.com/1090267/artificial-intelligence-can-now-show-you-how-those-pants-will-fit/ https://www.theverge.com/circuitbreaker/2018/1/3/16844300/amazon-patent-mirror-virtual-clothes-fashion Vue.ai Only two of these images were taken by a camera. "Amazon patents a mirror that dresses you in virtual clothes" – The Verge Amazon
  9. 9. Start-ups • 最先端の画像認識 技術が実用サービ ス化 Fashwell Wide Eyes TechnologiesShopagon Markable
  10. 10. 最近のファッション領域研究の特徴 • 強く応用タスクに依存する問題設定 • E-Commerceやソーシャルメディアのユーザ体験 • コンピュータビジョンは要素技術 • Deep learningはほぼ画像認識問題を解決した • 単純なものから複雑なものまで • 残るはデータの問題、どうやって収集するか • Creativityのための機械学習? • 認識ができても、生成は? • ファッション業界全てのレイヤーで機械学習は役に立つか?
  11. 11. アジェンダ • 画像認識の基本 • 最近の研究動向 • 衣服の認識 • トレンド分析
  12. 12. 画像認識の基本
  13. 13. 画像認識 DensePose [Gueler, 2018] skin hair bag dress jacket/blazer necklace shoes sweater/cardigan top/t-shirt vest watch/bracelet Semantic Segmentation Instance Segmentation + Pose Estimation [Pongsate, 2017] Classification Object Detection Cat Domestic cat Feline Tabby Domestic animal [Jia, 2014] image-net.org
  14. 14. ニューラルネットワークによる画像認識 • 多数の非線形関数ユニットが結合して構成される数理モデル • 画像の特徴量への写像関数として使われる Y = F(X) x1 x2 x3 x4 y1 y2 Input layer Hidden layer Output layer RED APPLE 2) データ点の判別1) 特徴量空間への変換 GREEN APPLE
  15. 15. 様々なニューラルネットワーク 順伝播型ニューラルネット 再帰型ニューラルネット (RNN) 畳み込みニューラルネット (CNN) • 結合が再帰的なもの • 系列データの利用 • 画像のフィルタ演算がユニット • 画像などの空間配列データに利用 その他、オートエンコーダ、ボルツマンマシン
  16. 16. 学習と予測 学習データ モデル テストデータ 結果 学習 予測 Y = F(X) {(X,Y)} F
  17. 17. 学習: モデル推定 • ニューラルネットワークの重みが損失関数を小さくするように 最適化 • 例: 二乗誤差 min 𝑊 𝑖 𝑦𝑖 − 𝑦 (𝒙𝑖, 𝑊) 2 正解値 出力値 ネットワークのパラメータ (ニューロンの重み) 入力値 𝑦𝒙
  18. 18. 勾配降下法 (Gradient descent) • 非線形関数の最適化手法 • 局所的に線形近似、勾配 方向に現在の解を更新 損失関数 (Loss function) L(X, W) = || y – y(x, W) ||2 Wt Wt+1 e 𝑊𝑡+1 ⟵ 𝑊𝑡 − 𝜀𝛻𝐿(𝑋, 𝑊𝑡) 損失関数の勾配学習率 現在の パラメータ 学習率:どれだけ現在の解を動かすか W
  19. 19. 誤差逆伝播法 (Back propagation) • ニューラルネットワークの学習時に効率的に微分計算する手法 • 微分のチェインルール(連鎖律) • パラメータの勾配計算に使う 𝒙 𝑦 順伝播 𝐿 逆伝播 𝜕𝐿 𝜕𝒙 𝐿
  20. 20. 畳み込みニューラルネットワーク (CNN) • ほぼ全ての画像認識手法に使われるニューラルネットワーク Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document recognition, Proceedings of the IEEE 86(11): 2278–2324, 1998. Many slide credits: Rob Fergus (NYU)
  21. 21. 代表的なCNNアーキテクチャ • LeNet [LeCun 1998] • AlexNet [Krizhevsky 2012] • VGG [Simonyan 2014] • GoogLeNet [Szegedy 2014] • ResNet [He 2015] • ResNeXt [Xie 2016] • DenseNet [Huang 2016]
  22. 22. ResNet [He 2015] http://felixlaumon.github.io/ https://culurciello.github.io/tech/2016/06/04/nets.html • ImageNet 2015最高性能 • Residual block (Identity + Conv)に よって超深層を実現
  23. 23. Mask R-CNN https://medium.com/@jonathan_hui/ebe6d793272 [He 2017] • RPNによる物体候補領域の検出 • 各候補領域で画像分類、マスク、位置ずれ予測 • Detectron https://github.com/facebookresearch/Detectron
  24. 24. DensePose [Gueler 2018] http://densepose.org/ • Mask R-CNNで身体表面を対象に検出 • ピクセル単位でどの身体部位に属するか認識 • 身体部位の座標軸の中でどの位置(U, V)かを予測
  25. 25. 最近の研究動向
  26. 26. 1. 組み合わせ問題 2. 商品検索 3. トレンド分析 4. Webデータと学習 5. クリエイティビティ matched unmatched [Kiapour 2015] [Al-Halah 2017] [Lassner 2017][Ha 2017] 0. データセット [Liu, CVPR 2016] 最近の研究動向
  27. 27. DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html [Liu, CVPR 2016] 800K images 50 categories 1K attributes, bbox, landmarks Attribute prediction Street-to-shop In-shop retrieval Landmark detection Image synthesis Retrieval demo: http://fashion.sensetime.com/
  28. 28. ModaNet: A Large-Scale Street Fashion Dataset with Polygon Annotations [Zheng, ACMMM 2018] ポリゴンあり最大規模 のデータセット
  29. 29. Mix and Match: Joint Model for Clothing and Attribute Recognition matched unmatched [Yamaguchi, BMVC 2015] 衣服の組み合わせを考慮して同時推定
  30. 30. Learning Visual Clothing Style with Heterogeneous Dyadic Co-occurrences [Veit, ICCV 2015] IncompatibleCompatible 衣服の組み合わせを購買データから学習
  31. 31. Learning Fashion Compatibility with Bidirectional LSTMs [Han, ACM MM 2017] アイテム群の相性をシーケンスモデルで判定
  32. 32. Learning Type-Aware Embeddings for Fashion Compatibility • Type制約付きのEmbedding学習 [Vasileva, arXiv]
  33. 33. Recommending Outfits from Personal Closet Good ? Bad Outfit Closet [Tangseng, ICCVW 2017] アイテム群の相性を一度に判定
  34. 34. Where to Buy It: Matching Street Clothing Photos in Online Shops • 同一商品をストリートスナップから同定 [Kiapour, ICCV 2015]
  35. 35. Memory-Augmented Attribute Manipulation Networks for Interactive Fashion Search[Zhao, CVPR 2017] 特徴を切り替えながら商品カタログをブラウジング
  36. 36. Visual Search at eBay • ボットの質疑応答 による商品検索 [Yang, KDD 2017]
  37. 37. Fashion Style in 128 Floats: Joint Ranking and Classification Using Weak Data for Feature Extraction [Simo-Serra, CVPR 2016] スタイル表現を弱教師データから学習
  38. 38. Learning the Latent "Look": Unsupervised Discovery of a Style-Coherent Embedding from Fashion Images [Hsiao, ICCV 2017] Polylingual LDA 一貫性があり、かつバラエティに富んだスタイルのクラスタリング
  39. 39. Fashion Forward: Forecasting Visual Style in Fashion [Al-Halah, ICCV 2017] Popularity prediction by styles Keyword popularity prediction 特定のスタイルの流行を時系列予測
  40. 40. The Elements of Fashion Style [Vaccaro, UIST 2016] 抽象的キーワードと低レベルキーワードを言語情報のみから整理
  41. 41. Fashion Conversation Data on Instagram Successful categorization Unsuccessful categorization [Ha, ICWSM 2017] インスタグラムのデータを分類可能か調査
  42. 42. When Fashion Meets Big Data: Discriminative Mining of Best Selling Clothing Features[Chen, WWW 2017] 特定のキーワードと売り上げの関係を分析
  43. 43. Pose Guided Person Image Generation[Ma, arXiv 2017] 与えられたスタイル写真を指定のポーズに再合成
  44. 44. Fashion is Taking Shape: Understanding Clothing Preference Based on Body Shape From Online Sources • 複数画像から体型推定 [Sattar, arXiv]
  45. 45. A Generative Model of People in Clothing[Lassner, ICCV 2017] 領域データとパレットから着用画像を合成
  46. 46. Be Your Own Prada: Fashion Synthesis with Structural Coherence [Zhu, ICCV 2017] 言語で指定したスタイル に画像を再合成
  47. 47. Fashion-Gen: The Generative Fashion Dataset and Challenge [Rostamzadeh, arXiv 2018]
  48. 48. 衣服の認識 CVPR 2012, ICCV 2013, TPAMI 2014, arXiv
  49. 49. style.com Clothing parsing
  50. 50. Fully-convolutional Neural Networks (FCN) • CNN for semantic segmentation • All-convolution architecture Fully Convolutional Networks for Semantic Segmentation Jonathan Long, Evan Shelhamer, Trevor Darrell CVPR 2015
  51. 51. Looking at outfit to parse clothing FC FC Sigmoid Deconv Sum Crop Deconv Deconv Crop Sum Conv 3xConv Pool5 3xConv Pool4 3xConv 3xConv 3xConv Pool3 Pool2 Pool1 Conv Conv Product Deconv Crop Softmax CRF Loss Outfit encoder Conv Conv 1. Outfit prediction (clothing combination) 2. Filter out inappropriate garments 3. Smooth out boundary FCN Input [Pongsate, arXiv 2017] Input Output
  52. 52. Parsing results input truth prediction input truth prediction
  53. 53. skin hair dress hat/headband shoes skin hair bag dress jacket/blazer necklace shoes sweater/cardigan top/t-shirt vest watch/bracelet predictiontruthinput
  54. 54. Refined Fashionista dataset • High-quality, manually- annotated 685 pictures • Major improvement from v0.2 • Used to learn FCN by fine- tuning from pre-trained model [Long 2015]
  55. 55. Pixel-based annotation using superpixels https://github.com/kyamagu/js-segment-annotator
  56. 56. Limitations • CRF tends to trim small items • sunglasses • watch/bracelet • Dress vs. top+skirt distinction is still hard truth prediction input truth prediction
  57. 57. トレンドの分析 WACV 2015
  58. 58. Fashion trend: Runway to realway Fashion show Street style.com chictopia.com
  59. 59. Runway dataset ~35k images in 9k fashion shows over 15 years, from 2000 to 2014
  60. 60. What does it mean by similar? The real challenge is the definition of similarity.
  61. 61. The query image is given in the left column, while five candidate images are shown in the right columns. 1. Select an image with the most similar outfit to the query. 2. If there is NO similar image, please select NONE. Query image NONE Collecting human judgments to learn similarity Select an image with the most similar outfit to the query image
  62. 62. Visual processing Pose estimation Foreground segmentation Boundary map
  63. 63. Runway-to-runway retrieval Retrieving similar styles from other fashion shows
  64. 64. Runway-to-realway retrieval Retrieving similar styles from street snaps
  65. 65. Visually analyzing floral trend Runway image of floral Retrieved images in street with timestamp Peaks in spring! % retrieved images
  66. 66. Runway to realway analysis • What is considered similar in fashion? • Our approach: Learn human judgment • Tracking similarity over time = trend analysis of a specific style
  67. 67. アトリビュートの自動検出 ECCV 2016
  68. 68. アトリビュート • このTシャツは _______ に見えますか? • 黄色 • 大きく • サーフスタイル • 着心地楽々 • 一品もの • 人気 ... onehourtees.com www.justclick.ie www.matsongraphics.compolyvore.com
  69. 69. アトリビュートに使える語彙 • 世の中にはどれくらいTシャツを表現する単語がありますか? • このTシャツは __________ です。
  70. 70. トレンディ ワード 全てのハッシュタグに 対応する画像認識モデ ルを学習できますか? Instagram
  71. 71. アトリビュートの自動検出 • 画像認識に使える語彙を発見 • オープンワールドデータでの挑戦 • Web から学習済みニューラルネットを 使って発掘 yellow large surfer comfy original popular
  72. 72. 提案手法 Pre-trained deep CNN beautiful soft blush handmade leather ballet flats. ***please, note, our new blush ballet flats are without the beige trim line (around the edges), still just as beautiful and perhaps even more*** SIZING ✍ how to take measurements ✍ there are a number of ways to measure your feet, however we find the quickest and most reliable practice is by tracing your feet. Here is how to do it: stand on a piece of paper that's bigger than your feet, circle your feet around with a straight standing pencil (without pressing the pencil too hard to the edges of your feet). Once you have the tracing, measure distance between longest and widest points. Compare the measurements to the list below. Image Text white red striped wooden sliky ... アトリビュート 1. Webデータを収集 2. DNN内部挙動を 観測
  73. 73. Web: 実質無限のコーパス 自然言語記述 Feel So Good ... Purple Halter Maxi Cotton dress 2 Sizes Available タグ used, american casual, summer, shorts, t-shirt, surfer, printed, duffer Etsy dataset: e-commerce Wear dataset: fashion-blog
  74. 74. 自動検出の考え方 • キーワード付きの画像集合と無しの画像集合の分布の差を見る pink not pink
  75. 75. DNN内部挙動を使った自動検出 conv1 conv2 conv3 conv4 conv5 fc6 fc7 positive negative ディープ ニューラルネット ユニット挙動 ヒストグラム unit #1 unit #2 ... KL divergence 画像 neurons
  76. 76. KLの可視化: shorts Positive Negative pool5 KL 平均画像 norm2 KL
  77. 77. KLの可視化: red Positive Negative pool5 KLnorm2 KL 平均画像
  78. 78. 視認性 • 判別器 f とデータセット D+, D- が与えられた時、単語 u の視認 性を以下に定義: V(u| f )º accuracy( f,Du + ,Du - ) positive negative D+ D-
  79. 79. 検出されたアトリビュート lovelybrightorange acrylic NOT lovelyNOT brightNOT orange NOT acrylic elegant NOT elegant
  80. 80. 顕著性の可視化 • 判別器が学習できれば顕著領域も検出可能 tulle-skirt
  81. 81. image sunglasses shorts sneakers gingham check white style yellow human ours image human ours
  82. 82. アトリビュートの自動検出 • Webデータからオープンワールドの画像認識モデルを学習 • DNNの内部挙動を調べることで特定の単語の視認性を測定可能 • さらに顕著性も検出することが可能
  83. 83. Computer Vision for Fashion • コンピュータビジョンは強力な分析ツール • 研究は現実の課題へ • Street2shop, スタイルの理解, Social mediaの計測, トレンド分析, 画像 生成によるVirtual fitting • 画像認識で積極的にビジネス課題を解決する段階 

×