Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Be Your Own Prada: Fashion Synthesis with Structural Coherence

618 views

Published on

第43回コンピュータビジョン勉強会
「Be Your Own Prada: Fashion Synthesis with Structural Coherence」

Published in: Data & Analytics
  • Be the first to comment

Be Your Own Prada: Fashion Synthesis with Structural Coherence

  1. 1. Be Your Own Prada: Fashion Synthesis with Structural Coherence 第43回 コンピュータビジョン勉強会 @tereka114
  2. 2. 目次 1. 自己紹介 2. 論文の概要 3. GANのおさらい 4. Fashion GAN 5. Segmentation Map Generation 6. Texture Rendering 7. Experiments 8. Conclusion
  3. 3. 1. 自己紹介 1. 山本 大輝(@tereka114) 2. Acroquest Technology株式会社 1. 画像認識、自然言語処理、推薦システムなどを従事 3. のんびりしているエンジニアの日記 1. http://nonbiri-tereka.hatenablog.com/ 4. 寄稿記事 1. Interface 3月号 ラズパイにON!Google人工知能 2. Interface 12月号 人工知能ウルトラ大百科
  4. 4. 2. 論文の概要 1. 衣服を着た人物画像とテキストを入力した場合にテキストに基づ く、新しい服を着た画像を生成する新しいタスクに挑戦した。 1. これを生成するGANが提案手法のFashion GAN 2. 但し、体の領域を残しつつ、テキストで表現された文章に関連す る画像を生成しなければならない。 3. 論文のキーアイデアとして次の2つを提案 1. Spatial Constraint 2. Compositional Mapping
  5. 5. 2. 論文の概要
  6. 6. 2. この論文を読んでみた理由 1. 制約を付けて新しい画像を生成することによって面白いこと に応用できそうだから。 1. 2段階で実施する意味とは何か 1. (何か入れ替えられそうじゃないですか。) 2. GANを使った応用を勉強してみたかった。 1. トレンドを追いかけたかった。
  7. 7. 2. Related Work 1. GANの紹介が多い。 2. Related Workで挙げられている論文の例 1. Conditional GAN 1. ラベルによる制約を付けたGAN 2. Stacked GAN 1. 説明文とノイズから画像を生成(1段階目)+高解像度化(2段階目) 3. S^2GAN 1. 表面を生成する段階(1段階目)とスタイルを合成する(2段階目)
  8. 8. 2. 論文の問題設定 1. 服を着た画像(セグメンテーション)と新しい服を説明する 文章があった場合に新しい画像を生成する問題 1. 体の領域を残す。 2. テキストで表現された文章に関連する画像を生成する。 2. ユーザごとにセグメンテーション済みの画像とその画像に対 する説明が与えられる。
  9. 9. 3. GANのおさらい 1. GeneratorとDiscriminatorを競わせて学習する。 1. GeneratorはDiscriminatorを騙すように学習する。 2. Discriminatorはより識別できるよう学習する。 2. GeneratorとDiscriminatorがいたちごっこになり、 Discriminatorを見分けられなくなるGenerator生まれる。
  10. 10. 3. GANのおさらい 乱数Z 真偽判定 Generator Discriminator
  11. 11. 4. Fashion GAN 1. Fashion GANは生成する形を生成するGANと形から着衣した 同じ人物の画像を生成するGANの2段階構成 1. 1段階目の入力は低解像度セグメンテーション画像とテキストと乱 数を用いる(=Segmentation Map Generation) 2. 2段階目は生成したセグメンテーション画像とテキストと乱数を用 いる。(=Texture Rendering) 乱数 デザイン エンコーディング デザイン エンコーディング画像の形状
  12. 12. 4. Fashion GAN
  13. 13. 4. Fashion GAN
  14. 14. 5. Segmentation Map Generation 1. 最初のGeneratorは新しく生成したいSegmentationのマップ を生成することを目的としている。 2. 入力は次の3つ 1. ダウンサンプリングされたSegmentation画像 ↓m(S0) 2. デザイン・コーディングされたベクトルd 3. ガウシアンノイズz 3. 出力は新しく生成したい領域分割画像
  15. 15. 5. Spatial Constraint 1. セグメンテーションのSを↓m(S0)へ変換する。 1. セグメンテーションの領域を限定する。 1. background, hair, face, upper-clothsm,pantsl,shortsm legs, and arms 2. 1からbackground, hair, face, restへ変換する 2. 2つのデザイン・コーディングとセグメンテーションの相関を弱 めるためにダウンサンプリングしたS(=↓m(S0))を利用する。 3. 入力した形状とテキストが反した場合にうまく生成できない。 1. 入力形状:短い服装 2. テキスト:長いドレス
  16. 16. 5. Segmentation Map Generation
  17. 17. 5. Segmentation Map Generation
  18. 18. 5. Design Encoding 1. Design Codingのベクトルは50次元 1. 10次元は人間の属性 1. 性別、髪が短い/長い、サングラスの有無、帽子の有無 2. 4次元は肌(RGBY) 3. 2次元は人の幅と高さ 2. 40次元はText Encoderを利用し、作成した。 1. 元論文は「Generative Adversarial Text to Image Synthesis」
  19. 19. 5. Generative Adversarial Text to Image Synthesis 1. テキストと乱数を入力として、画像を作成するGAN 1. 従来のGANでは乱数のみだが、テキストをエンコードして、追加で 投入する。 2. RNNを使い、テキストをベクトルへエンコードする仕組みが 利用されている。 1. 論文内だといくつかあり、Char-CNN-RNN、CNNを利用した方法い くつかある。
  20. 20. 5. Text Encoder Text Encoderは この部分
  21. 21. 5. Fashion GAN
  22. 22. 6. Texture Rendering • 前段で得られた画像を使って、画像を生成する。 • GANを使って、生成された画像の形状から最終的な画像を生成する。 • Compositional Mappingを使った合成を行い、より適切なレン ダリングを実現した。 • 領域の一貫性やボディパーツを維持するために新規のマッピングレイ ヤーを追加した(Compositional Mapping)
  23. 23. 7. Experiment 1 1. Attribute Detectorで得られた属性をマッチングする。 2. Deep Fashion 1. http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html 3. 生成手法 1. One Step方式 1. One-Step GAN(8-7) 1. Segmentationのデータから直接、画像を生成する。 2. One-Step GAN(8-4) 1. Down samplingされたデータから直接、画像を生成する。 2. Non-Compositional 1. Compositional Mappingを外したニューラルネットワーク
  24. 24. 7. Deep Fashion(Dataset)
  25. 25. 7. Experiment 1(属性一致)
  26. 26. 7. Experiment Result
  27. 27. 7. Experiment 2 1. 生成された画像を8979画像枚提示し、ランクを参加者につけ てもらった。 1. 1が最も良く、5が最も悪い。
  28. 28. 7. 生成画像(Step by Step)
  29. 29. 7. 生成画像
  30. 30. 8. Conclusion 1. 新しくテキストに基づく、着衣した画像を生成するタスクに 取り組んだ。 2. テキストと画像を使ったアプローチであるFashion GANを提 案した。 1. 形状生成と画像生成を行うGANを利用した。 2. ベースラインより精度が高い。 3. 現状の背景は殆ど固定となっている(ショッピングサイト) がデータを増やせば、zで表現できるかも。
  31. 31. 8. 所感 1. 形を意識する必要のあるデータへの変換だと役立つっぽい。 1. 他に何に使えそうかは今後の(個人的な)課題 2. 2段階構成による生成手法を活用したい。 1. テキスト・形(セグメンテーション)・ノイズといった箇所

×