Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

NeurIPS2018読み会@PFN a unified feature disentangler for multi domain image translation and manipulation

1,948 views

Published on

NeurIPS2018読み会@PFN
発表資料
a unified feature disentangler for multi domain image translation and manipulation

Published in: Technology
  • Be the first to comment

NeurIPS2018読み会@PFN a unified feature disentangler for multi domain image translation and manipulation

  1. 1. NeurIPS 2018 読み会 @PFN 岡本大和 2019/01/26 A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation(NeurIPS’18) https://neurips.cc/ https://connpass.com/event/115476/
  2. 2. 自己紹介 岡本大和(おかもとやまと)  京都大学でパターン認識を専攻して修士課程修了 (2013)  卒業後はオムロンで技術起点の事業創造を担当 (2013~)  夢は京都をポスト・シリコンバレーにすること twitter RoadRoller_DESU @ICDM’18 Banquet
  3. 3. 本日紹介する論文 A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation (NeurIPS’18) Alexander H. Liu, Yen-Cheng Liu, Yu-Ying Yeh, Yu-Chiang Frank Wang National Taiwan University, Georgia Institute of Technology, University of California, MOST Joint Research Center for AI Technology and All Vista Healthcare なぜこの論文を選んだのか? - 特徴量を分離する『Feature disentangle』が最近盛り上がっているから - NeurIPS2018で『disentangle』をタイトルに含む論文は約10件あった - 関西CVPRML勉強会で紹介されたCVPR’18の論文を読んで興味を持った https://www.slideshare.net/atsushihasimoto/cvprml-cvpr2018-feature-disentangling
  4. 4. Motivation ごちゃまぜの特徴量を分離/整理して取り出したい (disentangle) ①ドメイン特徴量、②それ以外(=ドメイン不変な特徴量) Unsupervised Domain Adaptation Cross-domain image translation http://openaccess.thecvf.com/content_cvpr_2017/papers/Tzeng_Adversarial_Discriminative_Domain_CV PR_2017_paper.pdf http://sse.tongji.edu.cn/linzhang/CV/ReadingMaterials/Image-To-Image_Translation.pdf
  5. 5. Related Work Adversarial Discriminative Domain Adaptation(CVPR’17) どちらのドメインから抽出した特徴量なのか区別できないよう敵対学習 ドメインが異なっても同じような特徴量分布となるため識別器を共有可能 この手法の課題 ドメイン特徴量の分布を寄せる過程で、 意味ある情報( semantic information )を損失しているリスクがある。 Unsupervised Domain Adaptation
  6. 6. Related Work この手法の課題 ドメイン特徴量の分布を寄せる過程で、 意味ある情報( semantic information )を損失しているリスクがある。 Unsupervised Domain Adaptation 補足:こんな感じ 0~9の文字クラスの特徴量分布 ドメイン(赤と青)が異なると、 分布が若干異なる。 これが重なるよう調整する。 http://proceedings.mlr.press/v37/ganin15.pdf
  7. 7. Related Work Image-to-Image Translation with Conditional Adversarial Networks (CVPR’17) 2ドメインの画像ペアについて敵対学習する。 Image Translationで生成した画像ペアだと見抜かれないよう学習する。 この手法の課題 2ドメイン専用手法なので拡張性が低い。 マルチドメインに展開した場合は計算量が膨大になる。 Cross-domain image translation
  8. 8. Key Idea Unified Feature Disentangle Network (UFDN) 敵対学習を利用して特徴量を分離する ドメイン特徴量を拡張可能なvector表現にしてマルチドメイン対応 自己符号化器を添えることで情報損失を防ぐ
  9. 9. Key Idea (detail)
  10. 10. Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい
  11. 11. Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい ドメイン識別タスクで 敵対学習をする
  12. 12. Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい ドメイン識別タスクで 敵対学習をする Dvはzからドメイン識別できるように学習、 Encoderはドメイン識別されないような特徴量 z を抽出できるよう学習
  13. 13. Key Idea (detail) zからドメイン識別できなくなれば、 つまり、zはドメイン不変の特徴量!
  14. 14. Key Idea (detail) しかし、ドメイン識別できないようにするなら 特徴抽出するとみせかけて、 ノイズ出力するだけでも達成されてしまう zからドメイン識別できなくなれば、 つまり、zはドメイン不変の特徴量!
  15. 15. Key Idea (detail) しかし、ドメイン識別できないようにするなら 特徴抽出するとみせかけて、 ノイズ出力するだけでも達成されてしまう zには、ドメイン以外の情報が 損失なく保存されるような工夫が必要 zからドメイン識別できなくなれば、 つまり、zはドメイン不変の特徴量!
  16. 16. Key Idea (detail) 自己符号化器によるReconstruct LOSSを追加 zからxを復元できるような制約によって情報損失を防ぐ
  17. 17. Key Idea (detail) 自己符号化器によるReconstruct LOSSを追加 zからxを復元できるような制約によって情報損失を防ぐ ただしzは 先ほどの敵対学習により ドメイン不変である つまり、 ドメイン情報は含まれず、 ドメイン以外の情報しか 含まれない。 Reconstructionするには ドメイン情報が足りない。
  18. 18. Key Idea (detail) 自己符号化器によるReconstruct LOSSを追加 zからxを復元できるような制約によって情報損失を防ぐ ドメインを示すvectorをzに加算(concat)してReconstructionする。 ドメイン情報を加えるだけでReconstructionに成功したならば、 ドメイン以外の情報はzに保存されていると言える。 ただしzは 先ほどの敵対学習により ドメイン不変である つまり、 ドメイン情報は含まれず、 ドメイン以外の情報しか 含まれない。 Reconstructionするには ドメイン情報が足りない。
  19. 19. Key Idea (detail) 補足: ドメインを示すvectorは、具体的にはone hot vectorを利用 例) ドメイン1 ⇒ [1, 0, 0] ドメイン2 ⇒ [0, 1, 0] ドメイン3 ⇒ [0, 0, 1]
  20. 20. Key Idea (detail) ドメイン以外の情報がzに保存されているならば、 ウソのドメイン情報(vector)をzに加算すれば、 Image-translationができる
  21. 21. Key Idea (detail) ドメイン以外の情報がzに保存されているならば、 ウソのドメイン情報(vector)をzに加算すれば、 Image-translationができる 生成画像の質を担保するために Real/Fakeおよび、 ドメイン識別のLOSSを設置
  22. 22. Key Idea (detail)
  23. 23. Experiment ① Unsupervised domain adaption 抽出したドメイン不変の特徴量zによって、 学習データとは異なるドメインのデータで数字識別タスクにチャレンジ ② image-to-image translation zに加えるドメイン情報(vector)を変化させることで、 様々な画像を生成する ① ②
  24. 24. Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN
  25. 25. Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN 残り3パターンは どうだったんだろ・・?
  26. 26. Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN →SVHN のパターンは ダメだったんだろうな…
  27. 27. Experiment ② image-to-image translation マルチドメイン(ここでは3)でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b) zをランダムサンプリングして画像生成した結果 ※上下方向ではドメイン以外の特徴量(z)が異なり、左右方向ではドメイン特徴量(v)が異なる
  28. 28. Experiment ② image-to-image translation マルチドメイン(ここでは3)でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b) zをランダムサンプリングして画像生成した結果 ※上下方向ではドメイン以外の特徴量(z)が異なり、左右方向ではドメイン特徴量(v)が異なる Sketch と Paint の間や、 3ドメインの中間はどうなるんだろう… [1/3, 1/3, 1/3]を入力してみたい
  29. 29. Experiment ② image-to-image translation 画質評価(SSIM/MSE/PSNR)で従来手法を上回った ※これらの画像はいずれもドメイン以外の特徴量(z)は同じで、ドメイン特徴量(v)だけが異なる
  30. 30. Conclusion • ドメイン特徴量とそれ以外に分離して抽出するUFDN手法を提案  ドメイン情報を示すvectorを調整すれば簡単に複数ドメイン対応可能  自己符号化器と敵対学習によって情報損失を防ぐ • Unsupervised domain adaption (SVHN→MNIST)でSOTAを達成
  31. 31. Thanks r2d.info

×