Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Machine Learning 15minutes 発表資料(株)ウェブファーマー

1,329 views

Published on

This document is presented for machine learning 15 minutes. This is the introduction to simGAN, and DA-GAN

Published in: Science
  • Be the first to comment

Machine Learning 15minutes 発表資料(株)ウェブファーマー

  1. 1. Machine Learning 15 minutes 発表資料 2017/12/16 株式会社ウェブファーマー 大政 孝充
  2. 2. ●  名前:大政孝充(おおまさ たかみつ) ●  株式会社ウェブファーマー 代表  http://web-farmer.net ●  人工知能システムの開発(画像処理・動画 処理) ●  人工知能のコンサルタント 自己紹介
  3. 3. simGAN vs DA-GAN いずれもデータの水増しに関する論文。どっちがいいの??? simGAN: PVCR 2017 Best Paper Award A. Shrivastava, et. al, “Learning from Simulated and Unsupervised Images through Adversarial Training” DA-GAN:NIPS 2017 J. Zhao, et. al, “Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis”
  4. 4. 背景から・・・・ ディープラーニングとか使って個人の 顔を見分けるシステムつくりたいんだ けど・・・・学習させるには顔画像データ が足りないんだよね。 データの水増しとかすればよぐね!? シミュレータ使って顔画像を合成してみ たけど、本物っぽくなくて・・・・それで学 習しても精度が上がらないわけ。 シュミレータの画像、本物っぽくするモ デルがあるべ。おめぇ、知んねーべ が? シミューレータ ???モデル
  5. 5. simGANとは 生成器 (generator) 実際のdata 識別器 (discriminator) 本物? 偽物? ノイズ 洗練器 (refiner) 実際のdata 識別器 (discriminator) 本物? 偽物? ??? 合成画像 洗練された画像 シミューレータ ノーマルな GANs との比較で考える simGAN GANs
  6. 6. simGANとは このまま学習させると refiner から出てくる画像が合成画像とは大きく異なる可能性がある (合成画像が上を向いているのに、洗練された画像は下を向いている・・・等) 本物? 偽物? 洗練器 (refiner) 識別器 (discriminator) 本物画像 合成画像 洗練された画像
  7. 7. simGANとは 視線推定器を新たに導入する。合成画像と洗練された画像をこれに入力し、出てきた出力か らL1ノルムを計算し、学習させる。 本物? 偽物? 洗練器 (refiner) 識別器 (discriminator) 視線推定器 (gaze estimation network) 本物画像 合成画像 洗練された画像 L1 ノルム
  8. 8. simGANのLoss 識別器(Discriminator)はノーマルなGANsと同じ 洗練器(Refiner)は視線推定器な部分が加わる ココ
  9. 9. simGANモデルの実装例 計算グラフもどき 洗練器 (refiner) 識別器 (discriminator) z_ x_ refined image out_real 視線推定器 (gaze estimation network) g1_ norm_L1 loss_real loss_fake loss + norm_L1 real image synthetic image g2_ out_gaz_syn out_gaz_ref d_fake_p d_real_p loss_total d_real_pout_fake
  10. 10. simGANモデルの実装例 refinerモデルの部分
  11. 11. simGANモデルの実装例 discriminator モデルの部分
  12. 12. simGANモデルの実装例 視線推定器モデルの部分
  13. 13. simGANモデルの実装例 視線推定器モデルの部分 simGANっぽい部分
  14. 14. DA-GANとは 洗練器 (refiner) 実際のdata 識別器 (discriminator) 本物? 偽物? ??? 合成画像 洗練された画像 シミューレータ simGAN との比較で考える 生成器 (generator) 実際のdata 識別器1 誰? 洗練された画像 シミューレータ 合成画像 視線推定器 simGAN DA-GAN L1ノルム 識別器2 本物っぽさ
  15. 15. DA-GANとは 顔の向きが変わらないように生成器に入力する前と後の画像から差分を取る 誰? 生成器 (generator) 識別器1 本物画像 合成画像 洗練された画像 L1 ノルム 識別器2 本物っぽさ
  16. 16. DA-GANとは 識別器1で顔画像のidentityを判別。 誰? 生成器 (generator) 本物画像 合成画像 洗練された画像 L1 ノルム 識別器2 本物っぽさ 識別器1
  17. 17. DA-GANとは Discriminatorはauto-encoder。顔の特徴量から必要最小限の顔画像を再構成している? その出力画像と入力画像との差分は、ノイズや肌質など「本物っぽさ」の部分か? 誰? 生成器 (generator) 本物画像 合成画像 洗練された画像 L1 ノルム 識別器2 本物っぽさ 識別器1 「本物っぽさ」の部分?
  18. 18. DA-GANとは 本物画像の「本物っぽさ」から生成画像の「本物っぽさ」を引いてLossを求めている。 本物画像と生成画像の「本物っぽさ」を近づけている? 誰? 生成器 (generator) 本物画像 合成画像 洗練された画像 L1 ノルム 識別器2 本物っぽさ 識別器1
  19. 19. DA-GANとは 実際は本物画像の「本物っぽさ」を生成画像の「本物っぽさ」の kt 倍にする? 誰? 生成器 (generator) 本物画像 合成画像 洗練された画像 L1 ノルム 識別器2 本物っぽさ 識別器1 とすべく で更新する は
  20. 20. DA-GANとは Generatorは全て畳み込みからなり、中央にresidual blockが10個 誰? 生成器 (generator) 本物画像 合成画像 洗練された画像 L1 ノルム 識別器2 本物っぽさ 識別器1
  21. 21. DA-GANとは GeneratorのLossの1項目はauto-encoder自体を学習させている? 誰? 生成器 (generator) 本物画像 合成画像 洗練された画像 L1 ノルム 識別器2 本物っぽさ 識別器1 LGθ = −Ladv + λ1Lip( )+ λ2Lpp ( ) LGθ = kt !xi − Dφ !xi( ) i ∑ + λ1Lip ⎛ ⎝ ⎜ ⎞ ⎠ ⎟+ λ2Lpp
  22. 22. DA-GANとは LGθ = kt !xi − Dφ !xi( ) i ∑ + λ1Lip ⎛ ⎝ ⎜ ⎞ ⎠ ⎟+ λ2Lpp 識別器(Discriminator)のLossからは「本物っぽさ」とidentityを学習し 生成器(Generator)のLossからはauto-encoder自体とidentity、顔の角度が学習される??
  23. 23. DA-GANモデルの実装例 generatorモデルの部分 ・・・・・・・・・・ ・・・・・・・・・・
  24. 24. DA-GANモデルの実装例 discriminator1(identity識別)モデルの部分 ・・・・・・・・・・ ・・・・・・・・・・
  25. 25. DA-GANモデルの実装例 discriminator2(本物っぽさ)モデルの部分 ・・・・・・・・・・ ・・・・・・・・・・ ・・・・・・・・・・
  26. 26. DA-GANモデルの実装例 演算部分1 ・・・・・・・・・・ ・・・・・・・・・・ ・・・・・・・・・・
  27. 27. DA-GANモデルの実装例 演算部分2 ・・・・・・・・・・ ・・・・・・・・・・
  28. 28. DA-GANモデルの実装例 学習ループ ・・・・・・・・・・ ・・・・・・・・・・
  29. 29. simGANとDA-GAN 結局どっちがいいの? •  simGANはわかりやすい •  顔画像だとsimGANよりDA-GANの方が精度よさそう •  DA-GANは顔画像に特化させた仕組みなので、他のタスクへの転 化は難しい?

×