Submit Search
Upload
Unsupervised Image-to-Image Translation Networksの紹介
•
Download as PPTX, PDF
•
2 likes
•
1,542 views
K
KCS Keio Computer Society
Follow
KCS AI班2017年3月6日の活動。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 14
Download now
Recommended
[DL輪読会]SlowFast Networks for Video Recognition
[DL輪読会]SlowFast Networks for Video Recognition
Deep Learning JP
[DL輪読会]GANとエネルギーベースモデル
[DL輪読会]GANとエネルギーベースモデル
Deep Learning JP
文献紹介:SlowFast Networks for Video Recognition
文献紹介:SlowFast Networks for Video Recognition
Toru Tamaki
CycleGANについて
CycleGANについて
yohei okawa
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
Kento Doi
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
Deep Learning JP
How good is my GAN?
How good is my GAN?
Shunsuke NAKATSUKA
【DL輪読会】Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space...
【DL輪読会】Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space...
Deep Learning JP
Recommended
[DL輪読会]SlowFast Networks for Video Recognition
[DL輪読会]SlowFast Networks for Video Recognition
Deep Learning JP
[DL輪読会]GANとエネルギーベースモデル
[DL輪読会]GANとエネルギーベースモデル
Deep Learning JP
文献紹介:SlowFast Networks for Video Recognition
文献紹介:SlowFast Networks for Video Recognition
Toru Tamaki
CycleGANについて
CycleGANについて
yohei okawa
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
Kento Doi
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
Deep Learning JP
How good is my GAN?
How good is my GAN?
Shunsuke NAKATSUKA
【DL輪読会】Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space...
【DL輪読会】Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space...
Deep Learning JP
VAEs for multimodal disentanglement
VAEs for multimodal disentanglement
Antonio Tejero de Pablos
【DL輪読会】GAN-Supervised Dense Visual Alignment (CVPR 2022)
【DL輪読会】GAN-Supervised Dense Visual Alignment (CVPR 2022)
Deep Learning JP
[DL輪読会]StarGAN: Unified Generative Adversarial Networks for Multi-Domain Ima...
[DL輪読会]StarGAN: Unified Generative Adversarial Networks for Multi-Domain Ima...
Deep Learning JP
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
ARISE analytics
論文紹介:Temporal Action Segmentation: An Analysis of Modern Techniques
論文紹介:Temporal Action Segmentation: An Analysis of Modern Techniques
Toru Tamaki
CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション
CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション
奈良先端大 情報科学研究科
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
(DL輪読)Variational Dropout Sparsifies Deep Neural Networks
(DL輪読)Variational Dropout Sparsifies Deep Neural Networks
Masahiro Suzuki
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
Deep Learning JP
[DL輪読会]A Style-Based Generator Architecture for Generative Adversarial Networks
[DL輪読会]A Style-Based Generator Architecture for Generative Adversarial Networks
Deep Learning JP
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
Deep Learning JP
第1回NIPS読み会・関西発表資料
第1回NIPS読み会・関西発表資料
Takato Horii
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
[DL輪読会]GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution
[DL輪読会]GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution
Deep Learning JP
【DL輪読会】Trajectory Prediction with Latent Belief Energy-Based Model
【DL輪読会】Trajectory Prediction with Latent Belief Energy-Based Model
Deep Learning JP
(DL hacks輪読) How to Train Deep Variational Autoencoders and Probabilistic Lad...
(DL hacks輪読) How to Train Deep Variational Autoencoders and Probabilistic Lad...
Masahiro Suzuki
Cosine Based Softmax による Metric Learning が上手くいく理由
Cosine Based Softmax による Metric Learning が上手くいく理由
tancoro
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
Deep Learning JP
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
Large scale gan training for high fidelity natural
Large scale gan training for high fidelity natural
KCS Keio Computer Society
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
KCS Keio Computer Society
More Related Content
What's hot
VAEs for multimodal disentanglement
VAEs for multimodal disentanglement
Antonio Tejero de Pablos
【DL輪読会】GAN-Supervised Dense Visual Alignment (CVPR 2022)
【DL輪読会】GAN-Supervised Dense Visual Alignment (CVPR 2022)
Deep Learning JP
[DL輪読会]StarGAN: Unified Generative Adversarial Networks for Multi-Domain Ima...
[DL輪読会]StarGAN: Unified Generative Adversarial Networks for Multi-Domain Ima...
Deep Learning JP
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
ARISE analytics
論文紹介:Temporal Action Segmentation: An Analysis of Modern Techniques
論文紹介:Temporal Action Segmentation: An Analysis of Modern Techniques
Toru Tamaki
CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション
CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション
奈良先端大 情報科学研究科
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
(DL輪読)Variational Dropout Sparsifies Deep Neural Networks
(DL輪読)Variational Dropout Sparsifies Deep Neural Networks
Masahiro Suzuki
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
Deep Learning JP
[DL輪読会]A Style-Based Generator Architecture for Generative Adversarial Networks
[DL輪読会]A Style-Based Generator Architecture for Generative Adversarial Networks
Deep Learning JP
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
Deep Learning JP
第1回NIPS読み会・関西発表資料
第1回NIPS読み会・関西発表資料
Takato Horii
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
[DL輪読会]GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution
[DL輪読会]GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution
Deep Learning JP
【DL輪読会】Trajectory Prediction with Latent Belief Energy-Based Model
【DL輪読会】Trajectory Prediction with Latent Belief Energy-Based Model
Deep Learning JP
(DL hacks輪読) How to Train Deep Variational Autoencoders and Probabilistic Lad...
(DL hacks輪読) How to Train Deep Variational Autoencoders and Probabilistic Lad...
Masahiro Suzuki
Cosine Based Softmax による Metric Learning が上手くいく理由
Cosine Based Softmax による Metric Learning が上手くいく理由
tancoro
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
Deep Learning JP
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
What's hot
(20)
VAEs for multimodal disentanglement
VAEs for multimodal disentanglement
【DL輪読会】GAN-Supervised Dense Visual Alignment (CVPR 2022)
【DL輪読会】GAN-Supervised Dense Visual Alignment (CVPR 2022)
[DL輪読会]StarGAN: Unified Generative Adversarial Networks for Multi-Domain Ima...
[DL輪読会]StarGAN: Unified Generative Adversarial Networks for Multi-Domain Ima...
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
論文紹介:Temporal Action Segmentation: An Analysis of Modern Techniques
論文紹介:Temporal Action Segmentation: An Analysis of Modern Techniques
CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション
CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
(DL輪読)Variational Dropout Sparsifies Deep Neural Networks
(DL輪読)Variational Dropout Sparsifies Deep Neural Networks
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
[DL輪読会]A Style-Based Generator Architecture for Generative Adversarial Networks
[DL輪読会]A Style-Based Generator Architecture for Generative Adversarial Networks
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
第1回NIPS読み会・関西発表資料
第1回NIPS読み会・関西発表資料
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
[DL輪読会]GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution
[DL輪読会]GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution
【DL輪読会】Trajectory Prediction with Latent Belief Energy-Based Model
【DL輪読会】Trajectory Prediction with Latent Belief Energy-Based Model
(DL hacks輪読) How to Train Deep Variational Autoencoders and Probabilistic Lad...
(DL hacks輪読) How to Train Deep Variational Autoencoders and Probabilistic Lad...
Cosine Based Softmax による Metric Learning が上手くいく理由
Cosine Based Softmax による Metric Learning が上手くいく理由
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
More from KCS Keio Computer Society
Large scale gan training for high fidelity natural
Large scale gan training for high fidelity natural
KCS Keio Computer Society
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
KCS Keio Computer Society
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
KCS Keio Computer Society
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
KCS Keio Computer Society
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
KCS Keio Computer Society
Control by deep learning
Control by deep learning
KCS Keio Computer Society
深層学習 第6章
深層学習 第6章
KCS Keio Computer Society
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
KCS Keio Computer Society
文章生成の未解決問題
文章生成の未解決問題
KCS Keio Computer Society
Word2vec alpha
Word2vec alpha
KCS Keio Computer Society
テンソル代数
テンソル代数
KCS Keio Computer Society
Hindsight experience replay
Hindsight experience replay
KCS Keio Computer Society
Kml 輪読514
Kml 輪読514
KCS Keio Computer Society
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
KCS Keio Computer Society
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 2~3章 輪読
KCS Keio Computer Society
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
KCS Keio Computer Society
Soft Actor Critic 解説
Soft Actor Critic 解説
KCS Keio Computer Society
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
KCS Keio Computer Society
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
KCS Keio Computer Society
More from KCS Keio Computer Society
(20)
Large scale gan training for high fidelity natural
Large scale gan training for high fidelity natural
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
Control by deep learning
Control by deep learning
深層学習 第6章
深層学習 第6章
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
文章生成の未解決問題
文章生成の未解決問題
Word2vec alpha
Word2vec alpha
テンソル代数
テンソル代数
Hindsight experience replay
Hindsight experience replay
Kml 輪読514
Kml 輪読514
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
Soft Actor Critic 解説
Soft Actor Critic 解説
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
Recently uploaded
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
Recently uploaded
(8)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
Unsupervised Image-to-Image Translation Networksの紹介
1.
Unsupervised Image-to-Image Translation Networks 論文紹介 Twitter:@UMU____
2.
何の論文か • 「教師なし」で画像から画像への変換を行う. • GANの拡張.
3.
何の論文か • 一方に属する画像データセットと,もう一方に属する画像デー タセットを独立に用意して,学習を行い,一方に属する画像を もう一方に属する画像に変換することができる. ([一方に属する画像,もう一方に属する画像])のペアとしてデー タセットを用意する必要がない. ペアを作らないでいい
4.
目次 • VAE(Variational Autoencoder) •
GAN(Generative Adversarial Network) • UNIT(Unsupervised Image Translation)
5.
VAE(Variational Autoencoder) • データの生成モデルを学習する. •
VAEは,データXの確率分布が潜在変数Zに依存していると考 え,特定のXからZの条件付き確率分布を出力するNNと (Encoder),特定のZからXの条件付き確率分布を出力する NN(Decoder)をつなげて学習を行う. この際,P(Z|X)は正規分布と仮定し,EncoderはP(Z|X)の平均と 分散を出力する.また,P(Z)を平均0,分散1の正規分布とす る(正規化). ・学習は,損失関数L=xとDecoder(Encoder(x))の差+正規化 を最小化するように学習.
6.
GAN(Generative Adversarial Network) •
D(Discriminator,識別器)とG(Generator,生成器)から成る. • 損失関数Lは,Gが生成した画像と,本物の画像を,それぞれ, Dが「Gが生成した」,Dが「本物の画像だ」と判別できた頻 度が高いほど,大きな値を取る. 損失関数Lを, • Dの重みは,最大化するように学習.(すごい識別!) • Gの重みは,最小化するように学習.(識別されにくく!) →敵対的生成ネットワーク.
7.
UNIT(Unsupervised Image Translation) •
仕組み
8.
UNIT(Unsupervised Image Translation) •
VAEとGANを組み合わせたモデル. 6つのネットワーク(Ex,Gx,Dx(x=1,2))から構成される. (以下”S1”を一方に属するデータセット,”S2”を他方とする.) • Ex:Sxの画像を,S1,S2共通の潜在変数Z(の条件付き確率分布の 平均と分散)へ変換する.(VAEのEncoder) • Gx:潜在変数Zの平均と分散から,Sxに属す(とDxが判定する ような)画像を生成する.(GANのG) • Dx:Sxに本当に属すか,Gxが生成した物かを判定する.(Gxが 生成したなら1,本物なら0.)
9.
UNIT(Unsupervised Image Translation) •
2つのVAE (E1&G1とE2&G2)によって,S1,S2共通の潜在変数Z を獲得することができれば,S1の画像をEncoderに通し,zに 変換し,これをG2に通すことで,画像変換を行うことができる.逆も可
10.
UNIT(Unsupervised Image Translation) •
重み共有(Weight-sharing)をおこなう. 潜在変数Zは双方のデータセットで共通なため,E1とE2および G1とG2を関係させる.(全くの独立のネットワークとしない) →G1とG2の最初の数層,またE1とE2の最後の数層を共有させる ことで,Zの前後に層の高次元特徴空間上で,ペアとなるべき画 像(S1上の画像に対応するS2上の画像)が一致(できるように) する. 注意:この共通化自体が,ペアとなるべき画像が同じZをもたら すことを保証しているわけではない. • Dxの最後の数層も同じく共有. 重みを共有することで,NNの表現力を落とすという役割もある
11.
UNIT(Unsupervised Image Translation) •
学習 学習は,4つの損失関数の和として表される損失関数(下式)を, Ex,Gxは最小化,Dxは最大化するように行う. これは2つのVAEと2つのGANを同時に学習するのと同じ. ・GAN部分損失関数の計算の際には,異なるSx間でZが共有されてい るため,普通のGANとはことなり,S1→E1→G1→D1→と来るデー タと, S2→E2→G1→D1→と来るデータと,本物のデータという3種 類の項がある. このようにすることで,画像変換時にもLossを定義できるという利点がある.
12.
その他 • Stochastic Skip
Connectionsの導入 U-netのSkipをVAE用に拡張したもの.生成される画像の改善. • Spatial Context 画像生成精度を高めるために,y-image(上方が1,下方が-1に正規 化された画像)を画像のチャネルに追加.(RGB→RGBY) よくわからない.知っている方いたら教えてください.
13.
まとめ • VAEとGANを組み合わせたUNITで,教師なしでの画像変換を 学習することができた.
14.
生成画像 • 論文参照
Download now