Deep Learning JP, profile picture
Uploaded byDeep Learning JP
PDF, PPTX7,503 views

[DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Networks

2018/04/16 Deep Learning JP: http://deeplearning.jp/hacks/

Technology◦
Related topics:
Deep Learning•

Embed presentation

Download as PDF, PPTX
Variational Approaches For Auto-Encoding Generative Adversarial Networks Shintaro Murakami, Dentsu Inc. DEEP LEARNING JP [DL HACKS]
書誌情報 論⽂名 Variational Approaches For Auto-Encoding Generative Adversarial Networks. 著者 Mihaela Rosca, Balaji Lakshminarayanan, David Warde-Farley, Shakir Mohamed (DeepMind社) 論⽂URL https://arxiv.org/pdf/1706.04987.pdf Point alpha-GANという新しいGANの⼿法を提唱している。 GANとVAEを組み合わせることで、両⽅の良いところを組み合わせ、より良い特徴表現を学習できる 選定理由 ・実装を通して、GANの学習のための最適化の書き⽅など、今後役に⽴ちそうなノウハウが⾝につく ・近年盛り上がっているGANの事例として興味深い
アジェンダ ・alpha-GANとは ・GANの概要と⽋点 ・VAEの概要と⽋点 ・alpha-GANの仕組み ・実装に向けて ・実装解説 ・実験結果 ・所感
Alpha-GANとは
alpha-GANとは alpha-GANはGenerative Adversarial NetsとVariational Auto Encoderを組み合わせた⼿法。 お互いの⻑所を組み合わせることで、より良い特徴表現を学習できる。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN
Generative Adversarial Nets(GAN)
Generative Adversarial Netsの概要 GeneratorとDiscriminatorが敵対的学習をする。 ・Generatorは特徴空間Zからサンプリングし、画像を⽣成 ・DiscriminatorはGeneratorから来た画像と本物の画像を⾒分けるように学習 ・GeneratorはDiscriminatorを騙すように学習。お互いに競うように学習させることで全体の性能が向上。 潜在空間 Z Generator Discriminator ⽣成画像 (fake) 教師画像 (real) Real or Fake? Generative Adversarial Nets
特にRadford et al. (2015)によって提案されたDC-GANは、⾼精細な画像⽣成によって世間を驚かせた。 BatchNormalizationの導⼊など、⾰新的な⼿法も提案された。 Generative Adversarial Netsの概要 Math on Face
・学習が安定せずパラメータチューニングが必要となる。 ・Generatorが偏ったデータしか⽣成しなくなる”Mode Collapse”が起きる Generative Adversarial Netsの弱点
Generative Adversarial Netsの弱点 Mode Collapseの分かりやすい例 例えばMNISTを学習するときに、「1」だけ異 常にうまく⽣成できるようになってしまった場 合。 全⼒で「1」さえ⽣成すれば、Discriminatorを 騙し続けることができるので、そっちに偏って 学習してしまう。 このような問題を回避するためにW-GANや VEEGANなどの⼿法が開発されている。alpha- GANと⽐べてどっちがいいということではな く、alpha-GANにもW-GANの仕組みを取り⼊ れた実装がある。
Generative Adversarial Netsの弱点 おまけ：「いらすとや」の潜在空間を学習をしようとして失敗した例
Variational Auto Encoder(VAE)
まずAuto Encoderについて データ X Encoder Decoder ⽣成データ X’ Auto Encoder 潜在空間 Z 普通のAuto Encoder ⼀番基本的な構造。次元圧縮などに⽤いられる。
Auto Encoderの弱点 学習データのAutoEncodeにしか対応しないため、未知の潜在変数のDecodeは苦⼿。 「潜在空間がスカスカになっている」とも表現できる。 テストデータの Encode-Decode ランダムな潜在変数の Decode 潜在空間内の モーフィング
Variational Auto Encoderの概要 データ X Encoder Decoder 分散 σ 平均 μ ⽣成データ X’ Variational Auto Encoder 潜在空間 Z ⼊⼒から直接潜在空間にEncodeするのではなく、⼀旦(μ, σ)にEncodeする。 (μ, σ)をガウス分布のパラメータとして、サンプルしたものを潜在空間Zの変数とする。 これは、Encoderの結果にガウシアンノイズをいれているようなものともとることができる。 さらに、⽬的関数でKL距離を最⼩化することでZ全体の分布を正規分布に近づける。
Variational Auto Encoderの概要 普通のAutoEncoderよりも「スカスカ」していない潜在空間を学習できるため、ランダムな潜在変数 もうまくDecodeできる。 テストデータの Encode-Decode ランダムな潜在変数の Decode 潜在空間内の モーフィング
⽐較すると⼀⽬瞭然 テストデータの Encode-Decode ランダムな潜在変数の Decode 潜在空間内の モーフィング AutoEncoder Variational Auto Encoder
① 得られる特徴空間Zを望みの分布に近づくように学習させることができる。 ⽬的関数にKL-divergenceという指標を⽤いることで、学習された特徴空間Zの特徴分布が望みの分 布、ここでは平均0、分散1のガウシアン分布になるように学習することができる 望みの分布 データから⽣成された 特徴量Zのzの分布
② Encodeされたzをブレさせることで、学習データを⽔増ししたような効果が得られる。 データ X Encoder Decoder 分散 σ 平均 μ ⽣成データ X’ Variational Auto Encoder 潜在空間 Z データxを⼀度(μ, σ)にし、そこからガウス分布に従ってサンプリングすることによりzを得る。 この間に⼊ったガウス分布が、AutoEncoderの中間値にノイズを⼊れるような働きをする。
感覚的な理解 Auto Encoder Variational Auto Encoder ガウス分布でノイズが乗ることにより、潜在空間上で「ブレる」ので、データが⽔増しされたような 状態になり、より「隙間なく」学習できる。
潜在空間内でのモーフィング 「数字らしさ」を保ちながらモーフィングすることに成功している。
Variationarl Auto Encoderの弱点 VAE DCGAN 複雑なデータセットを学習しようとすると、若⼲画像がぼやける傾向にある。
alpha-GAN
alpha-GANの概要 GAN 鮮明な画像を⽣成できる VAE 特徴空間の分布を制御できる 2つの⻑所を組み合わせることで、より良い特徴表現を学習できないか？
alpha-GANの概要 この2つを合体させると…
alpha-GANの概要 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN VAEとGANの良さを組み合わせたのがalpha-GAN
alpha-GANの概要 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN VAEな部分 GANな部分 VAEの役割をする部分と、GANの役割をする部分があります。
alpha-GANの4つの登場⼈物（独⽴したネットワーク） Encoder Code Discriminator Generator Discriminator サンプルXを特徴空間Zにエンコードする ⽣成された特徴空間Zの分布が正規分布になるようにする 特徴空間Zからサンプルを⽣成する 特徴空間Zから⽣成されたサンプルと実際のデータを識別する
alpha-GANの4つの登場⼈物（独⽴したネットワーク） Encoder Code Discriminator Generator Discriminator サンプルXを特徴空間Zにエンコードする ⽣成された特徴空間Zの分布が望み通りの分布になるようにする 特徴空間Zからサンプルを⽣成する 特徴空間Zから⽣成されたサンプルと実際のデータを識別する GAN VAE
alpha-GANの損失関数 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN 4つの損失関数を組み合わせて最適化している。 Reconstruction loss Code Discriminator Loss Generator Loss Discriminator Loss
Reconstruction loss Code Discriminator Loss Generator Loss Discriminator Loss alpha-GANの損失関数 Encode-Decodeして画像を元通りに復元できるか 得られたZの分布が望み通りの形になっているか GeneratorがDiscriminatorを騙されているか DiscriminatorがGeneratorを騙せているか
Reconstruction Loss ⼊⼒画像と、AutoEncoderの出⼒のL1ノルムで表される。 ちゃんと⼊⼒画像が復元されているかをチェックする。 AutoEncoderとしての性能をはかる損失関数。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
Code Discriminator Loss ⽣成された特徴空間Zの分布がきちんと望み通りのものに なっているかチェックする。VAE由来の損失関数。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
Code Discriminator Loss ⽣成された特徴空間Zの分布がきちんと望み通りのものに なっているかチェックする。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
Density ratio trick | Code Discriminator Loss ここで、元となったVAEはKL-divergenceを使って得られたZの分布が望み通りになっていることを チェックしていた。しかしながら、KL-divergenceはガウス分布を仮定しているため、それよりも複 雑な分布を仮定できないという⽋点があった。 そこで、density ratio trickという⼿法を使い、KL-divergenceを以下のように近似した。 GANのLoss関数と同じ
Density ratio trick | Code Discriminator Loss この近似により、 Encoderにより⽣成された特徴量とZからランダムにサンプルされた特徴量を識別する識別器Cω をつくり、訓練することで特徴空間Zの分布を望みの分布に寄せることができる。 そのため、この識別器をCode Discriminatorと⾔う。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
Generator Loss おなじみのGANの損失関数。GeneratorがうまくDiscriminatorを騙せているか評価する。 GANとの相違点は、AutoEncoderによってAutoEncodeされたXもGenerated Xとして扱う点。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
Discriminator Loss こちらもGANの損失関数。DiscriminatorがGeneratorにより⽣成されたものとそれ意外を⾒分けられ ているか評価する。こちらもAutoEncoderの出⼒を併⽤。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
Hybrid Loss Functions これらの4つの損失関数をまとめることで、ネットワーク全体を最適化する。 論⽂中ではHybrid loss functionsと呼ばれている。
Hybrid Loss Functions Reconstruction loss Discriminator loss Generator loss Code discriminator loss これらの4つの損失関数をまとめることで、ネットワーク全体を最適化する。 論⽂中ではHybrid loss functionsと呼ばれている。
Hybrid Loss Functions Reconstruction loss Discriminator loss Generator loss Code discriminator loss これらの4つの損失関数をまとめることで、ネットワーク全体を最適化する。 論⽂中ではHybrid loss functionsと呼ばれている。 VAE GAN GAN VAE
alpha-GANによる顔画像の⽣成結果 DCGAN WGAN-GP AGE alpha-GAN ⽣成結果は以下のようになる。 VAEの仕組みを⽤いているにもかかわらず、GANに劣らない鮮明な画像を⽣成することができてい る。 Negative Wasserstein distance
alpha-GANによる学習結果 Wasserstein distanceによる定量的な評価。 定量的にも、GANに劣らない性能が出ていると⾔える。
alpha-GANによる学習結果 まとめ 他のGANとくらべて画質が良くなったり数値的な向上が得られているわけではないが、 ・GANの学習と同時にAutoEncoderも学習することができる ・VAEのように⽣成される特徴量の分布を制御することができる ・Mode collapseを防ぐことができる ・VAEよりも鮮明な画像を⽣成することができる という嬉しいポイントがたくさんついているというのがalpha-GANの利点。
実装に向けて
利⽤するデータセット GoogleによるQuickdrawDatasetを取り上げる。
QuickDrawDatasetとは Googleが作っている「落書き」のデータセット。 ・5000万のサンプル数 ・100以上のクラス数 と、かなり⼤きなデータセットとなっている。
Quick, Draw webで動くゲームを通して、データ収集をしているのが⾯⽩い点。 https://quickdraw.withgoogle.com/
⽬標：アニメーションの⾃動⽣成システムの構築 QuickDraw DatasetをAlpha-GANで学習することで、「落書きの特徴表現」を学習。 適当に書いた2つの落書き間をモーフィングすることで「落書きが勝⼿に踊り出す」システムの 構築を⽬指す。
参考：motions.cat http://motions.cat/
結果をチラ⾒せ
実装
今回はTensorFlowを利⽤ 村上は普段はkeras愛好家ですが、この機会にTensorflowに慣れ親しもうという考えです。 また、⼀度kerasによるalpha-GANに挑戦したものの、loss関数の設計が複雑なため ⾃由度の低いkerasでは失敗したという苦い経験もあります。
今回はTensorFlowを利⽤ クライアントサイドでWebGLを介してディープラーニング実⾏可能なTensorFlow.jsが発表され、 またtensorflowが盛り上がるのでは…という展望もあります。
TensorFlowはコード量が増える？⾯倒くさい？ そんな⾵に考えていた時期が、私にもありました。
tf.layersが素晴らしい tf.layersはTensorFlowの⾼レベルなAPI。まるでKerasのように簡潔にネットワーク構造を記述できる。 重み・バイアスを保存するW, bの初期化、保存などを内部的に⾏ってくれるので楽！ 今回はこれをふんだんに使って実装していきます。 tf.layers
alpha-GAN全体像 全体像は複雑だが、個々のパーツは意外と単純。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN
まず⼀番簡単なEncoderから⾒ていく。 Real Data X Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN Encoder alpha-GAN全体像
Encoderの構造 Input X Encoder Conv2d BatchNorm ReLU ResBlock Avg Pooling ResBlock Avg Pooling ResBlock Reshape Dense Latent Z Encoderの構造はこのような感じ
Encoderの構造 Input X Encoder Conv2d Avg Pooling ReLU ResBlock Avg Pooling ResBlock Avg Pooling ResBlock Reshape Dense Latent Z ⼀つだけ⾒慣れないパーツが。
ResBlock Input X ResBlock Conv2d BatchNorm Activation Output Y 2015年にMicrosoft Researchが発表したDeep Residual Learning(ResNet)で提案された⼿法。 ⾮常に深く層を重ねることが可能で、ResNetでは154層で画像を学習し、⼈間を超える精度を記録した。 ⼊⼒が出⼒に直接Addされているのが特徴。 Conv2d BatchNorm ActivationADD
感覚的な理解 Input X ResBlock Conv2d BatchNorm Activation Output Y バイパス構造があるために、Back Propagationする時に中間をスキップして誤差が伝搬するので、 勾配消失が少なく層を深くすることが可能となっているのでは、と村上は考えています。 Conv2d BatchNorm ActivationADD
ResBlockの実装 以上をコードに落とし込むとこのようになります。
Encoderの構造 Input X Encoder Conv2d Avg Pooling ReLU ResBlock Avg Pooling ResBlock Avg Pooling ResBlock Reshape Dense Latent Z このResBlockを使ってEncoderを構成していく。
Encoderの実装 Encoderの実装はこのような感じ。
次はGenerator Real Data X Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN Encoder alpha-GAN全体像
Generatorの構造 Generator X Generator Dense Reshape ReLU ResBlock UpSampling ResBlock UpSampling ResBlock Latent Z Generatorはこのような感じ。だいたいEncoderの逆の構造になってる。 UpSampling ResBlock Conv2D Tanh
Generatorの構造 Generator X Generator Dense Reshape ReLU ResBlock UpSampling ResBlock UpSampling ResBlock Latent Z ここで、UpSamplingに注意。 UpSampling ResBlock Conv2D Tanh
TensorFlowでのUpSampling TensorFlowにはkeras.layers.UpSampling2Dやtorch.nn.UpsampleにあたるAPIが存在しない。 世の中のQiitaの記事にはConvolutional2D() + UpSampling2D() の機能を持つ tf.nn.conv2d_transposeを使うものが多いが、これではResNetを構成できない。 Input X ResBlock Conv2d BatchNorm Activation Output Y Conv2d BatchNorm ActivationADD
TensorFlowでのUpSampling そこでtf.image.resize_nearest_neighborを使う。 実はkerasのUpSample2Dの実装の中でもこのAPIが使われているらしい。 ⾃由度が⾼いので、他の実装でも汎⽤的に使うことができる。
TensorFlowでのUpSampling 以上をふまえて、Generatorの実装はこのような感じになる。
次はDiscriminator Real Data X Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN Encoder Discriminatorの実装
Discriminatorの構造 Input X Discriminator Conv2d Avg Pooling Leaky ReLU ResBlock Avg Pooling ResBlock Avg Pooling ResBlock Reshape Dense Real or Fake? 活性化関数がLeakyReLUになっている以外はほとんどEncoderと同じ。 sigmoid
Discriminatorの実装 tf.layersのおかげで本当にスッキリ実装できます。
最後にCodeDiscriminator これは特徴空間を望みの分布にする⼤事なパーツ。 Real Data X Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN Encoder CodeDiscriminator
Input Z CodeDiscriminator Dense Leaky ReLU Dense Leaky ReLU Dense Sigmoid Encoded or Decoded? CodeDiscriminatorの構造 ここはかなり単純。
CodeDiscriminatorの実装 tf.layersのおかげで⾮常にスッキリ実装できます。
alpha-GAN完成 以上でalpha-GANに必要なパーツが全部揃いました。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN
Train alpha-GAN
1-15⾏⽬: 下準備
17-62⾏⽬: 計算グラフの構築
17-62⾏⽬: 計算グラフの構築
68-75⾏⽬: ⽬的関数の定義
81-112⾏⽬: Optimizerの構築 GANの学習のために、各ネットワークの変数を収集しておく。 train_modeの概念が無いTensorflow独⾃の下処理。
実装してわかったこと：Adamのパラメータは⾮常に重要 今回唯⼀つまづいたところ。この数値が⾮常に重要で、適当に設定すると全く学習しない。 DCGANの論⽂の成果は、このパラメータをみつけたことであるとも⾔われている。
114-130⾏⽬: ⽣成結果確認のための簡単な関数 結果の可視化はデバッグにおいて⾮常に重要。
132⾏⽬ - : 学習処理 ポイント：AutoEncoderは他の部分の2倍学習させている。Discriminator陣がはやく賢くなりすぎるため。
実験結果
実験内容 Auto AutoEncoder AlphaGAN
実験内容モーフィング この⼆つの絵の間をモーフィング
モーフィング AutoEncoder AlphaGAN
モーフィング
AutoEncode AutoEncoder AlphaGAN
所感
Keras使いからみたTensorFlow Keras = ブロックを組み⽴てるイメージ TensorFlow = ブレッドボード上で配線するイメージ やはりKerasよりも頭を使ってプログラミングをすることになるが、昔よりもだいぶ使いやすくなった。 tf.layersが素晴らしい。
Keras使いからみたTensorFlow コード上で、演算の定義部分とデータをfeedする部分に距離があるのが若⼲複雑。 教師画像をAutoEncodeする場合と乱数からGenerateする場合で それぞれグラフを作っておかないといけなかったりするのも難しい。 この点はChainerやPyTorchのほうが直感的で良いと感じた。Define by Runは良い。
アプリケーション開発との相性はやはりTensorFlowとKeras とはいえ、今クライアントサイドのGPUを活⽤したDeepLearning実⾏ではTensorFlow/Kerasが 進んでいる印象。Kerasよりも⾃由度の⾼いクライアントサイドDeepLearningツールとしては TensorFlowは良い選択肢かもと感じました。
今後やりたいこと TensorFlowを⽤いたクライアントサイドでの実⾏。 Wasserstein distanceの勉強。

More Related Content

PDF
Bayesian Neural Networks : Survey
bytmtm otm
 
PPTX
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
byDeep Learning JP
 
PDF
実装レベルで学ぶVQVAE
byぱんいち すみもと
 
PPTX
[DL輪読会]Flow-based Deep Generative Models
byDeep Learning JP
 
PDF
Deeplearning輪読会
by正志 坪坂
 
PDF
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
bySSII
 
PDF
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
byDeep Learning JP
 
PDF
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
byDeep Learning JP
 
Bayesian Neural Networks : Survey
bytmtm otm
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
byDeep Learning JP
 
実装レベルで学ぶVQVAE
byぱんいち すみもと
 
[DL輪読会]Flow-based Deep Generative Models
byDeep Learning JP
 
Deeplearning輪読会
by正志 坪坂
 
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
bySSII
 
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
byDeep Learning JP
 
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
byDeep Learning JP
 

What's hot

PDF
変分推論法（変分ベイズ法）(PRML第10章)
byTakao Yamanaka
 
PDF
HiPPO/S4解説
byMorpho, Inc.
 
PDF
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
PDF
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
byDeep Learning JP
 
PDF
[DL輪読会]Recent Advances in Autoencoder-Based Representation Learning
byDeep Learning JP
 
PDF
GAN（と強化学習との関係）
byMasahiro Suzuki
 
PPTX
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
byRyuichiKanoh
 
PPTX
[DL輪読会]相互情報量最大化による表現学習
byDeep Learning JP
 
PDF
深層生成モデルと世界モデル（2020/11/20版）
byMasahiro Suzuki
 
PPTX
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
byDeep Learning JP
 
PDF
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
bySSII
 
PPTX
【DL輪読会】Flow Matching for Generative Modeling
byDeep Learning JP
 
PDF
Skip Connection まとめ（Neural Network）
byYamato OKAMOTO
 
PPTX
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
byDeep Learning JP
 
PPTX
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
byDeep Learning JP
 
PDF
ELBO型VAEのダメなところ
byKCS Keio Computer Society
 
PDF
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
PDF
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
PDF
グラフニューラルネットワーク入門
byryosuke-kojima
 
PDF
[DL輪読会]ICLR2020の分布外検知速報
byDeep Learning JP
 
変分推論法（変分ベイズ法）(PRML第10章)
byTakao Yamanaka
 
HiPPO/S4解説
byMorpho, Inc.
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
byDeep Learning JP
 
[DL輪読会]Recent Advances in Autoencoder-Based Representation Learning
byDeep Learning JP
 
GAN（と強化学習との関係）
byMasahiro Suzuki
 
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
byRyuichiKanoh
 
[DL輪読会]相互情報量最大化による表現学習
byDeep Learning JP
 
深層生成モデルと世界モデル（2020/11/20版）
byMasahiro Suzuki
 
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
byDeep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
bySSII
 
【DL輪読会】Flow Matching for Generative Modeling
byDeep Learning JP
 
Skip Connection まとめ（Neural Network）
byYamato OKAMOTO
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
byDeep Learning JP
 
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
byDeep Learning JP
 
ELBO型VAEのダメなところ
byKCS Keio Computer Society
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
グラフニューラルネットワーク入門
byryosuke-kojima
 
[DL輪読会]ICLR2020の分布外検知速報
byDeep Learning JP
 

Similar to [DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Networks

PDF
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
byDaiki Shimada
 
PDF
Deep Learningの基礎と応用
bySeiya Tokui
 
PPTX
猫でも分かるVariational AutoEncoder
bySho Tatsuno
 
PPTX
Thesis introduction
byKenichiYma
 
PDF
Generative adversarial nets
byKeisuke Hosaka
 
PDF
Generative adversarial networks
byShuyo Nakatani
 
PDF
Deep Learning 20章 輪講会 資料
bysorashido
 
PDF
PRML学習者から入る深層生成モデル入門
bytmtm otm
 
PPTX
CVAE-GAN:fine-grained image generation through asymmetric training
byKazusa Taketoshi
 
PPTX
[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)
byYusuke Iwasawa
 
PPTX
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
PDF
Generative deeplearning #02
by逸人 米田
 
PDF
20150930
bynlab_utokyo
 
PDF
Deep Learning技術の今
bySeiya Tokui
 
PPTX
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
byDeep Learning JP
 
PPTX
Icml2018読み会_overview&GANs
byKentaro Tachibana
 
PDF
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
byDeep Learning JP
 
PDF
生成モデルの Deep Learning
bySeiya Tokui
 
PPTX
[DL輪読会]GQNと関連研究，世界モデルとの関係について
byDeep Learning JP
 
PDF
Deep nlp 4.2-4.3_0309
bycfiken
 
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
byDaiki Shimada
 
Deep Learningの基礎と応用
bySeiya Tokui
 
猫でも分かるVariational AutoEncoder
bySho Tatsuno
 
Thesis introduction
byKenichiYma
 
Generative adversarial nets
byKeisuke Hosaka
 
Generative adversarial networks
byShuyo Nakatani
 
Deep Learning 20章 輪講会 資料
bysorashido
 
PRML学習者から入る深層生成モデル入門
bytmtm otm
 
CVAE-GAN:fine-grained image generation through asymmetric training
byKazusa Taketoshi
 
[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)
byYusuke Iwasawa
 
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
Generative deeplearning #02
by逸人 米田
 
20150930
bynlab_utokyo
 
Deep Learning技術の今
bySeiya Tokui
 
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
byDeep Learning JP
 
Icml2018読み会_overview&GANs
byKentaro Tachibana
 
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
byDeep Learning JP
 
生成モデルの Deep Learning
bySeiya Tokui
 
[DL輪読会]GQNと関連研究，世界モデルとの関係について
byDeep Learning JP
 
Deep nlp 4.2-4.3_0309
bycfiken
 

More from Deep Learning JP

PPTX
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
byDeep Learning JP
 
PPTX
【DL輪読会】事前学習用データセットについて
byDeep Learning JP
 
PPTX
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
byDeep Learning JP
 
PPTX
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
byDeep Learning JP
 
PPTX
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
byDeep Learning JP
 
PPTX
【DL輪読会】マルチモーダル LLM
byDeep Learning JP
 
PDF
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
byDeep Learning JP
 
PPTX
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
byDeep Learning JP
 
PDF
【DL輪読会】Can Neural Network Memorization Be Localized?
byDeep Learning JP
 
PPTX
【DL輪読会】Hopfield network　関連研究について
byDeep Learning JP
 
PPTX
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
byDeep Learning JP
 
PDF
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
byDeep Learning JP
 
PDF
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
byDeep Learning JP
 
PPTX
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
byDeep Learning JP
 
PPTX
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
byDeep Learning JP
 
PDF
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
byDeep Learning JP
 
PPTX
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
byDeep Learning JP
 
PDF
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
byDeep Learning JP
 
PDF
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
byDeep Learning JP
 
PPTX
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
byDeep Learning JP
 
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
byDeep Learning JP
 
【DL輪読会】事前学習用データセットについて
byDeep Learning JP
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
byDeep Learning JP
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
byDeep Learning JP
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
byDeep Learning JP
 
【DL輪読会】マルチモーダル LLM
byDeep Learning JP
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
byDeep Learning JP
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
byDeep Learning JP
 
【DL輪読会】Can Neural Network Memorization Be Localized?
byDeep Learning JP
 
【DL輪読会】Hopfield network　関連研究について
byDeep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
byDeep Learning JP
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
byDeep Learning JP
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
byDeep Learning JP
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
byDeep Learning JP
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
byDeep Learning JP
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
byDeep Learning JP
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
byDeep Learning JP
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
byDeep Learning JP
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
byDeep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
byDeep Learning JP
 

[DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Networks