SlideShare a Scribd company logo

深層生成モデルの理論と導出(Variational Auto-encoderからADGM)

•
•
T
Tetsuo Tashiro

Deep learningを使った生成モデルの中でも、VAEとその拡張であるCVAE、IWAE、ADGMの導出と理論の話。 ADGMについては、論文がラベルありについての導出がメインなので、ラベルなしの場合のグラフィカルモデルを作って定式化し導出過程を説明。 VAEは実装できるけどどういう理論でできてるかわからないとか、どうやって拡張するか、ADGMの実装をどうすればいいかわからない人向け。

Engineering
1 of 56
Download to read offline
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)
深層生成モデルの理論と導出(Variational Auto-encoderからADGM)

Recommended

Deeplearning輪読会
Deeplearning輪読会Deeplearning輪読会
Deeplearning輪読会正志 坪坂
 
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative ModelsDeep Learning JP
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門tmtm otm
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP
 
情報検索とゼロショット学習
情報検索とゼロショット学習情報検索とゼロショット学習
情報検索とゼロショット学習kt.mako
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎Preferred Networks
 
変分推論と Normalizing Flow
変分推論と Normalizing Flow変分推論と Normalizing Flow
変分推論と Normalizing FlowAkihiro Nitta
 
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展Deep Learning JP
 

Recommended

Deeplearning輪読会
Deeplearning輪読会Deeplearning輪読会
Deeplearning輪読会正志 坪坂
 
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative ModelsDeep Learning JP
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門tmtm otm
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP
 
情報検索とゼロショット学習
情報検索とゼロショット学習情報検索とゼロショット学習
情報検索とゼロショット学習kt.mako
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎Preferred Networks
 
変分推論と Normalizing Flow
変分推論と Normalizing Flow変分推論と Normalizing Flow
変分推論と Normalizing FlowAkihiro Nitta
 
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展Deep Learning JP
 
機械学習による統計的実験計画（ベイズ最適化を中心に）
機械学習による統計的実験計画（ベイズ最適化を中心に）機械学習による統計的実験計画（ベイズ最適化を中心に）
機械学習による統計的実験計画（ベイズ最適化を中心に）Kota Matsui
 
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIPDeep Learning JP
 
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoderSho Tatsuno
 
Fisher Vectorによる画像認識
Fisher Vectorによる画像認識Fisher Vectorによる画像認識
Fisher Vectorによる画像認識Takao Yamanaka
 
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景Deep Learning JP
 
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...Deep Learning JP
 
[Ridge-i 論文よみかい] Wasserstein auto encoder
[Ridge-i 論文よみかい] Wasserstein auto encoder[Ridge-i 論文よみかい] Wasserstein auto encoder
[Ridge-i 論文よみかい] Wasserstein auto encoderMasanari Kimura
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
A3C解説
A3C解説A3C解説
A3C解説harmonylab
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデルMasahiro Suzuki
 
tvmf-similarity
tvmf-similaritytvmf-similarity
tvmf-similarityKyushu University
 
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理Taiji Suzuki
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP
 
coordinate descent 法について
coordinate descent 法についてcoordinate descent 法について
coordinate descent 法について京都大学大学院情報学研究科数理工学専攻
 
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）Preferred Networks
 
Control as Inference (強化学習とベイズ統計)
Control as Inference (強化学習とベイズ統計)Control as Inference (強化学習とベイズ統計)
Control as Inference (強化学習とベイズ統計)Shohei Taniguchi
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習Deep Learning JP
 
変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)Takao Yamanaka
 
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language ModelsDeep Learning JP
 
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...harmonylab
 

More Related Content

What's hot

機械学習による統計的実験計画（ベイズ最適化を中心に）
機械学習による統計的実験計画（ベイズ最適化を中心に）機械学習による統計的実験計画（ベイズ最適化を中心に）
機械学習による統計的実験計画（ベイズ最適化を中心に）Kota Matsui
 
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIPDeep Learning JP
 
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoderSho Tatsuno
 
Fisher Vectorによる画像認識
Fisher Vectorによる画像認識Fisher Vectorによる画像認識
Fisher Vectorによる画像認識Takao Yamanaka
 
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景Deep Learning JP
 
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...Deep Learning JP
 
[Ridge-i 論文よみかい] Wasserstein auto encoder
[Ridge-i 論文よみかい] Wasserstein auto encoder[Ridge-i 論文よみかい] Wasserstein auto encoder
[Ridge-i 論文よみかい] Wasserstein auto encoderMasanari Kimura
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデルMasahiro Suzuki
 
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理Taiji Suzuki
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP
 
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）Preferred Networks
 
Control as Inference (強化学習とベイズ統計)
Control as Inference (強化学習とベイズ統計)Control as Inference (強化学習とベイズ統計)
Control as Inference (強化学習とベイズ統計)Shohei Taniguchi
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習Deep Learning JP
 
変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)Takao Yamanaka
 
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language ModelsDeep Learning JP
 
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...harmonylab
 

What's hot (20)

機械学習による統計的実験計画（ベイズ最適化を中心に）
機械学習による統計的実験計画（ベイズ最適化を中心に）機械学習による統計的実験計画（ベイズ最適化を中心に）
機械学習による統計的実験計画（ベイズ最適化を中心に）
 
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
 
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
 
Fisher Vectorによる画像認識
Fisher Vectorによる画像認識Fisher Vectorによる画像認識
Fisher Vectorによる画像認識
 
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
 
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
 
[Ridge-i 論文よみかい] Wasserstein auto encoder
[Ridge-i 論文よみかい] Wasserstein auto encoder[Ridge-i 論文よみかい] Wasserstein auto encoder
[Ridge-i 論文よみかい] Wasserstein auto encoder
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
 
A3C解説
A3C解説A3C解説
A3C解説
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデル
 
tvmf-similarity
tvmf-similaritytvmf-similarity
tvmf-similarity
 
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
 
coordinate descent 法について
coordinate descent 法についてcoordinate descent 法について
coordinate descent 法について
 
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明（名古屋大学 Optuna講習会）
 
Control as Inference (強化学習とベイズ統計)
Control as Inference (強化学習とベイズ統計)Control as Inference (強化学習とベイズ統計)
Control as Inference (強化学習とベイズ統計)
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
 
変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)
 
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
 
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...