19. [Kaiser et al., 2018][Roy et al., 2018]
◦ posterior: VQ-VAEにより𝑥𝑥, 𝑦𝑦から離散潜在変数𝑧𝑧の系列を生成 (訓練時のみ)
◦ prior: Transformerにより𝑥𝑥から𝑧𝑧を予測
◦ decoder: Transformerにより𝑥𝑥, 𝑧𝑧から𝑦𝑦を予測
◦ 各関数は独立に学習(すなわち、全体の尤度最大化には直接結びつかない)
FlowSeq [Ma et al., 2019]
◦ Generative flowを使った変分学習
◦ 潜在変数のrefinementはしていない(やろうと思えばできるはず)
19
Roy et al., Theory and Experiments on Vector Quantized Autoencoders, arXiv preprint
arXiv:1805.11063, 2018.
Kaiser et al., Fast Decoding in Sequence Models using Discrete Latent Variables, ICML 2018.
Ma et al., FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow,
EMNLP 2019.