YouTube nnabla channelの次の動画で利用したスライドです。 【AI論文解説】拡散モデルと自己回帰型モデルの融合 Part 1: https://youtu.be/3UdMJwVmUyc Part 2: https://youtu.be/XAyWy6U36j8 以下の論文を紹介しています。 Part 1で紹介: Autoregressive Image Generation without Vector Quantization https://arxiv.org/abs/2406.11838 Part 2で紹介: Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model https://arxiv.org/abs/2408.11039 Show-o: One Single Transformer to Unify Multimodal Understanding and Generation https://arxiv.org/abs/2408.12528

2. •
•
•
•
•
•

8. 𝑥𝑡

9. 𝑥𝑡

12. 𝑦𝑖 ~ 𝑝(𝑦𝑖|𝑦1, …, 𝑦𝑖−1)

13. 𝑝 𝑥𝑖 𝑧𝑖 ≈ 𝑝(𝑥𝑖|𝑥0, …, 𝑥𝑖−1)
𝑥𝑖 ~ 𝑝 𝑥𝑖 𝑧𝑖
𝑧𝑖 = Transformer(𝑥1, … , 𝑥𝑖)

14. 𝜕ℒ
𝜕𝜃
𝜕ℒ
𝜕𝑧

16. ☺
☺

19. •
•
•
•
•
•
•

20. ⇒
⇒

21. •
•
•

23. •
•
•

24. •
•
•
•
•
•
•
•

28. 𝑝( | )
⇒
⇒
⇒

36. •
•
•
•
•
•
•
•
•
•

37. •
•
•

38. •

39. •
•
•

40. •
•
•

41. •

42. •
•
•
•
•
•
•

45. •
•
•
•
•
•

46. •

47. •

48. •
•