AIKU 2023년 7월 20일 세미나 (발표자 : 지동환)

1. # SEMINAR
발표자:
Sparks of AGI, MLLMs,
Superintelligence
지동환
1

2. @ Korea Univ.
Sparks of Artificial General Intelligence: Early experiments with GPT-4
2
Sparks of AGI

3. @ Korea Univ.
The edge of change
3
출처
당신이 그래프 상에서 이 지점에 서 있는다면 어떤 느낌이겠는가?

4. @ Korea Univ.
The edge of change
4
출처
시간 차트 위에서는 그래프 오른편을 볼 수 없을 것이다. 그렇다면…

5. @ Korea Univ.
The edge of change
5
출처
평범하고 시시하다.

6. @ Korea Univ.
The edge of change
6
출처
하지만… 그 때가 다가오고 있을 수도 있다.
202X…?

7. @ Korea Univ.
Artificial General Intelligence
• Oracle. 모든 분야에서 정확하고 유용한 정보를 주는 시스템.
• 인간이 하는 모든 일을 할 수 있는 AI
• “narrow AI”와 반대되는 개념
7
자비스? (출처 : Wikipedia)

8. @ Korea Univ.
왜 호들갑이냐?
• “Sparks of AGI”
• Microsoft Research
8
arxiv
이 제목을 어떻게 참지?

9. @ Korea Univ.
TL;DR
• 기존 Metric 위주의 평가로는 General Intelligence를 평가하지 못한다.
• 다양한 일에서 General하고 잘 하는 Model을 만들었다.
• 우리 GPT-4가 짱이다. LLM의 새 지평을 열었다!
9
!!

10. @ Korea Univ.
How can we evaluate “general” intelligence?
• memorization?
• Classic metrics?
• Beyond simple metrics
• 소수의 무한성을 시로 표현해라
• TikZ로 Unicorn을 그려라 (non-multimodal GPT-4!)
10

11. @ Korea Univ.
소수의 무한성 증명 (시 ver.)
11
arxiv
다양한 지식과 Context를 이해하고, 융합할 수 있다.

12. @ Korea Univ.
Draw a unicorn in TikZ!
• non-multimodal version GPT-4
12
arxiv

13. @ Korea Univ.
Image generation beyond memorization
• 그냥 training code 베끼는거 아님?
• ㄴㄴ! 다양한 변형을 해도 잘 알아 듣는다. 진짜 이해함!
13
arxiv

14. @ Korea Univ.
Draw a unicorn in TikZ!
• training 과정 중 발전하는 GPT-4
14
arxiv

15. @ Korea Univ.
Directions and Conclusion
• intelligence, AI, AGI가 무엇인가?
• 더 general한 AI로 향하는 길
• 정확히 무엇이 일어나고 있는가?
15

16. @ Korea Univ.
Actually, I think…
• …Seriously?
• 너네 Model이 잘 하는건 알겠어.
• 근데 그게 왜 “Sparks of AGI”인건데?
• Paper?
• No, Tech report
• No… flyer…
16

17. @ Korea Univ.
Language Is Not All You Need: Aligning Perception with Language Models
17
Multimodal Large Language Models

18. @ Korea Univ.
Kosmos-1
• ‘지능의 기초가 되기 위해,
현실 세계에 대한 지식 획득과 이해의 관점에서,
multimodal perception은
필수적으로 AGI를 달성하는데 필요하다.’
• LLMs + Multimodal perception
18
arxiv

19. @ Korea Univ.
Kosmos-1
19
arxiv

20. @ Korea Univ.
선행 연구 : MetaLM
20
Language Models are General-Purpose Interfaces

21. @ Korea Univ.
Semi-Causal Language Model
21
Language Models are General-Purpose Interfaces

22. @ Korea Univ.
Input Representation
22
Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks

23. @ Korea Univ.
Multiway Transformer
23
VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts

24. @ Korea Univ.
Large-Scale Transformer
• Magneto [arxiv]
• Layer Norm을 각각의 Sublayer에서
• 이론적으로 정립된 더 나은 초기화 방식
• xPos [arxiv]
• 더 나은 long-context modelling을 위한 relative position encoding
• 다는 못 읽어 봤습니다! 죄송합니다!! 🥹
• Detail은 건너뛰겠습니다!
24

25. @ Korea Univ.
Multimodal Large Language Model
25
arxiv

26. @ Korea Univ.
From LLMs to MLLMs (to AGI)
26
🥲
“Generality”

27. @ Korea Univ.
In MLV…
27
출처 : MLV Notion

28. @ Korea Univ.
The Singularity Is Near : When Humans Transcend Biology
28
Superintelligence

29. @ Korea Univ.
Linear estimation
29
출처

30. @ Korea Univ.
An Intelligence Explosion
30
출처 출처

31. @ Korea Univ.
Artificial Super Intelligence
31
출처
출처

32. @ Korea Univ.
Alchemy in the 21st Century
32
출처
출처

33. @ Korea Univ.
Governance of superintelligence
33
OpenAI

34. @ Korea Univ.
[홍보] ETRI 자율성장 인공지능 경진대회 FASHION-HOW
• Classification, Continual Learning, Zero-Shot Learning
• 7/28 접수 마감. (파티원 2/6명. 절찬리에 모집 중)
• 목표는 입상!
34

35. @ Korea Univ.
참고 자료
• Sam Altman (OpenAI CEO) Lex Fridman 인터뷰 [링크]
• MIT Seminar [링크]
• The AI Revolution: The Road to Superintelligence [1][2][번역]
• 슈퍼인텔리전스(닉 보스트롬) [링크]
• multimodal 관련 논문
• KOSMOS [1][2]
• BEiT-3 [링크]
• 제가 공부하는 Notion [링크]
35

36. @ Korea Univ.
감사합니다.
36