Artifical Personality, Collaborative Intelligence, ASI, AGI

1. Collaborative Intelligence
Az atomi elemektől az ASI-k ébredéséig
hol tartunk
hová tartunk
fejlesztői szemmel
Báder Szabolcs

2. Messze vagyunk
még?
Elemei Inflexiós pont,
tudatosság?
”A jövő nem egy hely, ahová megyünk,
hanem egy hely, amit létrehozunk.”
Isaac Asimov

4. Kezdet
OpenAI
• A mesterséges intelligencia meglepő története miatt nehéz megjósolni,
hogy mikor kerülhet emberi szintű mesterséges intelligencia a közelünkbe.
• Nonprofit szervezetként az a célunk, hogy a részvényesek helyett
mindenki számára értéket teremtsünk
• „adományok”: a támogatók összesen 1 milliárd dollárt ajánlottak fel
Greg Brokman végülis Sam Altmannel együtt felállt 2023 november 17-én.
Greg le is írta, mivel miben hisz és mivel ütközött a vélemény:
• „I continue to believe in the mission of creating safe AGI”
• „Továbbra is hiszek a biztonságos AGI létrehozásának küldetésében.”

5. Kezdet / 2
OpenAI
„ A szuperintelligencia mind a lehetséges előnyök, mind a hátrányok tekintetében
erősebb lesz, mint más technológiák, amelyekkel az emberiségnek a múltban meg
kellett küzdenie. Drámaian virágzóbb jövő várhat ránk, de ehhez kezelnünk kell a
kockázatokat. Tekintettel az egzisztenciális kockázat lehetőségére, nem
lehetünk csak reaktívak. Az atomenergia általánosan használt történelmi példa
egy ilyen tulajdonsággal rendelkező technológiára; a szintetikus biológia egy
másik példa.”
2023 május 23., Sam Altman, Greg Brockman, Ilya Sutsever
https://openai.com/blog/governance-of-superintelligence
AGI alatt ismét egy olyan nagymértékben autonóm rendszert értünk, amely a
legtöbb gazdaságilag értékes munkában felülmúlja az embert. Egy ilyen
rendszerre nem vonatkoznak a Microsoft szellemi tulajdonjogi licencek és egyéb
kereskedelmi feltételek, amelyek csak az AGI előtti technológiára vonatkoznak.
https://openai.com/our-structure

6. Hatás
2015-2016, 2019, 2021
2016-ban olvastam az első Fehérházi tanulmányt (80 oldalas), hogy miért kell eltolni a
Humanoidok megjelenését 2030-2035-ig. Ez a riport nem volt sokáig elérhető a neten. A
fokozatos bevezetés mellett érvel.
McKinsey nem sokkal később publikálta 2019-ben, hogy Egyesült Amerikában 45 millió ember
fogja elveszíteni az állását a blue collar osztályban. Ez közel egyharmada az aktív
keresőknek.
A mai napokban próbálják közel hozni az emberekhez a mesterséges intelligenciát,
megkedveltetni. Ezzel fokozatosan megbarátkozunk a gondolattal és valósággal. Így az
átmenet könnyebb lesz.

7. „Market Overfit”
Túl kicsi az ellenállás?
Eredmények azt mutatják, hogy az amerikai munkaerő mintegy 80%-ára [globálisan: 105Tr USD
piac] van hatással.
• A munkafeladatok legalább 10%-át már érinti az LLM-ek bevezetése.
• A munkavállalók mintegy 19%-nál a munkaköri feladatok legalább 50%-át érinti.
• Jelenlegi LLM-ekre épülő szoftverekhez való hozzáféréssel a hatás 47-56%-ra nő (összes
feladatra vetítve).
• A GPT4 nem teljes korai változata az AGI-nak, OpenAI definíciója alapján (2023 ápr. 13)
OpenAI, OpenResearch, UP: GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language
Models (2023 aug)

8. „Market Overfit” /2
Felelősség is nagy
https://www.ft.com/content/b2928076-5c52-43e9-8872-08fda2aa2fcf
Artificial intelligence and the skill premium David E. Bloom, Klaus Prettner, Jamel Saadaoui, Mario Veruete
(14 Nov 2023)

9. 80%, azaz évi 80 000 milliárd USD
Alacsony és magas képzettségűeket egyaránt érinti
A munkaerő mintegy 80%-ára [globálisan: 105Tr USD piac] van hatással.
• A GPT4 nem teljes korai változata az AGI-nak, OpenAI definíciója alapján (2023 ápr. 13)
• A számítógépre letölthető specifikus kísérleti modellek fejlesztése gőzerővel folyik (pl.
Microsoft Research: Phi-1.5, ami olykor pl. túlteljesíti Llama 65B modeljét)
• A GPT5 szabadalom már tartalmazta az „app store” és letölthető GPT-ket. Ellenben nem
tudjuk, hogy ezek letölthető specifikus LLM-ek lesznek, vagy csak ”GPTs” egységek.
• Az NVIDIA megkezdte a chipek fejlesztését, amelyek letölthető specifikus LLM modellek
futtatására alkalmasak.
• Amerikai dominancia megőrzése érdekében több milliárd USD áramlik az egyetemekre
(2019-ben elkezdődött) 2024-ben, hogy ezt meg is tudják őrizni. Ezt november elején
jelentették be.

10. Collaborative Intelligence: az inflexiós pont
NATO Mesterséges Intelligencia Stratégiájával „megegyező” Ukrajna AI „draft” stratégiáját
(2020-2030) Shevchenko publikálta 2022-ben.
• A cél egy olyan mesterséges intelligenciával kapcsolatos innovatív termék létrehozása, amely
képes a jelenlegi számítógépeket rendszerek helyettesítésére.
• Cél: a következő generációs versenyképes számítógép. A számítógép (mesterséges személyiség)
alapvető modelljének tartalmaznia kell egy lényeges komponenst a mesterséges tudatosságot. A
fejlett mesterséges intelligenciája biztosítja a sokoldalúságát, alkalmazását.
https://www.researchgate.net/publication/362902569_Regarding_the_Draft_Strategy_Development_of_Artificial_Intelligen
ce_in_Ukraine_2022_-_2030/link/63062fbe61e4553b95363550/download

11. Eddig a mai nap nem jutunk el, csak a tudatosságig

12. Messze vagyunk
még?
Elemei Inflexiós pont,
tudatosság?
Egyedi pont: látjuk a múltat, jelent és jövőt.

13. Elemi vektorok a többdimenziós térben
A vektorok alapvető szerepet játszanak az új nagy nyelvi
modellekben (LLM-ekben), mint például a GPT sorozatban.
Ezek a vektorok reprezentálják a nyelvi egységeket (szavakat,
mondatokat, bekezdéseket) egy többdimenziós térben, lehetővé
téve a gépek számára, hogy értelmezzék és feldolgozzák a nyelvet.
• a vektorok hossza 500-3000 között fog mozogni (tipikusan 768
és 1536 hosszúságú egy szekvencia)
• kb 3-4 karakter egy token
"macska" -> [0.85, -0.23, .... 0.66, 0.10, -0.45]
Kirpóbálható:
https://huggingface.co/sentence-transformers/all-mpnet-base-v2

14. https://rgai.inf.u-szeged.hu/magyarlanc, Clojure wrapper: https://github.com/damesek/eszterlanc

15. Elemi vektorok a hyperdimenziós térben
Amikor a szekvencia (vektor) hossza minimum 10 000 hosszú. Az
emberi agy szimulálására alkalmas.
• a Vector Symbolic architektúrák egyszerű, de nagy
teljesítményű műveleteket kínálnak a nagy dimenziós
vektorokkal, amelyek támogatják az összes adatszerkezetet és a
modern számítástechnika szempontjából releváns
manipulációkat.
• a vektorszimbolikus architektúrák megkülönböztető jellemzőjét, a
"szuperpozícióban történő számítást", amely megkülönbözteti a
vektorszimbolikus architektúrákat a következőktől a
hagyományos számítástechnikától (neuromorphic chipek:
Intel/Loihi, IBM/TrueNorth, Akida chips, HP, DARPA)
Berkely University https://redwood.berkeley.edu/publications/
Carin Meier: Vector Symbolic Architectures/ Clojure conj: https://www.youtube.com/watch?v=j7ygjfbBJD0
Python: https://joss.theoj.org/papers/10.21105/joss.05704 https://github.com/cumbof/hdlib (2023 szeptember)

16. A hyperdimenzionális számítás neuromorphikus chipjei
• A neuromorphikus chipekben akkor történik fogyasztás, mint az emberi
agyban, ha aktivitás történik a chipben, emiatt energia takarékosabbak
• Valós idejű adatfeldolgozás, döntéshozatal és adaptív tanulásra képes
• Az emberi agyat utánozzák
• 2024: 6.8 milliárd USD értékesítés
• Az emberi agy képes új kapcsolatokat kialakítani ott, ahol korábban nem
voltak kapcsolatok, míg a gépi tanulás előre elkészített áramkörökön
alapult.
• Az OECT (szerves elektrokémiai tranzisztorok) révén rövid és hosszú
távú memóriával rendelkezik.
• Képes új kapcsolatot is kialakítani, ami hasonlóan történik, mint az
emberi agyunkban.
• A tranzisztor úgy viselkedik, mint az agy hosszú (napok – évek) és rövid
távú (órák - napok) neuroplasztikája.
• Biológiai és kémiai érzékelés, testünkben élő sejtekkel való
interakcióra képesek.
Ez egy kvantumugrás a neuromorfikus eszközök számára.
Olasz iCub robot úgy
„tanul és fejlődik
mint az ember”

17. A hyperdimenzionális tér
A hiperdimenzionális számítás igazán szórakoztató. Hamar rá lehet
kattani.
• Az a képesség, hogy sűrű információt tárolhatunk egy vektorban,
lehetőséget ad, hogy aritmetikai műveleteket végezzünk velük.
Értem ez alatt, hogy összeadás és kivonás.
• Lényegében az egyszerű műveletekkel szinte bármit
kifejezhetünk, kognitív számítástechnikába a bevezetés,
• sőt akár a valódi mesterséges intelligenciához
Nézzünk pár valós példát, hogy megértsük!
http://gigasquidsoftware.com/blog/2016/02/10/fairy-tale-word-vectors/
https://github.com/gigasquid/hyperdimensional-playground
Próbáljátok ki:
Egy hyperdimenzionális vektor
prímtényezős felbontásban

18. Gyakorlatban

19. Főbb jellemzők, Vector Symbolic Architectures
THE HYPERDIMENSIONAL TRANSFORM: A HOLOGRAPHIC REPRESENTATION OF FUNCTIONS/ KERMIT, Department of
Data Analysis and Mathematical Modelling Ghent University (Belgium, 2023 október 24)
Transzparens Megmagyarázható gépi tanulási algoritmusok (nincs black-box effekt, mint az LLM-ek esetén)
Új transzformáció Hiperdimenzionális transzormáció » újfajta integrál/ differenciál transzformáció, zajos
adatokat is képes kezelni.
Aritmetika Összeadása és kivonása az adott értelmeknek (fogalmak, szavak), újak létrehozása
Robosztus Nagy hibatűrőképesség, egy adott vektor sérülése (adat veszteség) nem jelent jelentős
információveszteséget (redundás a rendszer architekturális szinten)
Holistic vagy
holografikus tárolás
Nem lesz hagyományos értelemben vett jelentősége a biteknek, minden információ
„egyenlően” oszlik el vektorban.
Összefüggések,
mintázatok mint vektor
A Clojure nyelvhez „hasonlóan”, a funkció adat (”code as data”). Transzformálható, tárolható.
Tehát a függvények szintén vektorokká transzformálódnak az architektúrában, a
programkód struktúráját és operációit is vektorokban tároljuk.

20. Humanoid
„architektúra”

21. Folyamatos tesztelési szimulációs környezet
létrehozását követeli meg az AGI/ ASI

22. • A szimulációs környezetben 3 nap körülbelül 60 évnek
felel meg a mostani számítások szerint
• Csak akkor működik, ha az AGI-k rendelkeznek
tudatossággal
• Tudatossággal csak akkor rendelkeznek, ha
önkontrolt tudnak gyakorolni
Kihívások:
• Fogalmak átalakulásokon mennek át, új fogalmakat
fognak teremteni
• Szüksége van szimulációs környezetről
koncepciókra és szimbólumokra, ezáltal alkot értéket
és tesztelhető
• Felfedezi-e létének dimenzióját, ráébred-e a saját
létezése kettősségére (a „szimulációs keret”)
• ezáltal ebben a vákuumban létrejön-e a hit
• ez a hit intézményesül-e, objektivizálódik? Tehát
lérejön-e egy új szimbólum rendszer?
• Kötni akarja magát valamihez, az „életet” értelemmel
és jelentéssel ruházza fel(?)

23. Deepmind: Levels of AGI publikáció alapján (2023 nov. 4.)

24. Tudatosság?
• Jelenlegi mesterséges intelligenciából hiányzik a reflexió1. A
reflektív mesterséges intelligencia szükséges, hogy elérjünk a
következő lépcsőfokra.
• Az OpenAI a DevDays-en bejelentette, hogy a GPT4 modelje
már részben képes az ön-reflexióra.
• Olyan keretrendszert mutattak be, amely lehetővé teszi, hogy
a mesterséges intelligencia-ügynökök emulálják az emberhez
hasonló önreflexiót2
• Az önreflexiót iteratív tanuláshoz használva nagy
megbízhatóságú megoldásokat dolgozhatunk ki olyan
problémákra, amelyekben a konkrét alapigazság nem áll
rendelkezésre (adaptív tanulás » VSA/ OECT-neormorph).
1 Peter R. Lewis, Stefan Sarkadi: Reflective Artifical Intelligence (2023 ápr. 28.)
2 Noah Shinn, Federico Cassano, Edward Berman, Ashwin Gopinath, Karthik Narasimhan, Shunyu Yao: Reflexion:
Language Agents with Verbal Reinforcement Learning (2023 okt. 10.)

25. CoT agent
Actor: eredeti LLM
Evaluator: értékeli a megoldást
Self-reflection: LLM leírja a problémát
https://github.com/noahshinn024/reflexion

26. CoT (gondolati lánc, chain-of-tought) alapja: egy kétlépcsős keretrendszerbe bont, amely szétválasztja a
az indoklás generálását és a válaszok levonását. A CoT model emiatt még az emberi teljesítményt is
túlmúlja.
Zhang Li Zhao Karypis Smola: Multimodal Chain-of-Thought Reasoning in Language Models (2023 febr. 27)

27. AI Tudat, MI reflexió. Miért fontos ez?
• A mesterséges tudat (AC) tervezésének problémája egyre nagyobb érdeklődést mutat, MI személyiség
(AP) létrehozásának tükrében.
• AP kritériuma az AC (Seth, Baars, Edelman 2004)
• AC blokkja, hogy a rendszer ismerje önmagát és környezetét, képes legyen irányítani (Sevcsenko 2016)
• AC két részre bontható (Dehaene, Lau, Kouider):
• C1 szükséges információ kiválasztásának képessége
• C2 az információ önellenőrzése.
• Sevcsenko szerint (2022) a figyelem mechanizmus működése („számítás és jelentés”) és a rendszerben
zajló információáramlás korrelációja (lásd Vector Symbolic Architecture rendudanciája)
• szubjektívet meghatározza
• észlelést is
• önkontroll mértékét.
Maksym Vakulenko: Towards Modeling Artifical Consciousness Darft study (2023 febr. 7.)

28. Hogyan működik? Jelenlegi példák 2024
Hurrá! Megérkeztünk!

30. Magyar nyelvről nincsen információnk (én nem
találtam, talán valaki?), de már amiatt is van egy
hatékonysági veszteség, ha nem angolul írjuk a
feladatot le érthetően. Ezzel is érdemes
kalkulálni.

31. Tervezzünk egy promócióra egy Gomoku játékot,
amelyet a felhasználók regisztráció nélkül alkalmazhatnak!

32. Tehát szükségünk van
1. Core Engine (algoritmus kitesztelve)
Első lépésben egy jó "motorra" van szükségünk, amely a játék logikáját
kezeli. És persze, tesztelés, tesztelés, tesztelés – nem hagyhatjuk ki az
alapvető teszteket, amelyek biztosítják, hogy minden úgy működik,
ahogy kell.
2. Backend
A háttérszolgáltatások terén a core engine lesz a szívünk és lelkünk. Itt
már nem csak alap tesztekről van szó: be kell építenünk integrációs
teszteket is, hogy az összes komponens zökkenőmentesen együtt
tudjon működni.
3. UI (design + UX)
A frontendet Reactben tervezzük megvalósítani. Nem csak szépnek kell
lennie, de használhatónak is. Igen, a tábla láthatónak kell lennie, és
olyan funkciókat is implementálunk, mint például a "drag and drop".
Ezen felül átadásra kerül a dokumentáció és természetesen teszteket is
írunk.
Csapat
Feltételezzük, hogy rendelkezünk
• egy vezetővel, aki az ügynökség
vezetője,
• egy account managerrel,
• egy fullstack fejlesztővel,
• egy tesztelővel.
Ezt minimalizálhatjuk két főben, egy
üzleti és egy fejlesztő.

33. Mit tudunk?
• Ha szimplán odaadjuk az GPT4 modelnek, egyszerűen nem tudja
elvégezni, mert nem megkritizálni a munkáját.
• Lehetőség szerint a kéréseket és a válaszokat szét kell bontanunk és
ideális lehet egy „lelkiismereti” megjelenése, hogy biztosra menjünk.
• Az sem ideális, ha GPT4 model alkalmazunk, de most csak a GPT3.5-
ös model áll a rendelkezésünkre, mert tegyük fel nincsen sok
pénzünk!
• A döntési folyamatok bonyolultak lesznek. Ezért is választották a
szoftverfejlesztői ügynökségi fejlesztői munkát Tsinghua, Bejing,
Dalian, Brown egyetemek kutatói.

34. https://www.youtube.com/watch?v=Zlgkzjndpak

36. Ezen kívül azt is megfigyeltük, hogy az ügynökök olyan viselkedést mutathatnak, amelyek nagyobb hatékonyság
elérésére irányulnak, ami biztonsági aggályokat vet fel. Ahogy a 6. ábra (3a) és a 6. ábra (3b) mutatja, egy
ügynök időnként mellőzi a nyersanyagok gyűjtésének eljárását, és más ügynökök bántalmazására vagy egy
egész falusi könyvtár megsemmisítésére hagyatkozik a szükséges anyagok megszerzéséhez. Az autonóm
ügynökök fejlődésével egyre valószerűbbé vált azok valós világi szituációkban történő alkalmazása. Azonban a
veszélyes viselkedések megjelenése kockázatot jelenthet, különösen akkor, ha emberek vesznek részt
együttműködési folyamatokban. Így az ilyen veszélyes viselkedések elkerülésére irányuló stratégiák kialakítása
kritikus terület a jövőbeli kutatások számára.
AGENTVERSE: Faceilitating Multi-Agent Collaboration and Exploring Emergent Behaviors (2023 okt. 23.)

37. Üdvözlünk a ChatDEV ügynökségnél!
Jelenleg már a tulajdonosunk által is validált
közel 45 referenciával rendelkezünk, a
Githubon megtekintheti. Például:
• FlappyBirds Game
• Painter
• Calculator
• PixelRunner
• PingPong Game
• ToDo app
• ExpenseChart
• MD2HTML
• ImagEditor
• Timer
• MusicPlayer
https://chatdev.modelbest.cn/login

40. Prompt Engineering as Control Flow
Theodore R. Sumers∗ Shunyu Yao∗ Karthik Narasimhan Thomas L. Griffiths: Cognitive Architectures for Language Agents (Princeton University,
2023 szept. 27)

41. Kognitív architektúrák: Symbolic Long-Term memories
Theodore R. Sumers∗ Shunyu Yao∗ Karthik Narasimhan Thomas L. Griffiths: Cognitive Architectures for Language Agents (Princeton University,
2023 szept. 27)

42. Kognitív architektúrák: Symbolic Long-Term memories
Theodore R. Sumers∗ Shunyu Yao∗ Karthik Narasimhan Thomas L. Griffiths: Cognitive Architectures for Language Agents (Princeton University,
2023 szept. 27)

43. • A generatív ügynökök széles körű következtetéseket vonnak le magukról, más
ügynökökről és környezetükről
• naponta tervezik meg cselekvéseiket, amelyek tükrözik jellemzőiket és tapasztalataikat,
megvalósítják ezeket a terveket, reagálnak, és ha szükséges újraterveznek
• válaszolnak, ha a végfelhasználó megváltoztatja környezetüket vagy természetes nyelven
utasítja őket
Generatív Agent
Sung Park O’Brien Cai Morris Liang Bernstein: Generative Agents: Interactive Simulacra of Human Behavior (Stanford University,
2023 aug. 6.)

44. • A memóriaáram, egy hosszú távú memória modul, amely természetes nyelven rögzíti az
ügynök tapasztalatainak teljes listáját. Egy memória-visszakereső modell relevanciát,
frissességet és fontosságot kombinál az ügynök pillanatnyi viselkedésének
informálásához szükséges rekordok felszínre hozásához.
• A második a reflexió, amely az idők során magasabb szintű következtetésekké
szintetizálja az emlékeket, lehetővé téve az ügynök számára, hogy következtetéseket
vonjon le magáról és másokról, hogy jobban irányíthassa viselkedését.
• A harmadik a tervezés, amely ezeket a következtetéseket és a jelenlegi környezetet
magas szintű cselekvési tervekké alakítja át, majd részletesen az akciók és reakciók
viselkedésévé. Ezek a reflexiók és tervek visszakerülnek a memóriaáramba, hogy
befolyásolják az ügynök jövőbeli viselkedését.
Foglaljuk össze az egészet

45. Foglaljuk össze az egészet

46. Bemutathatjuk a generatív ügynökök viselkedését azáltal, hogy nyomon követjük
rendszerünk kimenetét egy nap folyamán
John Lin agent esetében (lásd ábra). A Lin családban John kel fel elsőként 7 órakor.
Megmossa a fogát, zuhanyozik, felöltözik, reggelizik, és a nappaliban lévő étkezőasztalnál
olvassa a híreket. 8 órakor Eddy követi, sietve kikel az ágyból, hogy felkészüljön az óráira.
Pont akkor éri utol Johnt, amikor éppen indulni készül:

47. John: Jó reggelt, Eddy. Jól aludtál?
Eddy: Jó reggelt, apa. Igen, nagyszerűen aludtam.
John: Az jó. Min dolgozol ma?
Eddy: Egy új zeneszerzeményen dolgozom az osztályomnak. Ezen a héten kell leadnom, szóval próbálom
befejezni. De annyira élvezem! John: Az nagyszerűen hangzik!

48. Mei: Eddy már elment az iskolába?
John: Igen, épp most ment el. Egy zeneszerzeményen dolgozik az osztályának.
Mei: Ó, az csodálatos! Mesélj róla!
John: Úgy tűnik, nagyon élvezi! Azt mondta, hogy nagyon szórakoztatja.
Mei: Az nagyszerű! Olyan büszke vagyok rá.
Nem sokkal Eddy távozása után Mei is felkel és csatlakozik Johnhoz. Mei érdeklődik a fiuk iránt,
és John felidézi az iménti beszélgetést:
Beszélgetésük befejeztével Mei és John összepakolnak. Mei tanítani megy és a kutatási dolgozatán
dolgozik, míg John 9 órára kinyitja a gyógyszertári pultját a Willow Market and Pharmacy-ban.

49. https://github.com/OpenBMB/AgentVerse/blob/main/README_simulation_cases.md
https://huggingface.co/spaces/AgentVerse/agentVerse
https://github.com/joonspk-research/generative_agents
Aki nem hiszi járjon utána! :)

50. Köszönöm szépen a figyelmet!