Kynning á gervigreind með sérstakri áherslu á almenna gervigreind (artificial general intelligence) og framtíðarhorfur.

1. Helgi Páll Helgason
helgi@perseptio.com
16. október 2012

2. Gervigreind

3. Gervigreind

4. Gervi
Gervi = hönnuð, búin til af mönnum, ekki náttúruleg ?
Gervi = sýnir einhverjar afmarkaðar hliðar mannlegrar
greindar/hegðunar ?

5. greind
Greind = abstrakt hugsun + skilningur + sjálfsmeðvitund + samskipti +
rökhugsun + læra + ..... ?
Greind = að geta leyst flókin verkefni (á ótilgreindum tíma) ?
Greind = að geta leyst afmörkuð verkefni sem hafa áður krafist mannlegar
aðkomu ?
Greind = að aðlagast flóknu, breytilegu umhverfi með takmarkaða þekkingu
og takmörkuð aðföng* í rauntíma?
* aðföng = reiknigeta, minni

6. Gervigreind:Tilgangur?
Hanna og sannreyna sálfræðileg líkön?
Hanna og sannreyna taugafræðileg líkön?
(whole-brain simulation)
Þróa kerfi sem leysa flókin, afmörkuð verkefni á sjálfkrafa máta sem áður
kröfðust mannlegrar aðkomu?
Þróa nytsamleg kerfi sem eru fær um að læra að leysa ný verkefni í kvikum
umhverfum í rauntíma?

7. Fyrstu hugmyndir um hugsandi vélar ná aftur til forn-Grikkja
„an ancient urge to forge the gods“
Rökfræði á sér langa sögu í heimspeki og stærðfræði
Turing test (1950)
Gervigreind formlega stofnuð sem rannsóknarsvið árið 1956 (The
Darthmouth Conference)
Í kjölfarið: kerfi sem gátu sannað rök- og stærðfræðikenningar, leyst
„orðadæmi“ í algebru, talað tungumál, o.s.frv.
Miklum fjármunum varið í rannsóknir
Saga

8. Saga
„Machines will be capable, within twenty years, of doing
any work a man can do.“
- Herbert Simon, 1956
„Within a generation ... the problem of creating artificial
intelligence will substantially be solved.“
- Marvin Minsky, 1967

9. Saga
1974: Bandaríkjaþing hættir að styrkja gervigreindarrannsóknir
„the AI winter“
>1980: Expert systems
>1990: Data-mining, medical diagnosis, logistics etc.
1997: Deep Blue sigrar Garry Kasparov í skák
2011: Watson sigrar heimsmeistara í Jeopardy
„Artificial intelligence research is that which computing scientists do
not know how to do cost-effectively today“ ?
Áhersla hefur færst yfir í afmarkaðar, sérhæfðar lausnir

10. Almenn Gervigreind
(Artificial General Intelligence)
Fámennur (en stækkandi) hópur vísindamanna sem leggja áherslu á
eitt upprunalegt kjarna markmið gervigreindar:
human-level AI
Fyrsta AGI ráðstefnan 2008
Markmið er þróun kerfa sem geta sjálfvirkt lært að leysa ný verkefni í
kvikum umhverfum
Ultimately targets human-level intelligence
(and beyond) in real world environments

11. Almenn Gervigreind
(Artificial General Intelligence)
Langtíma rannsóknir
Torvelt aðgengi að fjármagni
Niðurstöður eru ekki tryggðar

12. “Narrow” (classical) AI:
• Systems explicitly designed to solve specific, reasonably
well-defined problems
• E.g. Deep Blue,Watson, etc.
Artificial General Intelligence:
• Systems designed to autonomously learn new tasks and
adapt to changing environments
Grundvallar mismunur

13. Neural-network based virus detection system
Personalized movie recommendation system
Software for prediction, classification and pattern recognition
NLP-based personalized news delivery software
Development and implementation of algorithmic trading strategies using
AI techniques
Some of my past projects

14. Greind
“Intelligence is the capacity of a system to
adapt to its environment while operating
with insufficient knowledge and
resources.”
- PeiWang
(Rigid flexibility:The Logic of Intelligence. Springer 2006)

15. “If either time or computational resources
are infinite, intelligence is irrelevant .”
- Dr. Kristinn R.Thórisson

16. Gervigreind
Gervi = hönnuð, búin til af mönnum, ekki náttúruleg
Greind = að aðlagast flóknu, breytilegu umhverfi með
takmarkaða þekkingu og takmörkuð aðföng
Tilgangur: Þróa nytsamleg kerfi sem eru fær um að læra
að leysa ný verkefni í kvikum, breytilegum umhverfum í
rauntíma

17. AGI Systems
Realworld environment
Sensors
Actuators
Data
Processes

18. AGI Systems
Sensors
Actuators
Data
Processes

19. AGI Systems
Realworld
environment
Sensors
Actuators
Data
Processes
Sensors
Actuators
Data
Processes

20. Hugbúnaðarkerfi verða gríðar stór og flókin þegar þau
nálgast mannlega greind
Mikið hærra flækjustig en í flóknustu núverandi
hugbúnaðarkerfum
Hugfræðilegar takmarkanir mannlegra
forritara/kerfishönnuða
Hugbúnaðarþróun og aðferðarfræði

21. Er raunhæft að við smíðum slík kerfi með núverandi
aðferðum?
Manual construction
Coarse grained modular systems
Divide-and-conquer
Hugbúnaðarþróun og aðferðarfræði

22. Reality:
• Intelligent systems are (functionally)
• Heterogeneous
• Large
• Densely-coupled
• Self-reflective
• Intelligence is the product of the operation of a system

23. Reality:
• Massive, complex dependencies exclude:
• automatic construction of new modules
• automated routing of complex data
• manual construction of modules
• modular construction
• piecewise composition where each piece built in isolation
• Exceedingly large functional state-space
• Subdivision hides important interconnections
• Divide-and-conquer fails

26. Con - struct - ivist A.I.: Self-constructive artificial
intelligence systems with general knowledge
acquisition skills; systems develop from a seed
specification; capable of learning to perceive and
act in a wide range of novel tasks, situations and
domains.
Thórisson, K. R. (2009). From Constructionist to Constructivist A.I. Keynote, AAAI Fall Symposium Series: Biologically Inspired
Cognitive Architectures, Washington D.C., Nov. 5-7, 175-183. AAAI Tech Report FS-09-01, AAAI press, Menlo Park, CA.
Constructivist AI

27. In the domain of intelligent systems, the management of
system resources is typically called “attention”
Biological (Human) Attention:
• Selective concentration on one aspect of the environment while
ignoring others
Artificial Attention:
• Resource management and control mechanism to assign limited
system resources to processing of most relevant or important
information
Athygli

28. Athygli
Time constraints
Abundant information Limited resources
ATTENTION

29. Athygli
Lítið rannsakað fyrirbæri í tengslum við gervigreind hingað til
Enda þurfa „narrow AI“ kerfi ekki á henni að halda
Almenn gervigreind er önnur saga...
„Raunheims“ flækjustig á umhverfi
Öll gögn eru mögulega mikilvæg
Ekki aðeins takmörkuð, heldur ónægjanleg aðföng
(reiknigeta, minni)
Kvik, breytileg verkefni, umhverfi og tímaskorður

30. Ph.D. Project
Rannsóknarmarkmið:
Hanna og meta almenna athyglisstýringu sem er ætluð til
útfærslu í almennum gervigreindarkerfum
Þrátt fyrir að sálfræði/hugfræði/taugafræði veiti
innblástur er markmiðið ekki að líkja eftir neinni
(líffræðilegri) athyglisstýringu sem til er fyrir

31. Almenn nálgun á athygli
Modality neutral
All modalities treated identically, at some level of
processing
Including proprioception (internal modalities, self-
sensing)
Architecture-independent

32. Innblástur úr hugfræði
Early selection Broadbent
Treisman

33. Innblástur úr hugfræði
Deutsch-Norman
Knudsen

34. Innblástur úr hugfræði
Information competes for limited system resources
Early selection may be a problematic paradigm
• Ignoring information without analysis of meaning introduces operational risk
Two simultaneously active functions of attention can allow systems to
perform tasks while remaining reactive to unexpected events.
Top-down + Bottom-up attention
Top-down attention may be controlled by active goals and predictions of
the system to catch information related to current tasks.
Bottom-up attention can be controlled by novelty and unexpectedness
of incoming information

35. Data items
Processes
New data
Sensory
devices
Environment
(Real world)
Actuation
devices
Commands
Sampled data
Data-driven: Processes are activated only when paired with compatible data
Fine-grained: Data and process objects are small and numerous
Unified sensory pipeline: External (environmental) and
internal data handled identically at architecturelevel

36. Goals / Predictions
Attentional
patterns
Derived
Matching
Data items
Processes
Data
biasing
Top-down Sensory
devices
Environment
(Real world)
Actuation
devices
Commands
Sampled data
Predictive capabilities: Predictions are necessary
control information for top-down attention
Data and processess have priority values that are assigned by biasing.

37. Attentional
patterns
Matching
Data items
Processes
Bottom-up
attentional
processess
Evaluation
Top-down
Bottom-up
Sensory
devices
Environment
(Real world)
Actuation
devices
Commands
Sampled data
Data
biasing
Goals / Predictions
Derived

38. Attentional
patterns
Matching
Data items
Processes
Top-down
Bottom-up
Process
biasing
Data -> Process
mapping
Sensory
devices
Environment
(Real world)
Actuation
devices
Commands
Sampled data
Data
biasing
Goals / Predictions
Derived
Bottom-up
attentional
processess
Evaluation

39. Attentional
patterns
Matching
Data items
Processes
Top-down
Bottom-up
Contextualized
process
performance
history
Contextual process
evaluation
Experience-based
process activation
Sensory
devices
Environment
(Real world)
Actuation
devices
Commands
Sampled data
Data
biasing
Goals / Predictions
Derived
Bottom-up
attentional
processess
Evaluation
Process
biasing
Data -> Process
mapping

40. The HUMANOBS Project
Humanoids that Learn Socio-Comunnicative SkillsThrough Observation
Funded by European Union 7th Framework Programme
Coordinator / Principal Investigator: Dr. Kristinn R.Thórisson

41.  Target domain:TV-style interview
 Two roles: Interviewee, Interviewer
 Scenario:
• Two humanoid avatars and props
 1. Motor babbling phase
 2. Observation phase:
• Humans control both avatars and perform interview while system observes
 Multiple modalities: Speech, intonation, gaze, head movements, hand movements
 3. Operation phase:
• System takes over one of the roles
HUMANOBS Project

42. DEMO

43. Framtíðarhorfur

44. Framtíðarhorfur
Fjármögnun rannsókna vandamál í dag
Líklegt til að breytast þegar hagnýt AGI kerfi fara að líta dagsins ljós
“Constructivist” aðferðarfræði leiðir líklega til þess að framfarir drífi
áfram frekari framfarir
Gervigreind hannar sjálf nýjar og betri útgáfur af sjálfri sér
(undir mannlegri yfirsjón)

45. Takk fyrir
áheyrnina!
Sérstakar þakkir:
Dr. Kristinn R. Þórisson
Eric Nivel
Kamilla Rún Jóhannsdóttir

46. Spurningar?