Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Talk at KUZ XIII

341 views

Published on

Research Presentation at conference "Kognicia & Umely zivot XIII" (in Slovak) http://cogsci.fmph.uniba.sk/kuz2013/

  • Be the first to comment

  • Be the first to like this

Talk at KUZ XIII

  1. 1. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický model systému zrkadliacich neurónov Kognícia a umelý život XIII Kristína Rebrová a Igor Farkaš kristina.rebrova@gmail.com Centrum pre kognitívnu vedu FMFI UK Cognition and Neural Computation Group http://cogsci.fmph.uniba.sk/cnc Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  2. 2. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Prehľad 1 Motivácia a náš model MNS 2 Algoritmus BAL 3 Experimenty a výsledky Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  3. 3. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Senzomotorická kognícia Porozumenie na základe prepojenia akcie a percepcie - párovanie pozorovanej akcie a vlastného motorického repertoára Systém zrkadliacich neurónov (mirror neuron system, MNS) (Pellegrino a kol., 1992; Rizzolatti a kol. 2001; Rizzolatti a Sinigaglia, 2010) Obojsmerný tok informácie medzi vizuálnymi a motorickými oblasťami (Tessitore a kol,2010) Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  4. 4. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Variantné a invariantné neuróny Horná spánková brázda (superior temporal sulcus, STS) STS poskytuje vstupy pre zrkadliace neuróny Rôzne typy neurónov, variantné a invariantné neuróny (Perret a kol, 1991) Invariantné n. anatomicky najbližšie k frontálnej časti kôry – najvyššia úroveň reprezentácie (Jellema a Perret, 2006) Variantné a invariantné vlastnosti objavené aj u zrkadliacich neurónov v F5 (Caggiano a kol, 2009) Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  5. 5. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Výpočtové modely systému zrkadliacich neurónov Klasický prístup, napr. model MNS1 (Oztop a Arbib, 2002) Model reflektuje biologické časti MNS Základný predpoklad: vizuálna informácia, ktorá vstupuje do MNS je pozične invariantná Ill-posed problem, zjednodušenie Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  6. 6. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický model systému zrkadliacich neurónov Interakcia medzi MN a STS (Tessitore a kol., 2012) Modulárna architektúra, na najvyššej úrovni dochádza k rozpoznaniu a porozumeniu akcii Robot iCub sa učí uchopovať predmety 3 spôsobmi 1 Základná senzomotorika: spojité učenie posilňovaním (CACLA, van Hasselt, 2007) 2 Vyššie oblasti F5 a STS: samoorg. mapa MSOM (Strickert a Hamker, 2005) 3 Prepojenie F5 a STS: binarizácia pomocou k-WTA a náš model BAL STS vizuálna reprezentáciaPF F5 zkradliace neuróny motorický modul predspracovanie vizuálnej informácie Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  7. 7. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Algoritmus GeneRec Zovšeobecnená recirkulácia (Generalized Recirculation, GeneRec) (O’Reilly, 1996, O’Reilly a Munakata, 1999) Biologicky plausibilné učenie na báze rozdielu aktivačných fáz (miesto neplauzibilného šírenia chyby na výstupe) Leabra framework (aproximácia biologických neurónov) Rôzne variantny učenia: základné, symetrické, CHL-ekvivalent Dve aktivačné fázy mínusová fáza: od vstupu na výstup, sieť produkuje odhad plusová fáza: od výstupu na vstup, sieť dostane "zafixovanú" želanú hodnotu na výstup a učí sa Zmena váh na základe rozdielov v plusovej a mínusovej fáze: ∆wij = (y+ j − y− j )xi Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  8. 8. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Algoritmus obojsmerného učenia na báze aktivačných fáz (BAL) F F B B vrstva x y skrytá vrstva xh hy váhy hx yhváhy váhy váhy vrstva Perceptrón so 4 maticami váh, 2 pre každý smer toku aktivácie Dve vstupno–výstupné vrstvy x a y Dve aktivačné fázy indikujú smer toku aktivácie Dopredný beh (F): xF → hF → yF Spätný beh (B): yB → hB → xB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  9. 9. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky BAL: úprava váh Inicializácia: malé náhodné (Gaussovské) hodnoty V smere F: ∆wF ij = λ · aF i (aB j − aF j ) V smere B: ∆wB ij = λ · aB i (aF j − aB j ) Parametre: rýchlosť učenia λ Trénovateľné biasové neuróny (konštantný vstup 1.0, analogická úprava váh) Layer Phase Net Input Activation x F - xF i h F ηF j = i wIH ij xF i hF j = σ(ηF j ) y F ηF k = j wHO jk hF j yF k = σ(ηF k ) y B - yB k h B ηB j = k wOH kj yB k hB j = σ(ηB j ) x B ηB i = j wHI ji hB j xB i = σ(ηB i ) Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  10. 10. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky GeneRec verzus BAL Jednosmerné mapovanie Dynamické neuróny Čiastočné obojsmerné šírenie aktivácie Obojsmerná asociácia Štandardné neuróny Kompletne obojsmerné šírenie aktivácie Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  11. 11. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Kódovač 4-2-4 – parametre nie vždy skonverguje k 100% úspešnosti (úspešnosť podľa rýchlosti učenia) porovnanie s pôvodným GeneRec modelom: konvergencia: BAL 65% vs. GeneRec 90% (základný), 56% symetrická a CHL verzia počet epoch: 100 až tisíce (GeneRec konverguje rýchlejšie) 0 1 2 3 0 20 40 60 rýchlosť učenia úspešnésiete 2 2.1 2.2 0 20 40 0 1 2 3 0 1,000 2,000 3,000 rýchlosť učenia epochy 2 2.1 2.2 0 500 1,000 1,500 0 1,000 2,000 3,000 4,000 5,000 0 0.5 1 epocha úspešnosťsiete vzoryF vzoryB bityF bityB mseF mseB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  12. 12. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Párovanie riedkych binárnych vzorov Motivácia pre typ dát: riedke reprezentácie v mozgu 100 párov vzorov, 144 bitov, k = 12 pozitívnych Optimálna λ = 0.2, optimálna nH = 120 (vplýva viacmenej len na dĺžku trénovania) Aktivácie na skrytej vrstve: blížia sa k sebe a nebinarizujú sa (hodnoty okolo 0.5) 0.1 0.2 0.3 0.4 0.5 0 0.5 1 rýchlosť učenia úspešnosťsiete bityF bityB vzoryF vzoryB 0.3 0.32 0.34 0 0.5 1 80 100 120 140 160 180 0.94 0.96 0.98 1 hidden layer size úspešnosťsiete bityF bityB vzoryF vzoryB 100 150 1,000 2,000 3,000 epochy 0 500 1,000 1,500 2,000 2,500 0 0.5 1 epocha úspešnosťsiete vzoryF vzoryB bityF bityB mseF mseB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  13. 13. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Komplexné asociácie Motivácia pre typ dát: asociácia 4 perspektív na 1 pohyb 16 párov vzorov, 16 bitov, k = 3 pozitívnych Optimálna λ = 1.0, optimálna nH = 14 0 0.5 1 1.2 0 0.5 1 rýchlosť učenia úspešnosťsiete bityF bityB vzoryF vzoryB 10 15 20 25 0 0.5 1 veľkosť skrytej vrstvy úspešnosťsiete vzoryF vzoryB bityF bityB 0 200 400 600 800 1,000 0 0.5 1 epocha úspešnosťsiete bityF bityB vzoryF vzoryB mseF mseB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  14. 14. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Komplexné asociácie značne menšia úspešnosť pre nejednoznačný smer B (bity ≈ 86%, vzory len ≈ 4%) sieť nevie určiť, ktorý zo 4 asociovaných vzorov vybrať Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  15. 15. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický MNS model Najvyššia úroveň: mapovanie reprezentácií na STS a F5 Výstupy z MSOM sú zbinarizované pomocou k-WTA Vizuálne dáta: 14×14 s kv = 16 Motorické dáta: 12×12 s km = 8 Experimenty s prvou perspektívou, 52 párov vzorov STS vizuálna reprezentáciaPF F5 zkradliace neuróny motorický modul predspracovanie vizuálnej informácie Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  16. 16. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický MNS model Optimálna λ = 0.2, optimálna nH = 170 Malá úspešnosť – nejednoznačné asociácie asociácie m:n Chyby v rámci jednej kategórie pohybu, nie medzi kategóriami 0 500 1,000 1,500 0 0.5 1 epocha úspešnosť bitSuccF bitSuccB vzoryF vzoryB 0 500 1,000 1,500 0 5 · 10−2 0.1 epocha mse/vzdialenosť mseF mseB pattDistF pattDistB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  17. 17. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický MNS model – príklad reprodukcie vzorov Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  18. 18. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Zhrnutie obojsmerné učenie vplýva na konvergenciu BAL emergujúce reprezentácie na skrytej vrstve nemajú tendenciu binarizovať sa (nevznikajú interné reprezentácie) úspešnosť na robotických dátach v našom MNS modeli je nízka (nejednoznačné asociácie m-n) chyby na robotických dátach sa vyskyujú v rámci kategórie nie medzi kategóriami Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  19. 19. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Ďalší postup pri skúmaní BAL a modelovaní MNS Algoritmus BAL skúmať konvergenciu algoritmu, jeho citlivosť na rýchlosť učenia a charakter obojsmerého prepojenia skúmať reprezentácie na skrytej vrstve a tiež možnosti ako ovplyvniť vznik reprezentácií aj na tejto vrstve (v kontexte systému zrkadliacich neurónov) Robotický model MNS zaviezť do modelu ďalšie vizuálne perspektívy vytvoriť priestor/mechanizmus pre vznik variantných a invariantných reprezentácií v STS a F5 Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
  20. 20. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Koniec Ďakujem za pozornosť Kristína Rebrová kristina.rebrova@gmail.com Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov

×