Język: jak robią to mózgi ? Włodzisław Duch Katedra Informatyki Stosowanej ,  Uniwersytet Mikołaja Kopernika, Toruń Google...
Plan <ul><li>Lingwistyka i informatyka neurokognitywna. </li></ul><ul><li>Słowa w mózgu i ich komputerowe modele. </li></u...
Wielkie wyzwani e AI:  język <ul><li>Test  Turing a  –  pierwotny test zbyt trudny .  </li></ul><ul><li>Warianty: pytania:...
Projekty NLP <ul><li>Open Mind Common Sense Project  (MIT):  projekt kolaboracyjny  WWW  , ponad  1 5  000  autorów ,  któ...
Lingwistyka Neurokognitywna <ul><li>Jerome A. Feldman,  From Molecule to Metaphor:  A Neural Theory of Language .  MIT Pre...
Język i ucieleśnienie <ul><li>Ucieleśnienie jest modne ale nie takie nowe, eg:  </li></ul><ul><li>R. Brooks, Elephants Don...
Jakie ucieleśnienie? <ul><li>Jak mogą wyglądać &quot;ucieleśnione&quot; reprezentacje?  </li></ul><ul><li>Brak reprezentac...
Pojęcia jako “obiekty umysłu” <ul><li>W 1994 przedstawiłem podobny model:  </li></ul><ul><li>pierwotne obiekty umysłu pows...
Metafora systemu dynamicznego <ul><li>Umysł/mózg jak system dynamiczny : </li></ul><ul><li>Thelen E. and Smith L.B.  A Dyn...
Model czytania <ul><li>Uczenie: przypadkowy wybór jednej z 3 warstw (ortografia, fonologia, semantyka) jako wejścia, a poz...
Trajektorie <ul><li>Sieci zbiegają do interpretacji różnymi drogami, możemy badać dynamikę tego procesu, np: reakcje warst...
Trajektorie - energie <ul><li>P.McLeod, T. Shallice, D.C. Plaut, Attractor dynamics in word recognition: converging eviden...
Parę pytań i odpowiedzi <ul><li>Jakie procesy zaangażowane są w proces czytania i dlaczego  czasami zawodzą (dysleksja, po...
Słowa w mózgu <ul><li>Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fo...
Symbole w mózgu <ul><li>Jak pojęcia słyszane, pomyślane, widziane aktywują mózgi?  </li></ul><ul><li>Eksperymenty z użycie...
Neuroobrazowanie słów? <ul><li>Predicting Human Brain Activity Associated with the Meanings  of Nouns,&quot; T. M. Mitchel...
Rozpoznawanie obiektów <ul><li>Teroia S. Edelmana (1997) ; co trzeba wyjaśnić ? Podobieństwo obiektów.  </li></ul><ul><li>...
BICA  jako aproksymacja <ul><li>Znaczne postępy poczyniono wykorzystując  inspiracje z badań nad mózgiem do analizy percep...
Mental models <ul><li>P. Johnson-Laird, 1983 book and papers.  </li></ul><ul><li>Imagination: mental rotation, time ~ angl...
Trudne modele Neurodynamika jest odpowiedzialna za rozumowanie;  tylko proste skojarzeniowe formy rozumowania są łatwe.  <...
Mental models summary <ul><li>MM represent explicitly what is true, but not what is false;  this may lead naive reasoner i...
Kiedy powstają świadome wrażenia? <ul><li>Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch.  </li></ul>Strumie...
Neurocognitive reps. <ul><li>How  is a word (concept)  w   represented in the brain? </li></ul><ul><li>Word  w  = ( w f , ...
Approximate reps. <ul><li>States   ( w , Cont )     lexicographical meanings:  </li></ul><ul><li>clusterize   ( w , Con...
Semantic => vector reps <ul><li>Some associations are subjective, some are universal.  </li></ul><ul><li>How to find the a...
Graphs of consistent concepts <ul><li>General idea: when the text is read and analyzed activation of semantic subnetwork i...
GCC analysis <ul><li>After recognition of concepts and creation of semantic network: </li></ul><ul><li>Analyze text, creat...
Rozumienie tekstów <ul><li>Grafy spójnych koncepcji, aktywna część pamięci semantycznej z hamowaniem i rozchodzeniem się a...
<ul><li>MDS mapping of 4534 documents divided in 10 classes, using cosine distances.  </li></ul><ul><li>Initial representa...
<ul><li>Discover topics, subclusters, more focused than general categories. </li></ul><ul><li>Map text on the 2007 MeSH (M...
Results <ul><li>Start, iterations 2, 3 and 4 shown, 5 clinotypes may be distinguished. </li></ul>
PubMed queries <ul><li>Searching for:  </li></ul><ul><li>&quot;Alzheimer disease&quot;[MeSH Terms] AND &quot;apolipoprotei...
Jak zostać ekspertem? <ul><li>Wiedza podręcznikowa: szczegółowy opis wszystkich możliwości. </li></ul><ul><li>Efekt: aktyw...
Problemy wymagające wglądu <ul><li>Mamy 31 domin  i szchownicę z której usunięto przeciwległe rogi; czy można ją pokryć do...
Wglądy i mózgi <ul><li>Można badać aktywność mózgu w czasie rozwiązywania problemów, które wymagają wglądu lub które rozwi...
Interpretacja <ul><li>Co się tu dzieje?  </li></ul><ul><li>LH-STG reprezentuje pojęcia, S=Start, K=koniec </li></ul><ul><l...
Pamięć i kreatywność <ul><li>Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują moc...
Skojarzenia i kreatywność <ul><li>Hipoteza: kreatywność zależy od pamięci skojarzeniowej ,  zdolności do łączenia odległyc...
Skojarzenia łatwe <ul><li>Torowanie neutralne dla prostych skojarzeń i  nonsensownych słów torujących pogarsza wyniki osób...
Skojarzenia trudne <ul><li>Dlaczego dla trudnych skojarzeń dodawanie szumu  działa inaczej?  </li></ul><ul><li>Trudne skoj...
Słowa :  prosty model <ul><li>Cele :  </li></ul><ul><li>zrobić najprostszy model kreatywnego myślenia ;  </li></ul><ul><li...
Słowa: algorytm <ul><li>Jak to modelować? Sieci skojarzeniowe, model adaptacyjnego  rezonansu  (~ ARTWORD). </li></ul><ul>...
Słowa: eksperymenty <ul><li>List od przyjaciela :  </li></ul><ul><li>I am looking for a word that would capture the follow...
More experiments <ul><li>Probabilistic model, rather complex, including various linguistic peculiarities; includes priming...
More words <ul><li>Created word  Word count  and # domains in Google </li></ul><ul><li>librazone  968    1  </li></ul><ul>...
Phonological filter <ul><li>Train the autoassociative network on words from some dictionary. </li></ul><ul><li>Create stri...
Awatar, HIT:  interfejs graficzny Magazynowanie Zastosowania, np  gra w 20 pytań. Zapy- tanie Pamięć semantyczna Parser Oz...
Przyszłość? <ul><li>2000 Sony patentuje technologie przekazu informacji prosto do mózgu.  </li></ul><ul><li>2015 Firma Len...
Few conclusions Neurocognitive informatics: inspirations beyond perceptron.  Neurocognitive NLP leads to interesting inspi...
Thank  you for  lending your  ears  ... Google: W. Duch => Papers/presentations/projects
Upcoming SlideShare
Loading in …5
×

Język: jak robią to mózgi ?

854 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
854
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • (c) 1999. Tralvex Yeap. All Rights Reserved
  • Język: jak robią to mózgi ?

    1. 1. Język: jak robią to mózgi ? Włodzisław Duch Katedra Informatyki Stosowanej , Uniwersytet Mikołaja Kopernika, Toruń Google: W. Duch III Krakowska Konferencja Kognitywistyczna: Język odnaleziony. Kraków 13-15.03.2009
    2. 2. Plan <ul><li>Lingwistyka i informatyka neurokognitywna. </li></ul><ul><li>Słowa w mózgu i ich komputerowe modele. </li></ul><ul><li>Wgląd i rola prawej półkuli. </li></ul><ul><li>Skojarzenia i kreatywność. </li></ul><ul><li>Neurokognitywny model wyższych czynności psychicznych . </li></ul><ul><li>Przykłady zastosowań: tworzenie nowych słów, zagadki i gry słowne . </li></ul><ul><li>Kreatywność słowotwórcza. </li></ul><ul><li>Zastosowania medyczne. </li></ul><ul><li>Przyszłość. </li></ul>
    3. 3. Wielkie wyzwani e AI: język <ul><li>Test Turing a – pierwotny test zbyt trudny . </li></ul><ul><li>Warianty: pytania: tak/nie; osobisty test Turing a (Carpenter & Freeman), program udaje osobę, którą dobrze znamy. </li></ul><ul><li>Nagroda Loebner a: w stylu testu Turinga, od prawie 20 lat zawody botów i ludzi rozmawiających z sędziami, większość oparta na szablonach i dopasowaniu wzorców = oszustwo daje dość dużo. </li></ul><ul><li>Systemy Q/A , oceniane na Text Retrieval Conf erence (TREC). </li></ul><ul><li>Gry słowne , np. gra w 20 pytań, wymagająca znajomości pojęć i ich własności, ale nie złożonych relacji pomiędzy nimi. Postępy w uczeniu się naturalnego języka zależą od automatycznego tworzenia, rozwijania i używania obszernych baz wiedzy. </li></ul><ul><li>Inteligentne systemy wspomagające nauczanie, kombinacja rozumowania i kompetencji językowych, trudne do oceny? </li></ul>
    4. 4. Projekty NLP <ul><li>Open Mind Common Sense Project (MIT): projekt kolaboracyjny WWW , ponad 1 5 000 autorów , którzy wpisali ponad 710 000 faktów ; wyniki posłużyły do utworzenia </li></ul><ul><li>ConceptNet , bardzo dużej sieci semantycznej . </li></ul>Commonsense Computing @ MediaLab, MIT, miał stworzyć skalowalny system oparty na zdroworozsądkowej wiedzy, zbieranej z tekstów, zautomatyzowanych obserwacji i w projektach kolaboracyjnych. LifeNet zbiera informację o wydarzeniach w życiu, opiera się na wersji Multi-Lingual ConceptNet używając sieci semantycznej, która ma 300 000 węzłów; informacja o zdarzeniach ma być zbierana z sensorów. Honda Open Mind Indor Common Sense zbiera nadal info zadając pytania . Inne projekty : HowNet (Chinese Academy of Science), FrameNet (Berkeley), różne duże ontologie , MindNet (Microsoft), początkowo do tłumaczenia . Próbują zgromadzić fakty o świecie, ale mózgi robią to inaczej ...
    5. 5. Lingwistyka Neurokognitywna <ul><li>Jerome A. Feldman, From Molecule to Metaphor: A Neural Theory of Language . MIT Press 2006 </li></ul><ul><li>Thought is structured neural activity. </li></ul><ul><li>Language is inextricable from thought and experience. </li></ul>Większość lingwistów specjalizuje się w fonetyce, fonologii, morfologii, syntaktyce, leksykografii, ontologiach, semantyce, pragmatyce ... ale język jest wielo-modalny, zintegrowany z percepcją i myśleniem. Tylko neuronowe teorie języka (NTL) mogą prawidłowo opisać wszystkie jego aspekty, łącznie z dynamiką. Nawet proste mózg-podobne przetwarzanie informacji daje psychologicznie interesujące rezultaty => złożoność mózgu nie jest głównym problemem! Trzeba robić modele odpowiednich struktur. Informatyka neurokognitywna : uproszczone modele wyższych czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, kontroli zachowania, świadomości, języka => praktyczne algorytmy, lepsze zrozumienie procesów.
    6. 6. Język i ucieleśnienie <ul><li>Ucieleśnienie jest modne ale nie takie nowe, eg: </li></ul><ul><li>R. Brooks, Elephants Don’t Play Chess (1990), R. Brooks, L.A. Stein, Building Brains for Bodies (1993), Cog project manifesto (1993-2003). </li></ul><ul><li>Varela, Thompson, Rosch, The embodied mind 1991 </li></ul><ul><li>W lingwistyce: </li></ul><ul><li>Lakoff & Johnson, Philosophy In The Flesh (1999). </li></ul><ul><li>Lakoff & Nunez, Where Mathematics Comes From? How the Embodied Mind Brings Mathematics into Being (2000). </li></ul><ul><li>Postępy lingwistyki komputerowej są powolne, wielu ekspertów utraciło wiarę w metody formalne, pojawiły się metody statystyczne korzystające z ogromnych korpusów, oraz idee ucieleśnienia i enaktywizmu. </li></ul><ul><li>Kilka większych projektów realizowanych jest w ramach FP6. </li></ul><ul><li>Protojęzyki w komunikacji robotów (Kismet, Aibo) – konf. w Toruniu! </li></ul><ul><li>Matematyka kognitywna (Lakoff) tłumaczy metafory leżace u podstaw rozumienia abstrakcyjnych koncepcji. </li></ul>
    7. 7. Jakie ucieleśnienie? <ul><li>Jak mogą wyglądać &quot;ucieleśnione&quot; reprezentacje? </li></ul><ul><li>Brak reprezentacji, jedynie reakcje sensomotoryczne? </li></ul><ul><li>Wszystkie pojęcia są ucielesnione, czy tylko pojęcia pierwotne? </li></ul>Aaron Sloman (2007): wszystkie proste pojęcia wywodzą się z cielesnych doświadczeń, inne są wymyślane, złożone, abstrakcyjne. David Hume podał przykład pojęcia złożonego: “złota góra”. Zamiast ugruntowania symboli Sloman proponuje jedynie ich zaczepienie.
    8. 8. Pojęcia jako “obiekty umysłu” <ul><li>W 1994 przedstawiłem podobny model: </li></ul><ul><li>pierwotne obiekty umysłu powstają z danych zmysłowych (wzrok, słuch, dotyk, wrażenia kinestetyczne i inne), a obiekty wtórne tworzą się jako abstrakcyjne kategorie, oparte na pierwotnych . </li></ul><ul><li>Peter Gärdenfors opracował podobny model geometryczny (Conceptual Spaces). </li></ul>Przestrzeń pojęć definiuje wymiary, w których można zdefiniować stan umysłu związany z doświadczeniem wewnętrznym, wrażeniami specyficznych jakości, intencjami. Kluczowa metafora: świadomy umysł jest cieniem neurodynamiki, więc wszystkie zdarzenia trzeba z niej wyprowadzić.
    9. 9. Metafora systemu dynamicznego <ul><li>Umysł/mózg jak system dynamiczny : </li></ul><ul><li>Thelen E. and Smith L.B. A Dynamic Systems Approach to the Development of Cognition and Action. MIT Press 1994. </li></ul><ul><li>Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the Development. MIT Press 1994. </li></ul><ul><li>J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press 1995 </li></ul><ul><li>Jak połączyć neuro i psyche ? </li></ul><ul><li>R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w odpowiednich abstrakcyjnych przestrzeniach psychologicznych ; próba uproszczenia neurodynamiki => geometryczne modele umysłu . </li></ul><ul><li>K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych (1938), stan kognitywny jako ruch w p-ni fenomenologicznej . </li></ul><ul><li>George Kelly (1955), personal construct psychology (PCP), geometria p-ni psychologicznych jako alternatywa dla logiki . </li></ul>
    10. 10. Model czytania <ul><li>Uczenie: przypadkowy wybór jednej z 3 warstw (ortografia, fonologia, semantyka) jako wejścia, a pozostałych dwóch jako wyjścia, czyli mapowanie jednego aspektu na dwa inne. </li></ul>Symulacje można robić za pomocą gotowych programów pozwalających na robienie eksperymentów. Model czytania uwzględnia ortografię, fonologię i semantykę, warstwę której pobudzenia identyfikują jednoznacznie sens. Uczenie zarówno korelacyjne jak i konkurencyjne.
    11. 11. Trajektorie <ul><li>Sieci zbiegają do interpretacji różnymi drogami, możemy badać dynamikę tego procesu, np: reakcje warstwy semantycznej dla poszczególnych słów: </li></ul><ul><li>rent; tart, wave cost (skojarzenie semantyczne), tent (fonologiczne). </li></ul>
    12. 12. Trajektorie - energie <ul><li>P.McLeod, T. Shallice, D.C. Plaut, Attractor dynamics in word recognition: converging evidence from errors by normal subjects, dyslexic patients and a connectionist model. Cognition 74 (2000) 91-113. </li></ul><ul><li>Maskowanie krótko widzianych słów przez kolejne; pokazuje dynamikę atraktorową procesów czytania, błędy semantyczne i fonologiczne. </li></ul>
    13. 13. Parę pytań i odpowiedzi <ul><li>Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja, pomyłki w czytaniu)? Mamy rozproszone reprezentacja leksykalne, interakcje między rozpoz- nawaniem znaków, poziomem pisowni (ortografia), fonologii i semantyki. </li></ul><ul><li>Skąd bierze się znaczenie słów? Dzięki ko-okurencji z innymi słowami oraz oddziaływaniom z reprezentacjami danych z różnych zmysłów. </li></ul><ul><li>W jaki sposób czytamy znane słówka: cat, yacht, a jak wymyślone, np. nust? Dzięki kontekstowo aktywowanym reprezentacjom dającym kontinuum pomiędzy regularnymi formami a wyjątkami. </li></ul><ul><li>Czemu dzieci mówią „I goed” zamiast „I went”? Z powodu dynamicznej równowagi pomiędzy mapowaniem form regularnych i wyjątków. </li></ul><ul><li>Jak od słów przejść do zdań? Pozwala na to „gestalt zdań”, ograniczone trajektorie wynikające z prezentacji słów, które można zrozumieć jako przybliżone reguły gramatyczne. </li></ul><ul><li>Jak to jednak zrobić na dużą skalę w systemach NLP? </li></ul>
    14. 14. Słowa w mózgu <ul><li>Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne , a nie akustyczne . </li></ul><ul><li>Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne . </li></ul><ul><li>Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). </li></ul><ul><li>F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press. </li></ul>Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu . Semantyczna gęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji) . Sieci działania – postrzegania, wnioski z badań ERP i fMRI .
    15. 15. Symbole w mózgu <ul><li>Jak pojęcia słyszane, pomyślane, widziane aktywują mózgi? </li></ul><ul><li>Eksperymenty z użyciem fMRI pozwalają na rozpoznanie aktywnych obszarów, zwykle w lewym płacie skroniowym (Cohen i inn. 2004). </li></ul><ul><li>Różne aspekty: ortografia, fonologia, artykulacja, semantyka. </li></ul>Lateral inferotemporal multimodal area (LIMA) reagują zarówno na wzrokową jak i słuchową stymulację, wykazują fonemiczne i leksykalne korelacje krosmodalne. Visual word form area (VWFA), leży w pobliżu w bruździe potyliczno-skroniowej. AWFA dla słuchu, w lewym przednim górnym zakręcie skroniowym? Położenie tych regionów w różnych obszarach mózgu jest zróznicowane. Lewa półkula: precyzyjna reprezentacja koncepcji (odnośniki i składowe fonetyczne); prawa półkula? Reaguje na zróżnicowane pobudzenia.
    16. 16. Neuroobrazowanie słów? <ul><li>Predicting Human Brain Activity Associated with the Meanings of Nouns,&quot; T. M. Mitchell et al, Science, 320, 1191, May 30, 2008 </li></ul><ul><li>Czy możemy zobaczyć reprezentacje pojęć w mózgu? Po raz pierwszy udało się zobaczyć w miarę stabilne obrazy fMRI ludzi, którzy widzą, słyszą lub myślą o jakimś pojęciu. </li></ul><ul><li>Czytanie słów, jak i oglądanie obrazków, które przywodzą na myśl dany obiekt, wywołuje podobne aktywacje - mózgowy kod sensu pojęć. </li></ul><ul><li>Indywidualne różnice są spore ale aktywacje pomiędzy różnymi ludźmi są na tyle podobne, że klasyfikator może się tego nauczyć. </li></ul><ul><li>Model nauczony na ~10 fMRI skanach + dużym korpusie słów (10 12 ) przewiduje aktywność fMRI dla ponad 100 rzeczowników. </li></ul>Aktywacje mózgu dla różnych słów mogą służyć za rozkłady bazowe pozwalające za pomocą korelacji pomiędzy słowami przewidzieć aktywacje dla nowych pojęć; pobudzenia mózgu = naturalna baza reprezentacji. Przykłady fMRI dla czasowników .
    17. 17. Rozpoznawanie obiektów <ul><li>Teroia S. Edelmana (1997) ; co trzeba wyjaśnić ? Podobieństwo obiektów. </li></ul><ul><li>Wystarcz ado tego nisko-wymiarowa przestrzeń (<300) &quot;pól recepcyjnych&quot;. </li></ul><ul><li>Rozkłady prawdopodobieństwa aktywacji populacji kolumn korowych działają jak słabe klasyfikatory działające jako całość (komitet). </li></ul>
    18. 18. BICA jako aproksymacja <ul><li>Znaczne postępy poczyniono wykorzystując inspiracje z badań nad mózgiem do analizy percepcji , mniejsze dla wyższych czynności poznawczych . </li></ul><ul><li>Neurokognitywne podejście do lingwistyki stosowano do analizy zjawisk lingwistycznych, ale ma to niewielki wpływ na NLP. </li></ul><ul><li>Potrzebne są nowe matematyczne techniki by opisać procesy obliczeniowe w terminach “ wzorców stanów mózgu ” i rozchodzenia się aktywacji między takimi wzorcami. Jak to zrobić? </li></ul><ul><li>Prototypy dla stanów neuronowych? Możliwe, dobre rezultaty z analizy EEG => ruchy ręki lub ruchy oczu. </li></ul><ul><li>Quasi-stacjonarne fale pobudzeń opisujące globalne stany mózgu w określonym kontekście  ( w , Cont ) ? </li></ul><ul><li>Jak wyglądają ścieżki rozchodzenia się aktywacji w mózgu? Praktyczny algorytm rozszerza rep. pojęcia o te kategorie skojarzeń, które są pomocne w klasteryzacji i klasyfikacji (Duch i inn, Neural Networks 2008 ) , usuwając słabe skojarzenia przez filtrowanie cech . </li></ul>
    19. 19. Mental models <ul><li>P. Johnson-Laird, 1983 book and papers. </li></ul><ul><li>Imagination: mental rotation, time ~ angle, about 60 o /sec. </li></ul><ul><li>Internal models of relations between objects, hypothesized to play a major role in cognition and decision-making. </li></ul><ul><li>AI: direct representations are very useful, direct in some aspects only! </li></ul><ul><li>Reasoning: imaging relations, “seeing” mental picture, semantic? </li></ul><ul><li>Systematic fallacies: a sort of cognitive illusions. </li></ul><ul><li>If the test is to continue then the turbine must be rotating fast enough to generate emergency electricity. </li></ul><ul><li>The turbine is not rotating fast enough to generate this electricity. </li></ul><ul><li>What, if anything, follows? Chernobyl disaster … </li></ul><ul><li>If A=>B; then ~B => ~A, but only about 2/3 students answer correctly.. </li></ul>Kenneth Craik, 1943 book “The Nature of Explanation”, G-H Luquet attributed mental models to children in 1927.
    20. 20. Trudne modele Neurodynamika jest odpowiedzialna za rozumowanie; tylko proste skojarzeniowe formy rozumowania są łatwe. <ul><li>A=>B i B=>C to łatwo kojarzymy, że A=>C, ale weźmy taki schemat: </li></ul><ul><li>Wszyscy akademicy to uczeni. </li></ul><ul><li>Żaden mędrzec nie jest akademikiem. </li></ul><ul><li>Co możemy powiedzieć o relacjach pomiędzy uczonymi i mędrcami? </li></ul><ul><li>Po tygodniach namysłu studenci nadal nie potrafią odpowiedzieć. </li></ul><ul><li>Na egzaminie pomimo wcześniejszych wyjaśnień ponad połowa podaje błędną odpowiedź. </li></ul><ul><li>Wniosek: myślenie biegnie utartymi drogami, trudno jest myśleć nieschematycznie. </li></ul>
    21. 21. Mental models summary <ul><li>MM represent explicitly what is true, but not what is false; this may lead naive reasoner into systematic error. </li></ul><ul><li>Large number of complex models => poor performance. </li></ul><ul><li>Tendency to focus on a few possible models => erroneous conclusions and irrational decisions. </li></ul><ul><li>Cognitive illusions are just like visual illusions. </li></ul><ul><li>M. Piattelli-Palmarini, Inevitable Illusions: How Mistakes of Reason Rule Our Minds (1996) </li></ul><ul><li>R. Pohl, Cognitive Illusions: A Handbook on Fallacies and Biases in Thinking, Judgement and Memory (2005) </li></ul><ul><li>Amazing, but mental models theory ignores everything we know about </li></ul><ul><li>learning in any form! How and why do we reason the way we do? </li></ul><ul><li>I’m innocent! My brain made me do it! </li></ul>The mental model theory is an alternative to the view that deduction depends on formal rules of inference.
    22. 22. Kiedy powstają świadome wrażenia? <ul><li>Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch. </li></ul>Strumienie wstępujące i zstępujące łączą się, tworząc stany rezonansowe. Co dzieje się gdy przepływ infromacji w jedną ze stron jest słaby? C. Gilbert, M. Sigman, Brain States: Top-Down Influences in Sensory Processing. Neuron 54(5), 677-696, 2007 Przetwarzanie informacji ze zmysłów w korze i wzgórzu podlega silnym wpływom &quot;odgórnym&quot;, w których złożone hipotezy zmieniają procesy na niskim poziomie. Kora funkcjonuje jako system adaptacyjny, zmieniając aktywność pod wpływem uwagi, oczekiwań, zadań związanych z percepcją. Stany mózgu tworzą się przez interakcję pomiędzy wieloma obszarami, w tym modulację lokalnych mikro-obwodów przez sprzężenia zwrotne. Zakłócenia tego przepływu informacji mogą prowadzić do zaburzeń behawioralnych. Dehaene i inn, Conscious, preconscious, and subliminal processing. TCS 2006 Siła wpływu informacji wstępującej i uwaga (informacja zstępująca), dają 4 sytuacje, w których bodźce i uwaga są konieczne do świadomej percepcji.
    23. 23. Neurocognitive reps. <ul><li>How is a word (concept) w represented in the brain? </li></ul><ul><li>Word w = ( w f , w s ) has </li></ul><ul><li>phonological (+visual) component w f , word form; </li></ul><ul><li>extended semantic representation w s , word meaning; </li></ul><ul><li>and is always defined in the context Cont (enactive). </li></ul><ul><li> ( w , Cont,t ) prob. distribution of brain activations, changing in time. </li></ul><ul><li>Hearing or thinking a word w , or seeing an object labeled as w </li></ul><ul><li>adds to the overall brain activation, unfortunately in a non-linear way. </li></ul><ul><li>How? Maximizing overall self-consistency, mutual activations, meanings that don’t fit to current context are automatically inhibited. </li></ul><ul><li>Result: almost continuous variation of this meaning. </li></ul><ul><li>This process is rather difficult to approximate using typical knowledge representation techniques, such as connectionist models, semantic networks, frames or probabilistic networks. </li></ul>
    24. 24. Approximate reps. <ul><li>States  ( w , Cont )  lexicographical meanings: </li></ul><ul><li>clusterize  ( w , Cont ) for all contexts; </li></ul><ul><li>define prototypes  ( w k , Cont ) for different meanings w k . </li></ul><ul><li>A1: use spreading activation in semantic networks to define  . A2: take a snapshot of activation  in discrete space (vector approach). </li></ul><ul><li>Meaning of the word is a result of priming, spreading activation to speech, motor and associative brain areas, creating affordances. </li></ul><ul><li> ( w , Cont ) ~ quasi-stationary wave, with phonological/visual core activations w f and variable extended representation w s selected by Cont . </li></ul><ul><li> ( w , Cont ) state into components, because the semantic representation </li></ul><ul><li>E. Schrödinger (1935): best possible knowledge of a whole does not include the best possible knowledge of its parts! Not only in quantum case. </li></ul><ul><li>Left semantic network LH contains w f coupled with the RH . </li></ul><ul><li>What is the role of right semantic network RH? </li></ul>
    25. 25. Semantic => vector reps <ul><li>Some associations are subjective, some are universal. </li></ul><ul><li>How to find the activation pathways in the brain? Try this algorithm: </li></ul><ul><li>Perform text pre-processing steps: stemming, stop-list, spell-checking ... </li></ul><ul><li>Map text to some ontology to discover concepts (ex. UMLS ontology). </li></ul><ul><li>Use relations (Wordnet, ULMS), selecting those types only that help to distinguish between concepts. </li></ul><ul><li>Create first-order cosets (terms + all new terms from included relations), expanding the space – acts like a set of filters that evaluate various aspects of concepts. </li></ul><ul><li>Use feature ranking to reduce dimensionality of the first-order coset space, leave all original features. </li></ul><ul><li>Repeat last two steps iteratively to create second- and higher-order enhanced spaces, first expanding, then shrinking the space. </li></ul><ul><li>Result: a set of X vectors representing concepts in enhanced spaces, partially including effects of spreading activation. </li></ul>
    26. 26. Graphs of consistent concepts <ul><li>General idea: when the text is read and analyzed activation of semantic subnetwork is spread; new words automatically assume meanings that increases overall activation, or the consistency of interpretation. </li></ul><ul><li>Many variants, all depend on quality of semantic network, some include explicit competition among network nodes. </li></ul><ul><li>Recognition of concepts associated with a given concept: </li></ul><ul><li>1.1 look at collocations, and close co-occurrences, sort using average distance and # occurrences; </li></ul><ul><li>1.2 accept if this is a ULMS concept; manually verify if not; </li></ul><ul><li>1.3 determine fine semantic types, what states/adjectives can be applied. </li></ul><ul><li>Create semantic network: </li></ul><ul><li>2.1 link all concepts, determine initial connection weights (non-symmetric); </li></ul><ul><li>2.2 add states/possible adjectives to each node (yes/no/confirmed …). </li></ul>
    27. 27. GCC analysis <ul><li>After recognition of concepts and creation of semantic network: </li></ul><ul><li>Analyze text, create active subnetwork (episodic working memory) to </li></ul><ul><li>make inferences, disambiguate, and interpret the text. </li></ul>3.1 find main unambiguous concepts, activate and spread their activations within semantic network; all linked concepts become partially active, depending on connection weights. 3.2 Polysemous words, acronyms/abbreviations in expanded form, add to the overall activation; active subnetwork activates appropriate meanings stronger than other meaning, inhibition between competing interpretations decreases alternative meanings. 3.3 Use grammatical parsing and hierarchical semantic types constraints (Optimality Theory) to infer the state of the concepts. 3.4 Leave only nodes with activity above some threshold (activity decay). 4. Associate combinations of particular activations with billing codes etc.
    28. 28. Rozumienie tekstów <ul><li>Grafy spójnych koncepcji, aktywna część pamięci semantycznej z hamowaniem i rozchodzeniem się aktywacji, pozwalają na ujednoznacznienie sensu pojęć. </li></ul><ul><li>Dla tekstów medycznych mamy >2 mln koncepcji, 15 mln relacji … </li></ul>
    29. 29. <ul><li>MDS mapping of 4534 documents divided in 10 classes, using cosine distances. </li></ul><ul><li>Initial representation, 807 features. </li></ul><ul><li>Enhanced by 26 selected semantic types, two steps, 2237 concepts with CC >0.02 for at least one class. </li></ul><ul><li>Two steps create feedback loops A  B between concepts. </li></ul><ul><li>Structure appears ... is it interesting to experts? </li></ul><ul><li>Are these specific subtypes (clinotypes)? </li></ul>Clusterization on enhanced data
    30. 30. <ul><li>Discover topics, subclusters, more focused than general categories. </li></ul><ul><li>Map text on the 2007 MeSH (Medical Subject Headings) ontology, more precise than ULMS. </li></ul><ul><li>Filter rare concepts (appearing in <1% docs) and very common concepts (>99% docs); remove documents with too few concepts (<1% of all) => smaller but better defined clusters. </li></ul><ul><li>Leave only 26 semantic types. </li></ul><ul><li>Ward’s clustering used, with silhouette measure of clustering quality. Only 3 classes: two classes that mix most strongly (Pneumonia and Otitis media), add the smallest class JRA. </li></ul><ul><li>Initial filtering: 570 concepts with 1%<tf<99%,1002 documents. Semantic (26 types): 224 concepts, 908 docs with >1% concepts. These 224 concepts have about 70.000 ULMS relations, only 500 belong to the 26 semantic types. </li></ul><ul><li>Enhancement: very restrictive, only ~25 most correlated added. </li></ul>Searching for topics
    31. 31. Results <ul><li>Start, iterations 2, 3 and 4 shown, 5 clinotypes may be distinguished. </li></ul>
    32. 32. PubMed queries <ul><li>Searching for: </li></ul><ul><li>&quot;Alzheimer disease&quot;[MeSH Terms] AND &quot;apolipoproteins e&quot;[MeSH Terms] AND &quot;humans&quot;[MeSH Terms] </li></ul><ul><li>Returns 2899 citations with 1924 MeSH terms. </li></ul><ul><li>Out of 16 MeSH hierarchical trees only 4 trees have been selected: Anatomy; Diseases; Chemicals & Drugs; Analytical, Diagnostic and Therapeutic Techniques & Equipment. The number of concepts is 1190. </li></ul><ul><li>Loop over: </li></ul><ul><li>Cluster analysis; </li></ul><ul><li>Feature space enhancement through ULMS relations between MeSH concepts; </li></ul><ul><li>Inhibition, leading to filtering of concepts. </li></ul><ul><li>Create graphical representation. </li></ul>
    33. 33. Jak zostać ekspertem? <ul><li>Wiedza podręcznikowa: szczegółowy opis wszystkich możliwości. </li></ul><ul><li>Efekt: aktywacja wynikająca z obserwacji rozchodzi się na wszystkie możliwe strony, trudno o prawidłową diagnozę. </li></ul><ul><li>Brakuje korelacji pomiędzy indywidualnymi obserwacjami tworzących spójny obraz. </li></ul><ul><li>Przykład: 3 choroby, reprezentacja opisu przypadków. </li></ul><ul><li>System nauczony pojęć podręcznikowych. </li></ul><ul><li>System douczony na realnych przypadkach. </li></ul><ul><li>Ekspert. </li></ul><ul><li>Wniosek: materiał nie powinien być prezentowany w abstrakcyjny sposób, lepiej wprowadzać go z odpowiednią częstością na konkretnych przykładach. </li></ul><ul><li>Słyszę i zapominam. </li></ul><ul><li>Widzę i pamiętam. </li></ul><ul><li>Robię i rozumiem. </li></ul><ul><li>Konfucjusz, -500 r. </li></ul>
    34. 34. Problemy wymagające wglądu <ul><li>Mamy 31 domin i szchownicę z której usunięto przeciwległe rogi; czy można ją pokryć dominami? </li></ul><ul><li>Analityczne rozwiązanie: spróbuj różnych pokryć. </li></ul><ul><li>Nie da się ... za dużo kombinacji! </li></ul>Analityczne podejście nie ma szans by wywołać odpowiednie aktywacje w mózgu, łącząc nowe idee, trzeba się od niego oderwać, unikając licznych skojarzeń, które prowadzą na manowce. Wgląd <= prawa półkula reprezentuje meta-poziom bez fonologicznych (symbolicznych) składowych ... czyli co? d o m i n o phonological reps chess board black white domino
    35. 35. Wglądy i mózgi <ul><li>Można badać aktywność mózgu w czasie rozwiązywania problemów, które wymagają wglądu lub które rozwiązywane są schematycznie. </li></ul><ul><li>E.M. Bowden, M. Jung-Beeman, J. Fleck, J. Kounios, „ New approaches to demystifying insight ” . Trends in Cognitive Science 2005. </li></ul>Po rozwiązaniu problemu badani za pomocą EEG i fMRI sami określali, czy w czasie rozwiązywania pojawił się wgląd, czy nie. Około 300 ms przed pojawieniem się wglądu w zakręcie skroniowym górnym prawej półkuli (RH-aSTG) obserwowano salwę aktywności gamma. Interpretacja autorów: „ making connections across distantly related information during comprehension ... that allow them to see connections that previously eluded them ”. Moja: lewa półkula reprezentująca w STG konkretne obiekty nie może znaleźć pomiędzy nimi związku =>impas; prawa STG widzi jej aktywność na meta-poziomie, ogólne abstrakcyjne kategorie , które może powiązać; salwa gamma zwiększa jednoczesną aktywność reprezentacji w lewej półkuli, emocje Eureka konieczne są do utrwalenia bezpośrednich koneksji.
    36. 36. Interpretacja <ul><li>Co się tu dzieje? </li></ul><ul><li>LH-STG reprezentuje pojęcia, S=Start, K=koniec </li></ul><ul><li>Rozumienie, rozwiązanie = krok po kroku przejście z S do K </li></ul><ul><li>jeśli nie udaje się go znaleźć to pojawia się impas; </li></ul><ul><li>RH-STG ‘widzi’ aktywność LH na meta-poziomie, klasteryzacja pojęć w abstrakcyjne kategorie (cosets, constrained sets) na wiele sposobów; </li></ul><ul><li>połączenia pomiędzy S i K na meta-poziomie możliwe są łatwiej w RH, dając wrażenie nadchodzacego rozwiązania, wzbudzając emocje. </li></ul><ul><li>Pakiety wyładowań gamma pobudzają reprezentacje LH związane z S i K oraz konfiguracje pośrednie; dają wewnętrzny priming. </li></ul><ul><li>To pozwala na identyfikację pośredniech kroków od S do K. </li></ul><ul><li>Odkrycie rozwiązania Aha! jest nagradzane dopaminą, jest to konieczne by zwiększyć plastyczność mózgu i zapamiętać rozwiązanie. </li></ul><ul><li>Można to wykorzystać praktycznie: synsety + typy sem + inne oceny. </li></ul>
    37. 37. Pamięć i kreatywność <ul><li>Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne, nie ulegając łatwo habituacji ( Carson , 20 03 ) . </li></ul><ul><li>Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach osób kreatywnych . </li></ul><ul><li>Podobne zachowania obserwowano u mnichów Zen. </li></ul>PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej osoby jest ścieżka, łącząca dane koncepcje. A. Gruszka, E. N ę cka, Creativity Research Journal 2002. Słowa mogą być łatwe lub trudne do skojarzenia; słowa torujące mogą być pomocne lub neutralne; pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse); neutralne mogą być bezsensowne lub nie związane z prezentowaną parą. Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające … Słowo 1 Torowanie 0,2 s Słowo 2
    38. 38. Skojarzenia i kreatywność <ul><li>Hipoteza: kreatywność zależy od pamięci skojarzeniowej , zdolności do łączenia odległych koncepcji ze sobą. </li></ul><ul><li>Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje. </li></ul><ul><li>Torowanie neutralne działa dziwnie: </li></ul><ul><li>dla prostych skojarzeń nonsensowne słowa torujące przeszkadzają osobom kreatywnym, pomagają reszcie; w pozostałych przypadkach pomagają! </li></ul><ul><li>dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń, u osób kreatywnych dając najsilniejszy efekt . </li></ul>Podobnie zagadkowe są wyniki dla czasów reakcji. Konkluzje autorów: Gęstsze połączenia => lepsze skojarzenia => większa kreatywność. Wyniki dla neutralnych słów torujących są niezrozumiałe.
    39. 39. Skojarzenia łatwe <ul><li>Torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych. </li></ul><ul><li>Dlaczego? Słowo A Słowo torujące N Słowo B </li></ul><ul><li>Niska kreatywność <= słabe skojarzenia pomiędzy korowymi kolumnami <= niewiele połączeń, słabe połączenia. </li></ul><ul><li>Dodanie szumu (nonsensownych słów N) trochę wzmacnia istniejącą aktywność A i B, co umożliwia wzajemne pobudzenia A  B. </li></ul><ul><li>Wysoka kreatywność <= silne skojarzenia <= gęste połączenia. </li></ul><ul><li>Aktywność rozchodzi się szybko wywołując wzajemne pobudzenia. </li></ul><ul><li>Dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi to do zamieszania, gdyż pobudza wiele stanów. </li></ul><ul><li>Rozpoznanie skojarzenia wymaga pojawienia się przepływu aktywności A  B ale za dużo energii = aktywność rozpływa się na wiele sposobów i trudno rozpoznać skojarzenie. </li></ul>
    40. 40. Skojarzenia trudne <ul><li>Dlaczego dla trudnych skojarzeń dodawanie szumu działa inaczej? </li></ul><ul><li>Trudne skojarzenia: brak bezpośrednich połączeń pomiędzy A  B. </li></ul><ul><li>U osób słabo kreatywnych dodanie słów N nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. </li></ul><ul><li>Dla osób kreatywnych wywołanie rezonansu miedzy odległymi mikroobwodami jest możliwe, bo mają więcej połączeń. </li></ul><ul><li>Rodzaj rezonansu stochastycznego – dodawanie szumu zwiększa S/N. </li></ul><ul><li>Dla słów torujących ortograficznie podobnych: </li></ul><ul><li>przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa , zawsze zwiększając szansę rezonansu i skracając latencję . </li></ul><ul><li>Dla odległych skojarzeń to nie pomoże bo nie pobudzi pośrednich obwodów, które muszą być aktywne by powstał rezonans. </li></ul><ul><li>Słowa nonsensowne mogą wzmagać efekt torowania dodając energię . </li></ul>
    41. 41. Słowa : prosty model <ul><li>Cele : </li></ul><ul><li>zrobić najprostszy model kreatywnego myślenia ; </li></ul><ul><li>tworzyć interesujące nowe nazwy , oddające cechy produktów ; </li></ul><ul><li>zrozumieć nowe słowa, których nie ma w słowniku . </li></ul>Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów . Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy (allofony) są rezonansami , uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje ; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo . Kreatywność = wyobraźnia ( fluktuacje ) + filtrowanie ( konkurencja ) Wyobraźnia : wiele chwilowych rezonansów powstaje równolegle , aktywując reprezentacje słów i nie-słów , zależnie od siły połączeń oscylatorów. Filtrowanie : skojarzenia, emocje, gęstość fonologiczna/semantyczna .
    42. 42. Słowa: algorytm <ul><li>Jak to modelować? Sieci skojarzeniowe, model adaptacyjnego rezonansu (~ ARTWORD). </li></ul><ul><li>Uproszczone modele sieci skojarzeniowych, modele statystyczne . </li></ul><ul><li>Utworzyć model sieci prawdopodobieństw łączących fonemy i sylaby </li></ul><ul><li>utworzyć funkcję oceny gęstości fonologicznej i semantycznej wyrazów . </li></ul><ul><li>Algorytm szukania nowych słów : </li></ul><ul><li>Przeczytać początkową pulę słów opisujących danych obiekt. </li></ul><ul><li>Rozszerzyć ją o słowa skojarzone fonologicznie i semantycznie . </li></ul><ul><li>Rozbić słowa na fragmenty składające się z fonemów, sylab, morfemów . </li></ul><ul><li>Wyobraźnia: tworzyć kombinacje fragmentów zgodnie z rozkładami prawdopodobieństwa dla n-gramów. </li></ul><ul><li>Filtrowanie: utworzyć ranking na podstawie gęstości semantycznej wokół morfemów tworzących nowy wyraz . </li></ul>
    43. 43. Słowa: eksperymenty <ul><li>List od przyjaciela : </li></ul><ul><li>I am looking for a word that would capture the following qualities: portal to new worlds of imagination and creativity, a place where visitors embark on a journey discovering their inner selves, awakening the Peter Pan within. A place where we can travel through time and space (from the origin to the future and back), so, its about time, about space, infinite possibilities. </li></ul><ul><li>FAST!!! I need it sooooooooooooooooooooooon. </li></ul>creativital, creatival (creativity, portal), używane creatival.com creativery (creativity, discovery), creativery.com (strategy+creativity) discoverity = {disc, disco, discover, verity} (discovery, creativity, verity) digventure ={dig, digital, venture, adventure} , nowe ! imativity (imagination, creativity); infinitime (infinitive, time) infinition (infinitive, imagination), nazwa firmy journativity (journey, creativity) learnativity (taken, see http://www.learnativity.com) portravel (portal, travel); sportal (space, sport, portal), używane timagination (time, imagination); timativity (time, creativity) tivery (time, discovery); trime (travel, time)
    44. 44. More experiments <ul><li>Probabilistic model, rather complex, including various linguistic peculiarities; includes priming. </li></ul><ul><li>Search for good name for electronic book reader (Kindle?): </li></ul><ul><li>Priming set (After some stemming): </li></ul><ul><li>Acquir, collect, gather , air, light, lighter, lightest, paper, pocket, portable, anyplace, anytime, anywhere, cable, detach, global, globe, go, went, gone, going, goes, goer, journey, move, moving, network, remote, road$, roads$, travel, wire, world, book, data, informati, knowledge, librar, memor, news, word, words, comfort, easi, easy, gentl, human, natural, personal, computer, electronic, discover, educat, learn, read, reads, reading, explor. </li></ul><ul><li>Exclusion list (for inhibition): </li></ul><ul><li>aird, airin, airs, bookie, collectic, collectiv, globali, globed, papere, papering, pocketf, travelog. </li></ul>
    45. 45. More words <ul><li>Created word Word count and # domains in Google </li></ul><ul><li>librazone 968 1 </li></ul><ul><li>inforizine -- -- </li></ul><ul><li>librable 188 -- </li></ul><ul><li>bookists 216 -- </li></ul><ul><li>inforld 30 -- </li></ul><ul><li>newsests 3 -- </li></ul><ul><li>memorld 78 1 </li></ul><ul><li>goinews 31 -- </li></ul><ul><li>libravel 972 -- </li></ul><ul><li>rearnews 8 -- </li></ul><ul><li>booktion 49 -- </li></ul><ul><li>newravel 7 -- </li></ul><ul><li>lighbooks 1 -- </li></ul><ul><li>+ popular infooks , inforion, datnews, infonews, journics </li></ul>
    46. 46. Phonological filter <ul><li>Train the autoassociative network on words from some dictionary. </li></ul><ul><li>Create strings of words with “phonological probability”>threshold. </li></ul><ul><li>Many nice Polish words … good for science-fiction poem </li></ul><ul><li>ardyczulać ardychstronność </li></ul><ul><li>ardywialiwić ardykloność </li></ul><ul><li>ardywializować ardywianacje </li></ul><ul><li>argadolić argadziancje </li></ul><ul><li>arganiastość arganastyczna </li></ul><ul><li>arganianalność arganiczna </li></ul><ul><li>argasknie argasknika </li></ul><ul><li>argaszyczny argaszynek </li></ul><ul><li>argażni argulachny argatywista </li></ul><ul><li>argumialent argumiadać argumialenie argumialiwić </li></ul><ul><li>argumializować argumialność </li></ul><ul><li>argumowny argumofon argumował argumowalność </li></ul>
    47. 47. Awatar, HIT: interfejs graficzny Magazynowanie Zastosowania, np gra w 20 pytań. Zapy- tanie Pamięć semantyczna Parser Oznaczanie części mowy i ekstrakcja frac Słowniki, ontologie, informacja tekstowa ręczne poporawki weryfikacja
    48. 48. Przyszłość? <ul><li>2000 Sony patentuje technologie przekazu informacji prosto do mózgu. </li></ul><ul><li>2015 Firma Len-gwij przedstawia program do tłumaczenia maszynowego na platformie Google Android pozwalając na uniwersalną komunikację. </li></ul><ul><li>2025 Nauka czytania i pisania to strata czasu – stwierdza Singapurski minister edukacji – dzieci tylko tracą wzrok na odcyfrowywanie małych znaczków na ekranach, zostawmy to maszynom. </li></ul><ul><li>2035 Pojawiają się wszczepy do ucha środkowego zwane &quot;Bable Fish&quot;, rozpoznające język i dokonujące automatycznych tłumaczeń; znika potrzeba nauki języków obcych. </li></ul><ul><li>2045 System wszczepów zamieniono na telepatimy, wykorzystując bezpośrednie pobudzenia mózgu, co umożliwia komunikację werbalną i niewerbalną. </li></ul><ul><li>Ludzie zaczynają rozumieć się bez słów! Nie wszystkim wychodzi to na dobre ... </li></ul><ul><li>2060 Rozwija się noosfera komunikacyjna łącząca ludzi i artilekty. </li></ul><ul><li>2100 Artilekty przestają się interesować sferą ludzi uznając, że istotny ograniczone do trójwymiarowej wyobraźni nie zasługują na miano homo sapiens ... </li></ul>
    49. 49. Few conclusions Neurocognitive informatics: inspirations beyond perceptron. Neurocognitive NLP leads to interesting inspirations (Sydney Lamb, Rice Univ, quite general book). Creation of novel interesting words is possible at the human competence level, opening a new vista in creativity research and suggesting new experiments. Various approximations to knowledge representation in brain networks should be studied: from the use of a priori knowledge based on reference vectors, through ontology-based enhancements, to graphs of consistent concepts in spreading activation networks. Specific (drastically simplified) representation of semantic knowledge is sufficient in word games and query precisiation applications. More work on semantic memory for common sense and specialized applications is needed.
    50. 50. Thank you for lending your ears ... Google: W. Duch => Papers/presentations/projects

    ×