SlideShare a Scribd company logo
1 of 64
Download to read offline
Nyelvi modellek
“Kutya neh´z ugy hazudni, ha az ember nem osmeri az
          e ´                             ¨
                    igazs´got”
                         a

                             Varj´ Zolt´n
                                 u     a

                              Weblib Kft.


                             2012-03-12




Varj´ Zolt´n (Weblib Kft.)
    u     a                   Nyelvi modellek   2012-03-12   1 / 18
Bevezet´s
       e



“Essentially, all models are wrong, but some are useful.”

                                                 — George Edward Pelham Box




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek                 2012-03-12   2 / 18
Bevezet´s
       e



“Essentially, all models are wrong, but some are useful.”

                                                 — George Edward Pelham Box

     Chomsky




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek                 2012-03-12   2 / 18
Bevezet´s
       e



“Essentially, all models are wrong, but some are useful.”

                                                 — George Edward Pelham Box

     Chomsky
     Norvig




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek                 2012-03-12   2 / 18
Bevezet´s
       e



“Essentially, all models are wrong, but some are useful.”

                                                 — George Edward Pelham Box

     Chomsky
     Norvig
     Turing




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek                 2012-03-12   2 / 18
Bevezet´s
       e



“Essentially, all models are wrong, but some are useful.”

                                                 — George Edward Pelham Box

     Chomsky
     Norvig
     Turing
     Shannon




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek                 2012-03-12   2 / 18
Bevezet´s
       e



“Essentially, all models are wrong, but some are useful.”

                                                 — George Edward Pelham Box

     Chomsky
     Norvig
     Turing
     Shannon
     van Benthem




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek                 2012-03-12   2 / 18
A vita 1


“Chomsky derided researchers in machine learning who use purely
statistical methods to produce behavior that mimics something in the
world, but who don’t try to understand the meaning of that behavior.
Chomsky compared such researchers to scientists who might study
the dance made by a bee returning to the hive, and who could
produce a statistically based simulation of such a dance without
attempting to understand why the bee behaved that way. ”That’s a
notion of [scientific] success that’s very novel. I don’t know of
anything like it in the history of science,” said Chomsky.”

                 — Stephen Cass: Unthinking Machines, Technology Review,
http://www.technologyreview.com/computing/37525/?a=f




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek              2012-03-12   3 / 18
A vita 2


“Any natural corpus will be skewed. Some sentences won’t occur
because they are obvious, others because they are false, still others
because they are impolite. The corpus, if natural, will be so wildly
skewed that the description [based upon it] would be no more than a
mere list.”

                                                           — Chomsky




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek            2012-03-12   4 / 18
A vita 2


“Any natural corpus will be skewed. Some sentences won’t occur
because they are obvious, others because they are false, still others
because they are impolite. The corpus, if natural, will be so wildly
skewed that the description [based upon it] would be no more than a
mere list.”

                                                           — Chomsky

Mennyire lehet reprezentat´ egy korpusz?
                          ıv




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek            2012-03-12   4 / 18
A vita 2


“Any natural corpus will be skewed. Some sentences won’t occur
because they are obvious, others because they are false, still others
because they are impolite. The corpus, if natural, will be so wildly
skewed that the description [based upon it] would be no more than a
mere list.”

                                                               — Chomsky

Mennyire lehet reprezentat´ egy korpusz?
                          ıv
     “I live in New York” sokkal gyakoribb mint az “I live in Dayton Ohio”




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek              2012-03-12   4 / 18
A vita 2


“Any natural corpus will be skewed. Some sentences won’t occur
because they are obvious, others because they are false, still others
because they are impolite. The corpus, if natural, will be so wildly
skewed that the description [based upon it] would be no more than a
mere list.”

                                                               — Chomsky

Mennyire lehet reprezentat´ egy korpusz?
                          ıv
     “I live in New York” sokkal gyakoribb mint az “I live in Dayton Ohio”
     The Unreasonable Effectiveness of Data: “simple models and a lot of
     data trump more elaborate models based on less data”



  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek              2012-03-12   4 / 18
K´t kult´ra
 e      u




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   5 / 18
K´t kult´ra
 e      u




     Hogyan ´
            ırhatunk le v´ges eszk¨z¨kkel egy v´gtelen jelens´get?
                         e        o o          e             e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek              2012-03-12   5 / 18
K´t kult´ra
 e      u




     Hogyan ´
            ırhatunk le v´ges eszk¨z¨kkel egy v´gtelen jelens´get?
                         e        o o          e             e
     Modell- ´s rekurzi´elm´let
             e         o e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                     Nyelvi modellek            2012-03-12   5 / 18
K´t kult´ra
 e      u




     Hogyan ´
            ırhatunk le v´ges eszk¨z¨kkel egy v´gtelen jelens´get?
                         e        o o          e             e
     Modell- ´s rekurzi´elm´let
             e         o e
     Le´ o statisztika ´s korpusznyelv´szet
       ır´             e              e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                     Nyelvi modellek            2012-03-12   5 / 18
K´t kult´ra
 e      u




     Hogyan ´
            ırhatunk le v´ges eszk¨z¨kkel egy v´gtelen jelens´get?
                         e        o o          e             e
     Modell- ´s rekurzi´elm´let
             e         o e
     Le´ o statisztika ´s korpusznyelv´szet
       ır´             e              e
     Algoritmikus tanul´selm´let
                       a    e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                      Nyelvi modellek           2012-03-12   5 / 18
Gy¨kerek 1 - Frege
  o




“For my money, Gentzen’s natural deduction and Church’s lambda
calculus are on a par with Einstein’s relativity and Dirac’s quantum
physics for elegance and insight.”

                                         — Philip Wadler, Proofs are Programs




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek                  2012-03-12   6 / 18
Gy¨kerek 2 - Turing
  o




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   7 / 18
Gy¨kerek 2 - Turing
  o




     Colossus: a Turing g´pek els˝ fizikai implement´ci´ja
                         e       o                 a o




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek             2012-03-12   7 / 18
Gy¨kerek 2 - Turing
  o




     Colossus: a Turing g´pek els˝ fizikai implement´ci´ja
                         e       o                 a o
     Engima: bayesi´nus statisztikai m´dszerek futnak a Colossus-on
                   a                  o




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek              2012-03-12   7 / 18
a o e            ´
Inform´ci´elm´let 1. - Attekint´s
                               e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   8 / 18
a o e            ´
Inform´ci´elm´let 1. - Attekint´s
                               e




     Nem t´r¨nk ki minden k´rd´sre
          eu               e e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   8 / 18
a o e            ´
Inform´ci´elm´let 1. - Attekint´s
                               e




     Nem t´r¨nk ki minden k´rd´sre
          eu               e e
     Mik´pp lehets´ges statisztikailag le´ a nyelvi jelens´geket
        e         e                      ırni             e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek              2012-03-12   8 / 18
a o e            ´
Inform´ci´elm´let 1. - Attekint´s
                               e




     Nem t´r¨nk ki minden k´rd´sre
          eu               e e
     Mik´pp lehets´ges statisztikailag le´ a nyelvi jelens´geket
        e         e                      ırni             e
     Mintav´telez´s vs. stacion´rius ergodikus forr´s
           e     e             a                   a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek              2012-03-12   8 / 18
a o e            ´
Inform´ci´elm´let 1. - Attekint´s
                               e




     Nem t´r¨nk ki minden k´rd´sre
          eu               e e
     Mik´pp lehets´ges statisztikailag le´ a nyelvi jelens´geket
        e         e                      ırni             e
     Mintav´telez´s vs. stacion´rius ergodikus forr´s
           e     e             a                   a
     Az indukci´ probl´m´ja
               o      e a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek              2012-03-12   8 / 18
Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1.
      a o e                   a                   a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek    2012-03-12   9 / 18
Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1.
      a o e                   a                   a


     Nulladrend˝ k¨zel´ es
               u o ıt´




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek    2012-03-12   9 / 18
Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1.
      a o e                   a                   a


     Nulladrend˝ k¨zel´ es
               u o ıt´
“XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD
QPAAMKBZAACIBZLHJQD”




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek    2012-03-12   9 / 18
Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1.
      a o e                   a                   a


     Nulladrend˝ k¨zel´ es
               u o ıt´
“XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD
QPAAMKBZAACIBZLHJQD”
     Els˝rend˝ k¨zel´ es
        o    u o ıt´




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek    2012-03-12   9 / 18
Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1.
      a o e                   a                   a


     Nulladrend˝ k¨zel´ es
               u o ıt´
“XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD
QPAAMKBZAACIBZLHJQD”
     Els˝rend˝ k¨zel´ es
        o    u o ıt´
“OCRO HLI NMIELWIS EU LL NBNESEBYA TH EEI
ALHENHTTPA OOBTTVA NAH BRL”




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek    2012-03-12   9 / 18
Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1.
      a o e                   a                   a


     Nulladrend˝ k¨zel´ es
               u o ıt´
“XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD
QPAAMKBZAACIBZLHJQD”
     Els˝rend˝ k¨zel´ es
        o    u o ıt´
“OCRO HLI NMIELWIS EU LL NBNESEBYA TH EEI
ALHENHTTPA OOBTTVA NAH BRL”
     M´sodrend˝ k¨zel´ es
      a       u o ıt´




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek    2012-03-12   9 / 18
Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1.
      a o e                   a                   a


     Nulladrend˝ k¨zel´ es
               u o ıt´
“XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD
QPAAMKBZAACIBZLHJQD”
     Els˝rend˝ k¨zel´ es
        o    u o ıt´
“OCRO HLI NMIELWIS EU LL NBNESEBYA TH EEI
ALHENHTTPA OOBTTVA NAH BRL”
     M´sodrend˝ k¨zel´ es
      a       u o ıt´
“ON IE ANTSOUTINYS ARE T INCTORE BE S DEAMY ACHIN D
ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY
TOBE SEACE CTISBE”


  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek    2012-03-12   9 / 18
Inform´ci´elm´let 3. - stacion´rius ergodikus forr´s 2.
      a o e                   a                   a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   10 / 18
Inform´ci´elm´let 3. - stacion´rius ergodikus forr´s 2.
      a o e                   a                   a




     Harmadrend˝ k¨zel´ es
               u o ıt´




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   10 / 18
Inform´ci´elm´let 3. - stacion´rius ergodikus forr´s 2.
      a o e                   a                   a




     Harmadrend˝ k¨zel´ es
               u o ıt´
“IN NO IST LAT WHEY CRATIC FROURE BIRS GRODIC
PONDENOME OF DEMONSTURES OF THE REPTAGIN IS
REGOACTIONA OF CRE”




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   10 / 18
Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3.
      a o e                   a                   a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   11 / 18
Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3.
      a o e                   a                   a


     Els˝rend˝ sz´szint˝ k¨zel´ es
        o    u o       u o ıt´




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek   2012-03-12   11 / 18
Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3.
      a o e                   a                   a


     Els˝rend˝ sz´szint˝ k¨zel´ es
        o    u o       u o ıt´
“REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME
CAN DIFFERENT NATURAL HERE HE THE A IN CAME THE TO
OF EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE
HAD BE THESE”




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek   2012-03-12   11 / 18
Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3.
      a o e                   a                   a


     Els˝rend˝ sz´szint˝ k¨zel´ es
        o    u o       u o ıt´
“REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME
CAN DIFFERENT NATURAL HERE HE THE A IN CAME THE TO
OF EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE
HAD BE THESE”
     M´sodrend˝ sz´szint˝ k¨zel´ es
      a       u o       u o ıt´




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek   2012-03-12   11 / 18
Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3.
      a o e                   a                   a


     Els˝rend˝ sz´szint˝ k¨zel´ es
        o    u o       u o ıt´
“REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME
CAN DIFFERENT NATURAL HERE HE THE A IN CAME THE TO
OF EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE
HAD BE THESE”
     M´sodrend˝ sz´szint˝ k¨zel´ es
      a       u o       u o ıt´
“THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH
WRITER THAT THE CHARACTER OF THIS POINT IS
THEREFORE ANOTHER METHOD FOR THE LETTERS THAT
THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN
UNEXPECTED”



  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek   2012-03-12   11 / 18
Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4.
      a o e                   a                   a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   12 / 18
Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4.
      a o e                   a                   a




stacion´rius forr´s id˝ben nem v´ltozik, pl. els˝rend˝ k¨zel´ esek
       a         a    o         a               o    u o ıt´




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek              2012-03-12   12 / 18
Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4.
      a o e                   a                   a




stacion´rius forr´s id˝ben nem v´ltozik, pl. els˝rend˝ k¨zel´ esek
       a         a    o         a               o    u o ıt´
 id˝sor ´tlag tkp. a relat´ gyakoris´g
   o    a                 ıv        a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek              2012-03-12   12 / 18
Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4.
      a o e                   a                   a




stacion´rius forr´s id˝ben nem v´ltozik, pl. els˝rend˝ k¨zel´ esek
       a         a    o         a               o    u o ıt´
 id˝sor ´tlag tkp. a relat´ gyakoris´g
   o    a                 ıv        a
osszes´
¨     ıtett ´tlag egy infinit forr´s v´gtelen sorozatot hozhat l´tre
            a                    a e                           e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek               2012-03-12   12 / 18
Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4.
      a o e                   a                   a




stacion´rius forr´s id˝ben nem v´ltozik, pl. els˝rend˝ k¨zel´ esek
       a         a    o         a               o    u o ıt´
 id˝sor ´tlag tkp. a relat´ gyakoris´g
   o    a                 ıv        a
osszes´
¨     ıtett ´tlag egy infinit forr´s v´gtelen sorozatot hozhat l´tre
            a                    a e                           e
ergodikus forr´s minden olyan stacion´rius forr´s mely id˝sor ´tlaga ´s
              a                       a        a         o    a      e
              o
              ¨sszes´
                    ıtett ´tlaga megegyezik
                          a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                    Nyelvi modellek               2012-03-12   12 / 18
Inform´ci´elm´let 6. - az indukci´ probl´m´ja
      a o e                      o      e a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   13 / 18
Inform´ci´elm´let 6. - az indukci´ probl´m´ja
      a o e                      o      e a




     T¨k mindegy melyik forr´st vizsg´ljuk, hiszen annak id˝sor ´tlaga
      o                     a        a                     o    a
     megegyezik az ergodikus forr´s ¨sszes´
                                 a o      ıtett ´tlag´val
                                                a    a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek              2012-03-12   13 / 18
Inform´ci´elm´let 6. - az indukci´ probl´m´ja
      a o e                      o      e a




     T¨k mindegy melyik forr´st vizsg´ljuk, hiszen annak id˝sor ´tlaga
      o                     a        a                     o    a
     megegyezik az ergodikus forr´s ¨sszes´
                                 a o      ıtett ´tlag´val
                                                a    a
     Ahogy n¨vekszik a vizsg´lt szekvencia hossza, ugy ker¨l¨nk egyre
             o                a                    ´      uu
     k¨zelebb a forr´s ´tlag´hoz
      o             a a     a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek              2012-03-12   13 / 18
Inform´ci´elm´let 6. - az indukci´ probl´m´ja
      a o e                      o      e a




     T¨k mindegy melyik forr´st vizsg´ljuk, hiszen annak id˝sor ´tlaga
      o                     a        a                     o    a
     megegyezik az ergodikus forr´s ¨sszes´
                                 a o      ıtett ´tlag´val
                                                a    a
     Ahogy n¨vekszik a vizsg´lt szekvencia hossza, ugy ker¨l¨nk egyre
             o                a                    ´      uu
     k¨zelebb a forr´s ´tlag´hoz
      o             a a     a
     Nem statisztikai le´ ast kapunk, hanem egy algoritmikus m´dszert arra
                        ır´                                   o
     hogy gener´ljunk egy k¨zel´ o szekvenci´t
               a             o ıt˝          a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek              2012-03-12   13 / 18
Modellek




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   14 / 18
Modellek




     X nyelv´szet, ahol X = kognit´ matematikai, bio, . . .
            e                     ıv,




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek               2012-03-12   14 / 18
Modellek




     X nyelv´szet, ahol X = kognit´ matematikai, bio, . . .
            e                     ıv,
     T´rsadalomtudom´nyok: a modellek nem le´ o jelleg˝ek, “csak”
       a             a                      ır´       u
     seg´ a meg´rt´st
         ıtik    e e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek               2012-03-12   14 / 18
Modellek




     X nyelv´szet, ahol X = kognit´ matematikai, bio, . . .
            e                     ıv,
     T´rsadalomtudom´nyok: a modellek nem le´ o jelleg˝ek, “csak”
       a             a                      ır´       u
     seg´ a meg´rt´st
         ıtik    e e
     Robert Aumann: Interactive Epistemology I. & II.




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek               2012-03-12   14 / 18
Zajos csatorna 1




Mi´rt redund´ns a nyelv?
  e         a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   15 / 18
Zajos csatorna 1




Mi´rt redund´ns a nyelv?
  e         a
     Effekt´ k´dol´s probl´m´ja, az inform´ci´nak “´t kell jutnia” a zajos
           ıv o a        e a             a o      a
     csatorn´n
             a




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek             2012-03-12   15 / 18
Zajos csatorna 1




Mi´rt redund´ns a nyelv?
  e         a
     Effekt´ k´dol´s probl´m´ja, az inform´ci´nak “´t kell jutnia” a zajos
           ıv o a        e a             a o      a
     csatorn´n
             a
     Hogyan gener´ljuk ´s dek´doljuk az uzenetet?
                 a     e     o          ¨




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek             2012-03-12   15 / 18
Zajos csatorna 1




Mi´rt redund´ns a nyelv?
  e         a
     Effekt´ k´dol´s probl´m´ja, az inform´ci´nak “´t kell jutnia” a zajos
           ıv o a        e a             a o      a
     csatorn´n
             a
     Hogyan gener´ljuk ´s dek´doljuk az uzenetet?
                 a     e     o          ¨
     Milyen episztemol´giai k¨vetkezm´nyei vannak ennek?
                      o      o       e




  Varj´ Zolt´n (Weblib Kft.)
      u     a                   Nyelvi modellek             2012-03-12   15 / 18
Zajos csatorna 2



begin
  i := 0
  while true do
         begin read xi ;
           send xi until KS KR (xi );
           send KS KR (xi ) until KS KR KS KR (xi )
           i := i + 1
         end
  od
end




   Varj´ Zolt´n (Weblib Kft.)
       u     a                     Nyelvi modellek    2012-03-12   16 / 18
Zajos csatorna 3



begin
  when KR (x0 ) set i := 0
  while true do
        begin write xi ;
           send KR (xi ) until KR KS KR (xi );
           send KR KS KR (xi ) until KR (xi+1 )
           i := i + 1
        end
  od
end




   Varj´ Zolt´n (Weblib Kft.)
       u     a                     Nyelvi modellek   2012-03-12   17 / 18
Dinamikus episztemikus logika




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   18 / 18
Dinamikus episztemikus logika




     van Bentem: ‘‘One is a lonely number’’.




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek   2012-03-12   18 / 18
Dinamikus episztemikus logika




     van Bentem: ‘‘One is a lonely number’’.
     tanul´s vs ´rvel´s [learning vs.
          a     e    e                           reasoning about
     knowledge]




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek              2012-03-12   18 / 18
K¨sz¨n¨m a figyelmet
 o o o




     Keres˝ Vil´g http://kereses.blog.hu/
          o a
     Sz´m´ og´pes nyelv´szet
       a ıt´ e         e
     http://szamitogepesnyelveszet.blogspot.com/
     Twitter: @zoltanvarju
     Email: zoltan.varju@weblib.com




  Varj´ Zolt´n (Weblib Kft.)
      u     a                  Nyelvi modellek     2012-03-12   19 / 18

More Related Content

Viewers also liked

Miháltz Márton: hun* kiegészítések: hunstem, hunmorph_extend, huntoken
Miháltz Márton: hun* kiegészítések: hunstem, hunmorph_extend, huntokenMiháltz Márton: hun* kiegészítések: hunstem, hunmorph_extend, huntoken
Miháltz Márton: hun* kiegészítések: hunstem, hunmorph_extend, huntokenZoltan Varju
 
Simon Eszter: Szekvenciális elemzők: a hunner és a hunchunk
Simon Eszter: Szekvenciális elemzők: a hunner és a hunchunkSimon Eszter: Szekvenciális elemzők: a hunner és a hunchunk
Simon Eszter: Szekvenciális elemzők: a hunner és a hunchunkZoltan Varju
 
Hadoop based etl and solr based semantic search
Hadoop based etl and solr based semantic searchHadoop based etl and solr based semantic search
Hadoop based etl and solr based semantic searchZoltan Varju
 
Magyar politikai blogszféra
Magyar politikai blogszféraMagyar politikai blogszféra
Magyar politikai blogszféraZoltan Varju
 
Digitális testbeszéd
Digitális testbeszédDigitális testbeszéd
Digitális testbeszédZoltan Varju
 
Balogh Kitti: Machine learning algoritmusok kiértékelése
Balogh Kitti: Machine learning algoritmusok kiértékeléseBalogh Kitti: Machine learning algoritmusok kiértékelése
Balogh Kitti: Machine learning algoritmusok kiértékeléseZoltan Varju
 
Szekeres Péter: Webes vélemények egyetlen grafikonba sűrítve
Szekeres Péter: Webes vélemények egyetlen grafikonba sűrítveSzekeres Péter: Webes vélemények egyetlen grafikonba sűrítve
Szekeres Péter: Webes vélemények egyetlen grafikonba sűrítveZoltan Varju
 
Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnev...
Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnev...Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnev...
Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnev...Zoltan Varju
 
NLP meetup 2016.10.05 - Szekeres Péter: Neticle
NLP meetup 2016.10.05 - Szekeres Péter: NeticleNLP meetup 2016.10.05 - Szekeres Péter: Neticle
NLP meetup 2016.10.05 - Szekeres Péter: NeticleZoltan Varju
 
MTA-PPKE Magyar Nyelvtechnológiai Kutatócsoport
MTA-PPKE Magyar Nyelvtechnológiai Kutatócsoport MTA-PPKE Magyar Nyelvtechnológiai Kutatócsoport
MTA-PPKE Magyar Nyelvtechnológiai Kutatócsoport Zoltan Varju
 

Viewers also liked (10)

Miháltz Márton: hun* kiegészítések: hunstem, hunmorph_extend, huntoken
Miháltz Márton: hun* kiegészítések: hunstem, hunmorph_extend, huntokenMiháltz Márton: hun* kiegészítések: hunstem, hunmorph_extend, huntoken
Miháltz Márton: hun* kiegészítések: hunstem, hunmorph_extend, huntoken
 
Simon Eszter: Szekvenciális elemzők: a hunner és a hunchunk
Simon Eszter: Szekvenciális elemzők: a hunner és a hunchunkSimon Eszter: Szekvenciális elemzők: a hunner és a hunchunk
Simon Eszter: Szekvenciális elemzők: a hunner és a hunchunk
 
Hadoop based etl and solr based semantic search
Hadoop based etl and solr based semantic searchHadoop based etl and solr based semantic search
Hadoop based etl and solr based semantic search
 
Magyar politikai blogszféra
Magyar politikai blogszféraMagyar politikai blogszféra
Magyar politikai blogszféra
 
Digitális testbeszéd
Digitális testbeszédDigitális testbeszéd
Digitális testbeszéd
 
Balogh Kitti: Machine learning algoritmusok kiértékelése
Balogh Kitti: Machine learning algoritmusok kiértékeléseBalogh Kitti: Machine learning algoritmusok kiértékelése
Balogh Kitti: Machine learning algoritmusok kiértékelése
 
Szekeres Péter: Webes vélemények egyetlen grafikonba sűrítve
Szekeres Péter: Webes vélemények egyetlen grafikonba sűrítveSzekeres Péter: Webes vélemények egyetlen grafikonba sűrítve
Szekeres Péter: Webes vélemények egyetlen grafikonba sűrítve
 
Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnev...
Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnev...Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnev...
Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnev...
 
NLP meetup 2016.10.05 - Szekeres Péter: Neticle
NLP meetup 2016.10.05 - Szekeres Péter: NeticleNLP meetup 2016.10.05 - Szekeres Péter: Neticle
NLP meetup 2016.10.05 - Szekeres Péter: Neticle
 
MTA-PPKE Magyar Nyelvtechnológiai Kutatócsoport
MTA-PPKE Magyar Nyelvtechnológiai Kutatócsoport MTA-PPKE Magyar Nyelvtechnológiai Kutatócsoport
MTA-PPKE Magyar Nyelvtechnológiai Kutatócsoport
 

More from Zoltan Varju

NLP meetup 2016.10.05 - Bódogh Attila: xdroid
NLP meetup 2016.10.05 - Bódogh Attila: xdroidNLP meetup 2016.10.05 - Bódogh Attila: xdroid
NLP meetup 2016.10.05 - Bódogh Attila: xdroidZoltan Varju
 
NLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
NLP meetup 2016.10.05 - Szabó Martina Katalin: PrecognoxNLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
NLP meetup 2016.10.05 - Szabó Martina Katalin: PrecognoxZoltan Varju
 
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzéseBalogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzéseZoltan Varju
 
Babak Rasolzadeh: The importance of entities
Babak Rasolzadeh: The importance of entitiesBabak Rasolzadeh: The importance of entities
Babak Rasolzadeh: The importance of entitiesZoltan Varju
 
Szövegbányászat a gyakorlatban
Szövegbányászat a gyakorlatbanSzövegbányászat a gyakorlatban
Szövegbányászat a gyakorlatbanZoltan Varju
 
Szövegbányászat
SzövegbányászatSzövegbányászat
SzövegbányászatZoltan Varju
 
Balogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatBalogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatZoltan Varju
 
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...Zoltan Varju
 
Kisvilágunk, a nyelv
Kisvilágunk, a nyelvKisvilágunk, a nyelv
Kisvilágunk, a nyelvZoltan Varju
 
Balogh Kitti - Szűcs Krisztina: Képes beszéd
Balogh Kitti - Szűcs Krisztina: Képes beszédBalogh Kitti - Szűcs Krisztina: Képes beszéd
Balogh Kitti - Szűcs Krisztina: Képes beszédZoltan Varju
 
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekBalogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekZoltan Varju
 
Érzelmek hálójában – hálózat- és tartalomelemzés
Érzelmek hálójában – hálózat- és tartalomelemzésÉrzelmek hálójában – hálózat- és tartalomelemzés
Érzelmek hálójában – hálózat- és tartalomelemzésZoltan Varju
 
Szabó - Varjú: Automatikus értékelés- és érzelemelemzés magyar nyelvű szöveg...
Szabó - Varjú: Automatikus  értékelés- és érzelemelemzés magyar nyelvű szöveg...Szabó - Varjú: Automatikus  értékelés- és érzelemelemzés magyar nyelvű szöveg...
Szabó - Varjú: Automatikus értékelés- és érzelemelemzés magyar nyelvű szöveg...Zoltan Varju
 
Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Zoltan Varju
 
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Zoltan Varju
 
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Zoltan Varju
 
Rasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaRasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaZoltan Varju
 
Kontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeKontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeZoltan Varju
 
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezSimon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezZoltan Varju
 
Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Zoltan Varju
 

More from Zoltan Varju (20)

NLP meetup 2016.10.05 - Bódogh Attila: xdroid
NLP meetup 2016.10.05 - Bódogh Attila: xdroidNLP meetup 2016.10.05 - Bódogh Attila: xdroid
NLP meetup 2016.10.05 - Bódogh Attila: xdroid
 
NLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
NLP meetup 2016.10.05 - Szabó Martina Katalin: PrecognoxNLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
NLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
 
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzéseBalogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
 
Babak Rasolzadeh: The importance of entities
Babak Rasolzadeh: The importance of entitiesBabak Rasolzadeh: The importance of entities
Babak Rasolzadeh: The importance of entities
 
Szövegbányászat a gyakorlatban
Szövegbányászat a gyakorlatbanSzövegbányászat a gyakorlatban
Szövegbányászat a gyakorlatban
 
Szövegbányászat
SzövegbányászatSzövegbányászat
Szövegbányászat
 
Balogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatBalogh Kitti: Szövegbányászat
Balogh Kitti: Szövegbányászat
 
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
 
Kisvilágunk, a nyelv
Kisvilágunk, a nyelvKisvilágunk, a nyelv
Kisvilágunk, a nyelv
 
Balogh Kitti - Szűcs Krisztina: Képes beszéd
Balogh Kitti - Szűcs Krisztina: Képes beszédBalogh Kitti - Szűcs Krisztina: Képes beszéd
Balogh Kitti - Szűcs Krisztina: Képes beszéd
 
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekBalogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
 
Érzelmek hálójában – hálózat- és tartalomelemzés
Érzelmek hálójában – hálózat- és tartalomelemzésÉrzelmek hálójában – hálózat- és tartalomelemzés
Érzelmek hálójában – hálózat- és tartalomelemzés
 
Szabó - Varjú: Automatikus értékelés- és érzelemelemzés magyar nyelvű szöveg...
Szabó - Varjú: Automatikus  értékelés- és érzelemelemzés magyar nyelvű szöveg...Szabó - Varjú: Automatikus  értékelés- és érzelemelemzés magyar nyelvű szöveg...
Szabó - Varjú: Automatikus értékelés- és érzelemelemzés magyar nyelvű szöveg...
 
Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)
 
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
 
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
 
Rasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaRasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útja
 
Kontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeKontextus és a hivatkozások ereje
Kontextus és a hivatkozások ereje
 
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezSimon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
 
Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben
 

Nyelvi modellek

  • 1. Nyelvi modellek “Kutya neh´z ugy hazudni, ha az ember nem osmeri az e ´ ¨ igazs´got” a Varj´ Zolt´n u a Weblib Kft. 2012-03-12 Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 1 / 18
  • 2. Bevezet´s e “Essentially, all models are wrong, but some are useful.” — George Edward Pelham Box Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 2 / 18
  • 3. Bevezet´s e “Essentially, all models are wrong, but some are useful.” — George Edward Pelham Box Chomsky Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 2 / 18
  • 4. Bevezet´s e “Essentially, all models are wrong, but some are useful.” — George Edward Pelham Box Chomsky Norvig Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 2 / 18
  • 5. Bevezet´s e “Essentially, all models are wrong, but some are useful.” — George Edward Pelham Box Chomsky Norvig Turing Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 2 / 18
  • 6. Bevezet´s e “Essentially, all models are wrong, but some are useful.” — George Edward Pelham Box Chomsky Norvig Turing Shannon Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 2 / 18
  • 7. Bevezet´s e “Essentially, all models are wrong, but some are useful.” — George Edward Pelham Box Chomsky Norvig Turing Shannon van Benthem Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 2 / 18
  • 8. A vita 1 “Chomsky derided researchers in machine learning who use purely statistical methods to produce behavior that mimics something in the world, but who don’t try to understand the meaning of that behavior. Chomsky compared such researchers to scientists who might study the dance made by a bee returning to the hive, and who could produce a statistically based simulation of such a dance without attempting to understand why the bee behaved that way. ”That’s a notion of [scientific] success that’s very novel. I don’t know of anything like it in the history of science,” said Chomsky.” — Stephen Cass: Unthinking Machines, Technology Review, http://www.technologyreview.com/computing/37525/?a=f Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 3 / 18
  • 9. A vita 2 “Any natural corpus will be skewed. Some sentences won’t occur because they are obvious, others because they are false, still others because they are impolite. The corpus, if natural, will be so wildly skewed that the description [based upon it] would be no more than a mere list.” — Chomsky Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 4 / 18
  • 10. A vita 2 “Any natural corpus will be skewed. Some sentences won’t occur because they are obvious, others because they are false, still others because they are impolite. The corpus, if natural, will be so wildly skewed that the description [based upon it] would be no more than a mere list.” — Chomsky Mennyire lehet reprezentat´ egy korpusz? ıv Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 4 / 18
  • 11. A vita 2 “Any natural corpus will be skewed. Some sentences won’t occur because they are obvious, others because they are false, still others because they are impolite. The corpus, if natural, will be so wildly skewed that the description [based upon it] would be no more than a mere list.” — Chomsky Mennyire lehet reprezentat´ egy korpusz? ıv “I live in New York” sokkal gyakoribb mint az “I live in Dayton Ohio” Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 4 / 18
  • 12. A vita 2 “Any natural corpus will be skewed. Some sentences won’t occur because they are obvious, others because they are false, still others because they are impolite. The corpus, if natural, will be so wildly skewed that the description [based upon it] would be no more than a mere list.” — Chomsky Mennyire lehet reprezentat´ egy korpusz? ıv “I live in New York” sokkal gyakoribb mint az “I live in Dayton Ohio” The Unreasonable Effectiveness of Data: “simple models and a lot of data trump more elaborate models based on less data” Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 4 / 18
  • 13. K´t kult´ra e u Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 5 / 18
  • 14. K´t kult´ra e u Hogyan ´ ırhatunk le v´ges eszk¨z¨kkel egy v´gtelen jelens´get? e o o e e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 5 / 18
  • 15. K´t kult´ra e u Hogyan ´ ırhatunk le v´ges eszk¨z¨kkel egy v´gtelen jelens´get? e o o e e Modell- ´s rekurzi´elm´let e o e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 5 / 18
  • 16. K´t kult´ra e u Hogyan ´ ırhatunk le v´ges eszk¨z¨kkel egy v´gtelen jelens´get? e o o e e Modell- ´s rekurzi´elm´let e o e Le´ o statisztika ´s korpusznyelv´szet ır´ e e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 5 / 18
  • 17. K´t kult´ra e u Hogyan ´ ırhatunk le v´ges eszk¨z¨kkel egy v´gtelen jelens´get? e o o e e Modell- ´s rekurzi´elm´let e o e Le´ o statisztika ´s korpusznyelv´szet ır´ e e Algoritmikus tanul´selm´let a e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 5 / 18
  • 18. Gy¨kerek 1 - Frege o “For my money, Gentzen’s natural deduction and Church’s lambda calculus are on a par with Einstein’s relativity and Dirac’s quantum physics for elegance and insight.” — Philip Wadler, Proofs are Programs Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 6 / 18
  • 19. Gy¨kerek 2 - Turing o Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 7 / 18
  • 20. Gy¨kerek 2 - Turing o Colossus: a Turing g´pek els˝ fizikai implement´ci´ja e o a o Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 7 / 18
  • 21. Gy¨kerek 2 - Turing o Colossus: a Turing g´pek els˝ fizikai implement´ci´ja e o a o Engima: bayesi´nus statisztikai m´dszerek futnak a Colossus-on a o Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 7 / 18
  • 22. a o e ´ Inform´ci´elm´let 1. - Attekint´s e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 8 / 18
  • 23. a o e ´ Inform´ci´elm´let 1. - Attekint´s e Nem t´r¨nk ki minden k´rd´sre eu e e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 8 / 18
  • 24. a o e ´ Inform´ci´elm´let 1. - Attekint´s e Nem t´r¨nk ki minden k´rd´sre eu e e Mik´pp lehets´ges statisztikailag le´ a nyelvi jelens´geket e e ırni e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 8 / 18
  • 25. a o e ´ Inform´ci´elm´let 1. - Attekint´s e Nem t´r¨nk ki minden k´rd´sre eu e e Mik´pp lehets´ges statisztikailag le´ a nyelvi jelens´geket e e ırni e Mintav´telez´s vs. stacion´rius ergodikus forr´s e e a a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 8 / 18
  • 26. a o e ´ Inform´ci´elm´let 1. - Attekint´s e Nem t´r¨nk ki minden k´rd´sre eu e e Mik´pp lehets´ges statisztikailag le´ a nyelvi jelens´geket e e ırni e Mintav´telez´s vs. stacion´rius ergodikus forr´s e e a a Az indukci´ probl´m´ja o e a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 8 / 18
  • 27. Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1. a o e a a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 9 / 18
  • 28. Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1. a o e a a Nulladrend˝ k¨zel´ es u o ıt´ Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 9 / 18
  • 29. Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1. a o e a a Nulladrend˝ k¨zel´ es u o ıt´ “XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD” Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 9 / 18
  • 30. Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1. a o e a a Nulladrend˝ k¨zel´ es u o ıt´ “XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD” Els˝rend˝ k¨zel´ es o u o ıt´ Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 9 / 18
  • 31. Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1. a o e a a Nulladrend˝ k¨zel´ es u o ıt´ “XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD” Els˝rend˝ k¨zel´ es o u o ıt´ “OCRO HLI NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL” Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 9 / 18
  • 32. Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1. a o e a a Nulladrend˝ k¨zel´ es u o ıt´ “XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD” Els˝rend˝ k¨zel´ es o u o ıt´ “OCRO HLI NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL” M´sodrend˝ k¨zel´ es a u o ıt´ Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 9 / 18
  • 33. Inform´ci´elm´let 2. - stacion´rius ergodikus forr´s 1. a o e a a Nulladrend˝ k¨zel´ es u o ıt´ “XFOML RXKHRJFFJUJ ZPLWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD” Els˝rend˝ k¨zel´ es o u o ıt´ “OCRO HLI NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL” M´sodrend˝ k¨zel´ es a u o ıt´ “ON IE ANTSOUTINYS ARE T INCTORE BE S DEAMY ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE” Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 9 / 18
  • 34. Inform´ci´elm´let 3. - stacion´rius ergodikus forr´s 2. a o e a a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 10 / 18
  • 35. Inform´ci´elm´let 3. - stacion´rius ergodikus forr´s 2. a o e a a Harmadrend˝ k¨zel´ es u o ıt´ Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 10 / 18
  • 36. Inform´ci´elm´let 3. - stacion´rius ergodikus forr´s 2. a o e a a Harmadrend˝ k¨zel´ es u o ıt´ “IN NO IST LAT WHEY CRATIC FROURE BIRS GRODIC PONDENOME OF DEMONSTURES OF THE REPTAGIN IS REGOACTIONA OF CRE” Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 10 / 18
  • 37. Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3. a o e a a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 11 / 18
  • 38. Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3. a o e a a Els˝rend˝ sz´szint˝ k¨zel´ es o u o u o ıt´ Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 11 / 18
  • 39. Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3. a o e a a Els˝rend˝ sz´szint˝ k¨zel´ es o u o u o ıt´ “REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURAL HERE HE THE A IN CAME THE TO OF EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE” Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 11 / 18
  • 40. Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3. a o e a a Els˝rend˝ sz´szint˝ k¨zel´ es o u o u o ıt´ “REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURAL HERE HE THE A IN CAME THE TO OF EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE” M´sodrend˝ sz´szint˝ k¨zel´ es a u o u o ıt´ Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 11 / 18
  • 41. Inform´ci´elm´let 4. - stacion´rius ergodikus forr´s 3. a o e a a Els˝rend˝ sz´szint˝ k¨zel´ es o u o u o ıt´ “REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURAL HERE HE THE A IN CAME THE TO OF EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE” M´sodrend˝ sz´szint˝ k¨zel´ es a u o u o ıt´ “THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED” Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 11 / 18
  • 42. Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4. a o e a a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 12 / 18
  • 43. Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4. a o e a a stacion´rius forr´s id˝ben nem v´ltozik, pl. els˝rend˝ k¨zel´ esek a a o a o u o ıt´ Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 12 / 18
  • 44. Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4. a o e a a stacion´rius forr´s id˝ben nem v´ltozik, pl. els˝rend˝ k¨zel´ esek a a o a o u o ıt´ id˝sor ´tlag tkp. a relat´ gyakoris´g o a ıv a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 12 / 18
  • 45. Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4. a o e a a stacion´rius forr´s id˝ben nem v´ltozik, pl. els˝rend˝ k¨zel´ esek a a o a o u o ıt´ id˝sor ´tlag tkp. a relat´ gyakoris´g o a ıv a osszes´ ¨ ıtett ´tlag egy infinit forr´s v´gtelen sorozatot hozhat l´tre a a e e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 12 / 18
  • 46. Inform´ci´elm´let 5. - stacion´rius ergodikus forr´s 4. a o e a a stacion´rius forr´s id˝ben nem v´ltozik, pl. els˝rend˝ k¨zel´ esek a a o a o u o ıt´ id˝sor ´tlag tkp. a relat´ gyakoris´g o a ıv a osszes´ ¨ ıtett ´tlag egy infinit forr´s v´gtelen sorozatot hozhat l´tre a a e e ergodikus forr´s minden olyan stacion´rius forr´s mely id˝sor ´tlaga ´s a a a o a e o ¨sszes´ ıtett ´tlaga megegyezik a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 12 / 18
  • 47. Inform´ci´elm´let 6. - az indukci´ probl´m´ja a o e o e a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 13 / 18
  • 48. Inform´ci´elm´let 6. - az indukci´ probl´m´ja a o e o e a T¨k mindegy melyik forr´st vizsg´ljuk, hiszen annak id˝sor ´tlaga o a a o a megegyezik az ergodikus forr´s ¨sszes´ a o ıtett ´tlag´val a a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 13 / 18
  • 49. Inform´ci´elm´let 6. - az indukci´ probl´m´ja a o e o e a T¨k mindegy melyik forr´st vizsg´ljuk, hiszen annak id˝sor ´tlaga o a a o a megegyezik az ergodikus forr´s ¨sszes´ a o ıtett ´tlag´val a a Ahogy n¨vekszik a vizsg´lt szekvencia hossza, ugy ker¨l¨nk egyre o a ´ uu k¨zelebb a forr´s ´tlag´hoz o a a a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 13 / 18
  • 50. Inform´ci´elm´let 6. - az indukci´ probl´m´ja a o e o e a T¨k mindegy melyik forr´st vizsg´ljuk, hiszen annak id˝sor ´tlaga o a a o a megegyezik az ergodikus forr´s ¨sszes´ a o ıtett ´tlag´val a a Ahogy n¨vekszik a vizsg´lt szekvencia hossza, ugy ker¨l¨nk egyre o a ´ uu k¨zelebb a forr´s ´tlag´hoz o a a a Nem statisztikai le´ ast kapunk, hanem egy algoritmikus m´dszert arra ır´ o hogy gener´ljunk egy k¨zel´ o szekvenci´t a o ıt˝ a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 13 / 18
  • 51. Modellek Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 14 / 18
  • 52. Modellek X nyelv´szet, ahol X = kognit´ matematikai, bio, . . . e ıv, Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 14 / 18
  • 53. Modellek X nyelv´szet, ahol X = kognit´ matematikai, bio, . . . e ıv, T´rsadalomtudom´nyok: a modellek nem le´ o jelleg˝ek, “csak” a a ır´ u seg´ a meg´rt´st ıtik e e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 14 / 18
  • 54. Modellek X nyelv´szet, ahol X = kognit´ matematikai, bio, . . . e ıv, T´rsadalomtudom´nyok: a modellek nem le´ o jelleg˝ek, “csak” a a ır´ u seg´ a meg´rt´st ıtik e e Robert Aumann: Interactive Epistemology I. & II. Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 14 / 18
  • 55. Zajos csatorna 1 Mi´rt redund´ns a nyelv? e a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 15 / 18
  • 56. Zajos csatorna 1 Mi´rt redund´ns a nyelv? e a Effekt´ k´dol´s probl´m´ja, az inform´ci´nak “´t kell jutnia” a zajos ıv o a e a a o a csatorn´n a Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 15 / 18
  • 57. Zajos csatorna 1 Mi´rt redund´ns a nyelv? e a Effekt´ k´dol´s probl´m´ja, az inform´ci´nak “´t kell jutnia” a zajos ıv o a e a a o a csatorn´n a Hogyan gener´ljuk ´s dek´doljuk az uzenetet? a e o ¨ Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 15 / 18
  • 58. Zajos csatorna 1 Mi´rt redund´ns a nyelv? e a Effekt´ k´dol´s probl´m´ja, az inform´ci´nak “´t kell jutnia” a zajos ıv o a e a a o a csatorn´n a Hogyan gener´ljuk ´s dek´doljuk az uzenetet? a e o ¨ Milyen episztemol´giai k¨vetkezm´nyei vannak ennek? o o e Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 15 / 18
  • 59. Zajos csatorna 2 begin i := 0 while true do begin read xi ; send xi until KS KR (xi ); send KS KR (xi ) until KS KR KS KR (xi ) i := i + 1 end od end Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 16 / 18
  • 60. Zajos csatorna 3 begin when KR (x0 ) set i := 0 while true do begin write xi ; send KR (xi ) until KR KS KR (xi ); send KR KS KR (xi ) until KR (xi+1 ) i := i + 1 end od end Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 17 / 18
  • 61. Dinamikus episztemikus logika Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 18 / 18
  • 62. Dinamikus episztemikus logika van Bentem: ‘‘One is a lonely number’’. Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 18 / 18
  • 63. Dinamikus episztemikus logika van Bentem: ‘‘One is a lonely number’’. tanul´s vs ´rvel´s [learning vs. a e e reasoning about knowledge] Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 18 / 18
  • 64. K¨sz¨n¨m a figyelmet o o o Keres˝ Vil´g http://kereses.blog.hu/ o a Sz´m´ og´pes nyelv´szet a ıt´ e e http://szamitogepesnyelveszet.blogspot.com/ Twitter: @zoltanvarju Email: zoltan.varju@weblib.com Varj´ Zolt´n (Weblib Kft.) u a Nyelvi modellek 2012-03-12 19 / 18