Vincze Veronika: Nyelvi elemzők Szegedről: morfológia, szintaxis, tulajdonnevek és többszavas kifejezések
1. Nyelvtechnológiai Csoport
Nyelvi elemzők Szegedről:
morfológia, szintaxis,
tulajdonnevek és
többszavas kifejezések
Vincze Veronika
2. Nyelvtechnológiai Csoport
Bevezető
• A magasabb rendű
nyelvtechnológiai alkalmazások
számára alapvető fontosságú a
szövegek nyelvi elemzése
• Morfológiai és szintaktikai elemzés
• Tulajdonnév-felismerés
• Többszavas kifejezések
azonosítása
3. Nyelvtechnológiai Csoport
magyarlanc
• magyar szövegek nyelvi előelemzése a nyers
szövegtől a szintaktikai elemzésig
• mondatra bontás
• tokenizálás
• morfológiai elemzés (harmonizált kódrendszer
használatával)
• szófaji egyértelműsítés (96,32% pontosság a
Szeged Korpusz 2.5-ön)
• lemmatizálás
• dependenciaelemzés (91,42% LAS, 93,22% ULA
a Szeged Dependencia Treebanken)
• ÚJ: webes szövegek elemzése
5. Nyelvtechnológiai Csoport
A magyarlanc előnyei
• gyors
• teljes egészében JAVA-ban implementált
• platformfüggetlen
• könnyen integrálható bármilyen
keretrendszerbe
• több (ipari) partnerünk használja saját
rendszerébe beépítve
• webszolgáltatásként is használható
http://www.inf.u-szeged.hu/rgai/magyarlanc-service/
http://www.inf.u-szeged.hu/rgai/magyarlanc
6. Nyelvtechnológiai Csoport
Tulajdonnév-felismerés és
többszavas kifejezések
• különleges bánásmódot igényelnek
(MT, IE, anonimizálás,
eseménykinyerés…)
George Bush – György Bokor ?
Kovács János – János Kovács
Beijing – Peking
előadást tart – *tartás – előadás
döntést hoz != bring a decision (make a decision)
A tehén fűbe harapott. != The cow grass lip.
8. Nyelvtechnológiai Csoport
NE-felismerők Szegeden
• Angol és magyar nyelvre
• Gépi tanuláson alapuló módszerek
• Orvosi, üzleti és hírszövegekre stb.
optimalizált megoldások
• Könnyen adaptálható más
doménekre is
http://www.inf.u-szeged.hu/rgai/NER
9. Nyelvtechnológiai Csoport
MWE-felismerés Szegeden
• Angol, magyar, német, spanyol
• Több MWE-típus
• Több domén (jogi szövegek,
újsághírek, Wikipédia…)
• Gépi tanulási módszerek
http://www.inf.u-szeged.hu/rgai/mwe