NLP nap diái

1. MACHINE LEARNING
ALGORITMUSOK
KIÉRTÉKELÉSE
BALOGH KITTI, PRECOGNOX, 2014.12.12.

2. [ Tartalom ]
 Mi az a kiértékelés és mire jó?
 Egy kiértékelés menetének vázolása Mánuel
NER rendszereivel
 Célok és felfedeznivalók
 Feladatspeciális kiértékelő mérőszámok
 Korpuszméret kérdése
 Újramintavételezés
 Statisztikai tesztek
 Stb.

3. [ Mi az a kiértékelés? ]
 Az a része a fejlesztői munkának, mikor a
modell(eke)t lefuttatjuk a teszt adathalmazon,
és a kapott eredményeket számszerűsítjük,
összehasonlítjuk
 Teljesítmény mérése

4. Teszt kategóriái
A (pozitív) B (negatív)
퐏퐨퐳퐢퐭í퐯
퐥퐢퐤퐞퐥퐢퐡퐨퐨퐝
퐡á퐧퐲퐚퐝퐨퐬 (퐋퐑+)
=
퐓퐏 퐚퐫á퐧퐲
퐅퐏 퐚퐫á퐧퐲
퐍퐞퐠퐚퐭í퐯
퐥퐢퐤퐞퐥퐢퐡퐨퐨퐝
퐡á퐧퐲퐚퐝퐨퐬 (퐋퐑−)
=
퐅퐏 퐚퐫á퐧퐲
퐓퐏 퐚퐫á퐧퐲
Etalon /
valós állapot
A (poz.)
TP = valós
pozitív
FN = hamis
negatív
퐓퐏 퐚퐫á퐧퐲
/ 퐒퐳퐞퐧퐳퐢퐭퐢퐯퐢퐭á퐬
/ 퐅퐞퐥퐢퐝é퐳é퐬
=
퐓퐏
퐓퐏 + 퐅퐍
퐅퐍 퐚퐫á퐧퐲 =
퐅퐍
퐏
B (neg.)
FP = hamis
pozitív
TN = valós
negatív
퐅퐏 퐚퐫á퐧퐲/ 퐒퐞퐥퐞퐣퐭
=
퐅퐏
퐍
퐓퐍 퐚퐫á퐧퐲
/퐒퐩퐞퐜퐢퐟퐢퐭á퐬 =
퐓퐍
퐍
퐏퐫퐞퐯퐚퐥퐞퐧퐜퐢퐚 =
퐏
퐭퐨퐭퐚퐥
퐏퐫퐞퐜퐢퐳퐢퐭á퐬 =
퐓퐏
퐏
퐇퐚퐦퐢퐬 퐤퐢퐡퐚퐠퐲á퐬
퐚퐫á퐧퐲 =
퐅퐍
퐍
퐏퐨퐧퐭퐨퐬퐬á퐠
=
퐓퐏 + 퐓퐍
퐭퐨퐭퐚퐥
퐃퐢퐚퐠퐧퐨퐬퐳퐭퐢퐤퐚퐢
퐞퐬é퐥퐲퐡á퐧퐲퐚퐝퐨퐬
=
퐋퐑 +
퐋퐑 −
퐇퐚퐦퐢퐬 퐟퐞퐥퐟퐞퐝퐞퐳é퐬
퐚퐫á퐧퐲 =
퐅퐏
퐏
퐍퐞퐠퐚퐭í퐯 퐩퐫퐞퐝퐢퐤퐭í퐯
é퐫퐭é퐤 =
퐓퐍
퐍
퐇퐢퐛퐚퐚퐫á퐧퐲
=
퐅퐏 + 퐅퐍
퐭퐨퐭퐚퐥

5. [ Miért jó, ha van kiértékelés? ]
 Saját munkánk eredményességének
ellenőrzése
 Ha nem megfelelőek az eredmények 
változtatás (modellen, korpuszon) 
kiértékelés  …
 Modellek közötti döntés
 Viszonyítás mások eredményeihez, mások
saját eredményeinek viszonyítása a miénkhez
 Eszköz megbízhatóságának biztosítása
 Minőségi, professzionális munkamenet
biztosítása

6. [ Kiértékelés vázlat I. – Mánuel
NER]
 Tanuló adathalmaz: hunNERwiki (19 108 597
token) 80%
 Teszt adathalmaz: hunNERwiki 20%, Szeged
NER (200 000 token) 100%
 Kétféle NER rendszer:
 Négy névelem kategória egy modellben trénelve
 Névelem kategóriák külön-külön modellekben

7. [ Kiértékelés vázlat II. – Mánuel
NER]

8. [ Célok ]
 Rutin- és benyomásszerzés:
 A kiértékelés menetéről
 A kiértékelést befolyásoló tényezőkről (pl.
korpuszméret, modell komplexitás)
 A feladatspeciális statisztikákról, eljárásokról
 A jövőben minden fejlesztéshez legyen kiértékelő
riport

9. [ Kutatni- és felfedeznivalók ]
 Korpuszméret kérdése
 A 80-20-as felosztás összehasonlítása az
újramintavételezési módszerekkel
 Feladatspeciális kiértékelő mérőszámok és
módszerek
 Különböző modellek összehasonlítására
használt statisztikai tesztek

10. [ Korpusz és hatékonyság ]

11. [ Feladatspeciális kiértékelés ]
 A különböző feladatok (pl. névelem-felismerés,
szentimentelemzés, helyesírásellenőrzés- és
javítás stb.) tipikusan használt mérőszámai,
kiértékeléshez használt egységei eltérőek stb.
 A különböző kiértékelő statisztikák eltérő
eredményt mutatnak a különböző
algoritmusokról

13. [ Újramintavételezés ]
 Keresztvalidáció, k-szoros keresztvalidáció,
leave-one-out, bootstrap stb.
 Milyen esetekben lehet hasznos? pl. kis minta,
kategóriák ferde eloszlása
 Mik a veszélyei? pl. függetlenség megsértése

14. [ Statisztikai tesztek ]
 T-statisztika, Kruskal-Wallis teszt, Wilcoxon
teszt, ANOVA stb.
 Osztályozó algoritmusok összehasonlítása
 Az osztályozó valós jellemzőinek vagy a
véletlennek tudhatók be a megfigyelt
eredmények?
 Hány osztályozó, hány kategória?
 Paraméteres vs. nem-paraméteres eljárások

15. [ Kiértékeléshez használt
eszközök]
 R statisztikai programnyelv
 Kiértékelő mérőszámok könnyen
implementálhatók
 Újramintavételezéshez, statisztikai tesztekhez
függvények
 Vizualizációhoz: ROCR package (ROC görbe,
költséggörbe, P-R görbe stb.)

16. [ Irodalom, egyéb források ]
 AN, Joohui – LEE, Seungwoo – LEE, Gary Geunbae (2003): Automatic Acquisition of
Named Entity Tagged Corpus from World WideWeb. Elérhető:
http://www.aclweb.org/anthology/P03-2031
 BANKO, Michele – BRILL, Eric (2001): Mitigating the Paucity-of-Data Problem:
Exploring the Effect of Training Corpus Size on Classifier Performance for Natural
Language Processing. Elérhető:
http://research.microsoft.com/pubs/68846/hlt2001.pdf?origin=publication_detail
 FU, Ruiji – QIN, Bing - LIU, Ting (2011): Generating Chinese Named Entity Data from
a Parallel Corpus. Elérhető: http://www.mt-archive.info/IJCNLP-2011-Fu.pdf
 DOMINGO, Pedro (2012): A Few Useful Things to Know about Machine Learning.
Elérhető: http://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf
 JAPKOWICZ, Nathalie: Performance Evaluation for Learning Algorithms c. előadás
diasora. Elérhető: http://www.icmla-conference.org/icmla11/PE_Tutorial.pdf
 hunNERwiki: http://hlt.sztaki.hu/resources/hunnerwiki.html
 Szeged NER: http://metashare.nytud.hu/repository/browse/szeged-named-entity-recognition-corpus/
d393c5426baa11e2aa7c68b599c26a06d1b81774ba7e40b1bc095fab480ae77e
/