Download to read offline
Szövegbányászat
- 1. Szövegbányászat Balogh Kitti -Varjú Zoltán kbalogh@precognox.com - zvarju@precognox.com
- 2.
- 3. Minek nevezzelek? Szövegbányászat Számítógépes nyelvészet Természetesnyelvfeldolgozás Nyelvtechnológia Text Mining Computational Linguistics Natural Language Processing Language Technology
- 4. És még holtalálkozhatunk vele? Mesterséges intelligencia Gépi tanulás Nyelvészet Kognitív tudomány Statisztika Keresés Információkinyerés
- 5.
- 6. Mi ma astatisztikai megközelítéssel ismerkedünk! - viszonylag egyszerűek az alapok - az iparban is elterjedt - megértéséhez nem kell nyelvésznek lenni, vagy mélyebben belemenni a statisztikába A továbbiakban a szövegbányászat megnevezést erre a megközelítésre alkalmazzuk!
- 7.
- 8. Bővebben Jurafsky-Martin: Speech andLanguage Processing Manning-Schütze: Foundations of Statistical Natural Language Processing NLTK book: http://www.nltk.org/book/
- 9.
- 10.
- 11. Ha nincs adatunk Webcrawling == adott lista szisztematikus bejárása a linkek mentén n mélységben Scraping == szövegek esetében ez valamilyen extra formázást tartalmazó formátumból való kiszabadítást jelent (pl. word vagy pdf dokumentumokból a szöveges információ kinyerése) ...és felügyelt módszert szeretnénk használni Annotálás == adatok felcímkézése különböző szempontok szerint
- 12. Annotált korpuszok Felügyelt módszerekhezbetanításra sokszor elérhetőek annotált korpuszok
- 13. Tisztítás A bag-of-words módszerekhezáltalában plain text-re van szükségünk, azaz - minden formázástól mentes - utf-8 (vagy más szabványú) karakterkódolású szövegekre
- 14. Előfeldolgozás Plain text =>csak karakterek (betűk, esetleg számok, emojik) Nyelvi feldolgozás - tokenizálás (tokenekre bontás) - kisbetűsre alakítás, írásjelek törlése - stemmelés (tövezés), lemmatizálás (szótári tő) - POS tagging (szófaj meghatározása) Szűrés - stopszavak kiszűrése (lista alapján) - szófajok szerinti szűrés - egyedi szempontok alapján további szűrés
- 15. Bővebben Pustejovski - Stubbs:Natural Language Annotation for Machine Learning Mitchell: Web Scraping with Python
- 16.
- 17. A korpusz 600 magyarTwitter-felhasználó több mint 30 ezer csiripjét gyűjtöttük le a Twitter API-n keresztül 4000 tweetet véletlenszerűen kiválasztottuk és polaritásra annotáltuk A szövegeket magyarlánc használatával dolgoztuk fel (lemmatálás, szófaji szűrés)
- 18. Eszközök Szentimentszótár: pozitív ésnegatív szavak listája. Saját gyűjtés, kutatási célra szabadon használható Emojiszótár: a magyar tweetekben előforduló emojikat kezelő szótár, a könnyebb kezelhetőség érdekében mindegyiket átváltja egy karaktersorra pl. :)) és :))))))) “sokMosoly” lesz
- 19. Ha érdekel adolog Kereső Világ http://kereses.blog.hu/ NLP meetup http://www.meetup.com/Hungarian-nlp/
- 20.