A CEU MicroData kutatócsoport ebédjén tartott előadásom diái.

1. NLP és
termékfejlesztés
VARJÚ ZOLTÁN, PRECOGNOX
2014.11.18. @ CEU MICRODATA

2. Mi vár
ránk?
• Hírelemző
• Rapid prototyping
• Hogyan dolgozunk mi
• Python és NLTK
• Hogyan szeretnénk
majd dolgozni a
jövőben

3. Hírelemző

4. A projektről
 Belső projekt
 Gyakornokok dolgoznak rajta (Kulcsár Ádám,
Fodor Mánuel)
 Szakdolgozati téma és saját játszótér
 (Automatikus) tartalomelemzés
 Korpusznyelvészet (keywords, kollokációk,
konkordanicák, stb.)
 R-index és nowcasting irodalom ihlette rendszer

5. Ihlet
Google Correlate

6. Szemantika

7. Célok
 Korpusznyelvészet == szógyakorisági vizsgálatok
 Tartalomelemzés == szótárak használata
 Szentiment- és emócióelemzés == szótárak használata
 Predikció
 Szemantikus technológiák
 Faceted search
 Semantic search
 Szótárak automatikus kiegészítése

8. Article Extractor
 boilerpipe

9. OpenNLP

10. UIMA

11. Lucene/Solr

12. Apache Stanbol

13. Rapid prototyping

14. Rapid
prototyping
• Gyorsan valami
használhatót
élesben
• A prototípus
maga a termék
nulladik verziója

15. Miért?
 A csapat online kommunikál
 Budapest, Kaposvár, Hódmezővásárhely,
Szikszó között nehéz megoldani a
folyamatos élő kapcsolatokat
 „kézzel fogható” dologról beszéljünk
 „olcsón” tudjunk hibázni

16. Rapid prototyping és K+F
Prototípus ==
Specifikáció
Működő prototípus ==
tesztesetek a „rendes”
terméknek

17. Hogyan dolgozunk?
1) Adatok
Áltlában Python segítségével hozzuk „emészthető” formára és/vagy gyűjtjük be
2) Felfedezés
Milyen módszerek jöhetnek szóba?
R és Python segítségével gyors próba, tipikus „spaghetti code”
3) Prototípus
Egy, vagy több működő módszer rendesebb implementálása
A lehető legtöbb általunk használt eszközzel szeretjük megépíteni

18. Python és prototyping

19. Miért Python?
 Futtatható pszeudo-kód
 Könnyen megtanulják a kutatók, tudják olvasni a fejlesztők
 Wraper-ek a legtöbb általunk használt eszközökhöz
(boilerpipe, Solr, Weka)
 SciPy
 scikit-learn
 pandas
 NLTK
 Hy

20. Toby Segaran
Programming Collective
Intelligence
Programming the Semantic
Web

21. NLTK
Natural Language Toolkit
 Minden benne van
 Ingyenes könyv
 Tanítási célra íródott
 Jurafsky – Martin és
Manning – Schütze
érthető vele
 Standard módon
alakítható igényeinkhez

22. Még gyorsabban!

23. A Java és a Python legjobb
része a VM!
Főnevek helyett igék, OOP helyett
funkcionális programozás
Közelebb a probléma formális
leírásához
Konceptuálisan átláthatóbb
Párhuzamos és elosztott rendszereké
a jövő

24. Clojure és Hy
 Hy – Lisp dialektus a Python VM-re
 Clojure – modern Lisp a JVM-re
 Clojure Incanter – R stílusú, funkcionális statisztikai programozási
környezet

25. Funkcionális programozás – a
jövő
 Egyszerűbb a kutatónak
 Minimalizálja a prototípus és a kész termék
elkészítése közötti időt
 Elmosódnak a prototípus és a termék határai,
szabadon alakíthatja a fejlesztő és a kutató
csapat
 Minsky – Weeks: Caml trading – experiences with
functional programming on Wall Street

26. Kérdés?
@zoltanvarju
@varjuzoli
zoltan.varju@precognox.com
http://kereses.blog.hu/