Web Science - Day 3. A seminar at the University of Latvia.

1. Web Science3. nodarbība29.09.2011

2. Jaunumi

3. VideoO’Reilly Strata conferenceData Bootcamp (5 stundas video)http://shop.oreilly.com/product/0636920018506.doMeaningful Insights from Raw Metrics (Virtual worlds, …)http://shop.oreilly.com/product/0636920019176.doO’Reilly OSCon – data sessions

4. Kā gāja ar 500 tweetu savakāšanu

5. 500 tweetiKo izmantoji?

6. Kādi rezultāti?

7. Kādas problēmas?

8. Pārdomas?Jaunais datu vākšanas uzdevumstwitter streaming api

9. Streaming APIhttps://dev.twitter.com/docs/streaming-api

10. Uzdevumsizvēlētiesvienu no Streaming API funkcijām:

11. datuvākšanaipēcnorādītajiematslēgasvārdiem

12. datuvākšanaipēcizvēlētāmģeogrāfiskajāmkoordinātēm

13. savākt 1000 Twitter ziņas

14. + analizēt un/vaivizualizēttāsIdejas vizualizācijaiTweeti uz kartes, izmantojot Google maps API, vai kādu citu servisuhttp://fmatlas.comCSV file:"56.570, 24.600", My cool tweet from here, by me"56.967, 23.567", I'm finally here, by you

15. PythonIzmantotspiemērosar Web Science saistītosresursos:“Mining the Social Web”“Natural Language Processing with NLTK”O’Reilly Strata conf – “Data Bootcamp”ViegliapgūstamavalodaTīra, vieglilasāmasintakseDive Into Python: http://diveintopython.org/toc/index.html

16. PythonPlašsbibliotēkuatbalstsNLTK, SciPy, networkx, WebKitiPythonLietojumiapmācībā un darbāViena no Google “oficiālajām” valodāmMIT nesenpārgājauz Python progrmmēšanasapmācībaibakalaurukursāhttp://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-189-a-gentle-introduction-to-programming-using-python-january-iap-2011/

17. ValodasizvēlePython lietojumamirdažaspriekšrocības:mēsvarampalīdzētdarbāar Pythontajāirrakstīti “Mining the Social Web” piemēriVarlietotvairākasvalodas / servisusvienu – datuvākšanaicitu – datuapstrādeivaivizualizācijaiKatrasgrupasziņā

18. Grupas? Projekti?

19. NLP prezentācija

20. Web Scienceun dabīgā valoda?

21. Datu veidiNestrukturēti vai formāli vāji strukturēti datiHTML lapas (prezentācija vs. semantika)teksts, attēli, video u.c.Struktrēti datiRDB tīmekļa servissRDF/SPARQL end-pointsDBpedia, Freebase, GeoNames, OpenCyc, ...Linked Data un LOD CommunitySociālie tīkliTwitter struktūraFacebook sociālais grafs un Open Graph protokols...

22. Datu apstrādePriekšapstrādeDabīgās valodas apstrādeDatu “bagātināšana” (metadati, linked data)Analīze, vizualizācija, ...

23. PriekšapstrādeFormāti, rakstzīmju kodējumi, valodas noteikšanaPotenciāli derīgā satura (satura bloku) atfiltrēšana (web scraping kontekstā)Tvītu un komentāru normalizācija“Tokenizācija” jeb teksta sadalīšana vārdos (vārdlietojumos)Kas ir vārds?Identitāšu anonimizācija (MD5)...

24. UzdevumsKad zināma datu kopa jau ir savākta...Tokenizācija: “normālie” vārdi, skaitļi, citi (..), “liekie”(Sakārtots) biežumsaraksts: vārdformas un to lietojumu skaitsNovērojumi, secinājumi?