A novemberi R meetup diái http://www.meetup.com/Budapest-Users-of-R-Network/events/147401182/

1. Szövegbányászat
BURN Meetup, 2013. november 27.

2. Vázlat
1. Bővebben
2. Odi et amo
3. Előfeldolgozás
4. TermDocumentMatrix
5. Számoljunk szavakat
6. A szavak titkos élete

3. Kreatív kölcsönzés
•
•
•
•
Ingo Feinerer: A text mining framework in R
and its applications
Gaston Sanchez: Mining Twitter with R
Machine Learning for Hackers
Natural Language Annotation for Machine
Learning

4. Odi et amo
•
•
•
Elvileg mindent megcsinálhatunk R-ben
Elvileg!
Gyakorlatilag egyszerűbb barkácsolni

5. Alternatívák
•
•
•
•
Python NLTK - átfogó, nagyon jó
de nem annyira mint az R
OpenNLP/GATE/UIMA - robosztusabb,
gyorsabb, skálázhatóbb
de nem csak a főbb eljárásokat
implementálták

6. Magyar
•
•
•
•
•
boilerpipe - netes szövegek beszerzésére
ocamorph - szótövezésre
hunpos - POS tagging
Érdemesebb az előfeldolgozást Python-ban
végezni (mindegyikhez van wrapper)
puristák system()

7. Előfeldolgozás
library(tm)
oz <- Corpus(DirSource("OzBooks/"))
meta(oz, tag = "Author", type = "local") <c(rep("Lyman Frank Baum", 3),
rep("Ruth Plumly Thompson", 2))

8. Előfeldolgozás
# adding metadata
meta(oz, "Heading", "local") <c("The Wonderful Wizard of Oz",
"The Marvelous Land of Oz",
"Ozma of Oz",
"The Royal Book of Oz",
"Ozoplaning with the Wizard of Oz")

9. TermDocumentMatrix
# Term Doc Matrices
ozMatBaum <- TermDocumentMatrix(oz[1:3])
ozMatRoyal <- TermDocumentMatrix(oz[4])
ozMatThompson <TermDocumentMatrix(oz[5])

10. TermDocumentMatrix

11. TermDocumentMatrix
findFreqTerms(x, lowfreq = 0, highfreq = Inf)
findFreqTerms(ozMatBaum, 130)
[1] "after"
"all"
"answered" "any"
"and"
""and"

12. TermDocumentMatrix
removeSparseTerms(x, sparse)
ozMat.sparse <- removeSparseTerms(ozMat,
0.2)

13. Számoljunk szavakat! (A Twitteren)
library(ROAuth)
library(twitteR)

14. twitteR
## Twitter login
reqURL <"https://api.twitter.com/oauth/request_token"
accessURL <"http://api.twitter.com/oauth/access_token"
authURL <"http://api.twitter.com/oauth/authorize"

15. twitteR
consumerKey <- "YourConsumerKey"
consumerSecret <- "YourSecretKey"

16. twitteR
twitCred <- OAuthFactory$new(consumerKey=consumerKey,
consumerSecret=consumerSecret,
requestURL=reqURL,
accessURL=accessURL,
authURL=authURL)

17. twitteR
> twitCred$handshake()
To enable the connection, please direct your web browser to:
http://api.twitter.com/oauth/authorize?oauth_token=XXXXXjRac3X3XX4dGrC
VhXXXXXW22VycNXFb6U
When complete, record the PIN given to you and provide it here: XXXXXXX
> registerTwitterOAuth(twitCred)
[1] TRUE
•
RStudio momentán nem képes ezt kezelni!!!!

18. twitteR
tomi_tweets <- userTimeline("dajcstomi", n=500)
# tweets dataframe
tomi_df <- twListToDF(tomi_tweets)
# get the text
tomi_txt <- tomi_df$text

19. Normalizálás 1. - gsub()
# remove punctuation symbols
tomi_clean <- gsub("[[:punct:]]", "", tomi_txt)
# remove numbers
tomi_clean <- gsub("[[:digit:]]", "", tomi_clean)

20. Normalizálás 2. - tm_map()
# corpus
tomi_corpus <Corpus(VectorSource(tomi_txt))
# convert to lower case
tomi_corpus <- tm_map(tomi_corpus, tolower)

21. Normalizálás 2. - tm_map()
# remove stoprwords
tomi_corpus <- tm_map(tomi_corpus,
removeWords, c(stopwords("hungarian"),
"dajcstomi"))
# remove extra white-spaces
tomi_corpus <- tm_map(tomi_corpus,
stripWhitespace)

22. Normalizálás 2. - tm_map()
# stem document
tomi_corpus <- tm_map(tomi_corpus,
stemDocument, language="hungarian")
# term-document matrix
tdm <- TermDocumentMatrix(tomi_corpus)

23. @dajcstomi
# characters per tweet
> chars_per_tweet <- sapply(tomi_clean, nchar)
> summary(chars_per_tweet)
Min. 1st Qu. Median
Mean 3rd Qu.
Max.
0.00 50.00 92.00 82.97 118.00 138.00

24. @dajcstomi
# words per tweet
words_per_tweet <sapply(words_list, length)

25. @dajcstomi
uniq_words <sapply(words_list,
function(x) length(unique(x)))

26. @dajcstomi
# most frequent words
mfw <sort(table(unlist(words_list)),
decreasing=TRUE)
# top-20
top20 <- head(mfw, 20)

27. @dajcstomi vs webkorpusz

28. Szógyakoriság – mit mond?
rezsi_corpus <- Corpus(VectorSource(rezsi_txt))
rezsi_corpus <- tm_map(rezsi_corpus, tolower)
rezsi_corpus <- tm_map(rezsi_corpus, removeWords,
stopwords("hungarian"))
rezsi_corpus <- tm_map(rezsi_corpus, stripWhitespace)
rezsi_corpus <- tm_map(rezsi_corpus, stemDocument,
language="hungarian")
rezsi.tdm <- TermDocumentMatrix(rezsi_corpus)
rezsi.m <- as.matrix(rezsi.tdm)
rezsi.tdm2 <- removeSparseTerms(rezsi.tdm, sparse=0.95)

29. Szógyakoriság
•
•
eltérünk Zipf-től
extrém eset

30. Szógyakoriság
library(cluster)
library(FactoMineR)

31. Szófelhő
tweets <- searchTwitter("fidesz OR mszp",
n=1000, lang="hu")

32. Szófelhő
word_freqs <- sort(rowSums(m),
decreasing=TRUE)
dm <- data.frame(word=names(word_freqs),
freq=word_freqs)
wordcloud(dm$word, dm$freq,
random.order=FALSE, colors=brewer.pal(8,
"Dark2"))

33. Szófelhő

34. Összehasonlító szófelhők
# Bajnai Gordon
bg_tweets = userTimeline("Bajnai_Gordon", n=1000)
# Mesterházy Attila
ma_tweets = userTimeline("mesterhazymszp", n=1000)
# Deutsch Tamás
dt_tweets = userTimeline("dajcstomi", n=1000)
# Szanyi Tibor
st_tweets = userTimeline("szanyitibor", n=1000)
# Jávor Benedek
jb_tweets = userTimeline("javorbenedek", n=1000)

35. Comparison
comparison.cloud(tdm,
random.order=FALSE,
colors = c("#00B2FF",
"red",
"#FF0099",
"#6600CC",
"brown"),
title.size=1)

36. Commonality
commonality.cloud(tdm,
random.order=FALSE,
colors = brewer.pal(8, "Dark2"),
title.size=1)

37. Mi a baj a szófelhőkkel?
• Gyakorisági táblák, csak szebbek
• Nem mondanak el semmit egy szövegről,
normális esetben
• Több szövegről nem képesek beszélni
• Túl kell lépni rajtuk!

38. Szófelhők helyett
• Összehasonlító szófelhő
• Közös előfordulások ábrázolása
• Conway szófelhő

40. Ami kimaradt
• Dokumentum összehasonlítás
• Információkinyerés (IR) és keresés
• Korpusznyelvészet – pl. mutual information,
Google sets
• Entity extraction, relation mining
• POS tagging, stemming, szemantika

41. Take-home message
• NLP pipeline (előfeldolgozás, normalizálás,
elemzés)
• Barkácsolás (nyugodtan használd amit a
neten találsz)
• Értelmezés (a szövegbányászat sokszor
nem technikai, hanem értelmezési
probléma)

42. A szavak titkos élete
• Pennebaker: The Secret Life of Pronouns
• Miller: Spent
• Szentiment- és emócióelemzés

43. Köszönöm a figyelmet!
@zoltanvarju
Kereső Világ http://kereses.blog.hu/
zoltan.varju@precognox.com