Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
あんちべの すべらない話~俺のツイートがこんなにウケないはずがない~
目的
twitter 渾身のネタがスルーされたり何気ない呟きがめっちゃウケたり
滑ったときの恥ずかしさマジパネェ
tweetする前にウケルかどうか予測できれば!
それ、Rなら簡単ですよ!
発表の目的Rで自分のtweetが ウケるかどうか 予測をしよう!
自己紹介●   ID:AntiBayesian●   あんちべ!とお呼び下さい●   専門:テキストマイニング、自然言語処理●   職業:某ATMが○○な銀行で金融工学研究員とか    いう胡散臭い素敵なことしてる●   自然言語処理職大絶賛募...
なんで急にLTすることに???↑今日の0時くらいの話です
分析手順1.訓練データ(正例、負例)を用意する2.訓練データから予測モデルを立てる3.自分のtweetを予測モデルに放り込んで判定
訓練データを集めよう●   正例:favstarから人気tweetを取得●   負例:twitter Streaming APIから適当にサンプリン    グ●   6月中のtweetを各々約1500件ずつチョイス●   正例にはfav、負例に...
さくさくツイートマイニングこんな感じ→
訓練データの加工               ttmの紹介●   TinyTextMiner●   テキストを形態素解析に掛け、さらに分析ツールに    投げやすいよう整形してくれるフリーソフト●   ここからDL http://mtmr.jp...
加工済みデータ●   1行目が各単語。2行目以降は、各文章から表頭    の単語が何回出現したか●   右端のTAG列がクラス。fav=正例、non=負    例、test=検証するtweet。●   要するに、testテキストがfav、non...
予測モデルを立てよう●   RandomForestを使おう!●   精度高いし汚いデータにも強い!Googleも利用!●  詳細は下記ブログを参考にhttp://d.hatena.ne.jp/hamadakoichi/20110130/
Rのコードtwit <- read.csv(file="twit.csv")library(randomForest)train.data <- twit[1:2877,]#訓練データが2877あるtest.data <- twit[2878:...
精度はどう???rf.predict <- predict(rf.model, train.data)(result <- table(train.data$TAG, rf.predict))● 緑色のセル=正しく分類● 行:予測● 列:実際2...
学習結果rf.predict <- predict(rf.model, test.data)●   2878行目のデータはfav、2879行目はnonと予測●   favと予測されたtweetはウケルのでは???
まとめ●   人気tweetを収集し、人気tweetを判別するモデル    を作る●   自分のtweetをモデルで評価して、ウケル内容だ    けtweetする●   これで広瀬香美や孫正義を超える人気ついっ    たったーになれる!
あんちべのすべらない話~俺のツイートがこんなにウケないはずがない~
Upcoming SlideShare
Loading in …5
×

あんちべのすべらない話~俺のツイートがこんなにウケないはずがない~

17,793 views

Published on

Rを用いたtwitterテキストマイニング

Published in: Technology, Business
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

あんちべのすべらない話~俺のツイートがこんなにウケないはずがない~

  1. 1. あんちべの すべらない話~俺のツイートがこんなにウケないはずがない~
  2. 2. 目的
  3. 3. twitter 渾身のネタがスルーされたり何気ない呟きがめっちゃウケたり
  4. 4. 滑ったときの恥ずかしさマジパネェ
  5. 5. tweetする前にウケルかどうか予測できれば!
  6. 6. それ、Rなら簡単ですよ!
  7. 7. 発表の目的Rで自分のtweetが ウケるかどうか 予測をしよう!
  8. 8. 自己紹介● ID:AntiBayesian● あんちべ!とお呼び下さい● 専門:テキストマイニング、自然言語処理● 職業:某ATMが○○な銀行で金融工学研究員とか いう胡散臭い素敵なことしてる● 自然言語処理職大絶賛募集中!!!!● math.empress@gmail.com
  9. 9. なんで急にLTすることに???↑今日の0時くらいの話です
  10. 10. 分析手順1.訓練データ(正例、負例)を用意する2.訓練データから予測モデルを立てる3.自分のtweetを予測モデルに放り込んで判定
  11. 11. 訓練データを集めよう● 正例:favstarから人気tweetを取得● 負例:twitter Streaming APIから適当にサンプリン グ● 6月中のtweetを各々約1500件ずつチョイス● 正例にはfav、負例にはnonタグを付ける※Tweetを取得するツール作ったよ!http://d.hatena.ne.jp/AntiBayesian/20110702
  12. 12. さくさくツイートマイニングこんな感じ→
  13. 13. 訓練データの加工 ttmの紹介● TinyTextMiner● テキストを形態素解析に掛け、さらに分析ツールに 投げやすいよう整形してくれるフリーソフト● ここからDL http://mtmr.jp/ttm/※MeCabもインストールしてね
  14. 14. 加工済みデータ● 1行目が各単語。2行目以降は、各文章から表頭 の単語が何回出現したか● 右端のTAG列がクラス。fav=正例、non=負 例、test=検証するtweet。● 要するに、testテキストがfav、nonどちらに分類さ れるか知りたい
  15. 15. 予測モデルを立てよう● RandomForestを使おう!● 精度高いし汚いデータにも強い!Googleも利用!● 詳細は下記ブログを参考にhttp://d.hatena.ne.jp/hamadakoichi/20110130/
  16. 16. Rのコードtwit <- read.csv(file="twit.csv")library(randomForest)train.data <- twit[1:2877,]#訓練データが2877あるtest.data <- twit[2878:2911,]#テストデータは33rf.model <- randomForest(TAG~., data=train.data,na.a="na.omit", ntree=10)
  17. 17. 精度はどう???rf.predict <- predict(rf.model, train.data)(result <- table(train.data$TAG, rf.predict))● 緑色のセル=正しく分類● 行:予測● 列:実際2*result[2,2] / (2*result[2,2]+result[1,2]+result[2,1])● F値:0.9019064※訓練データで高精度は当たり前。ただの目安
  18. 18. 学習結果rf.predict <- predict(rf.model, test.data)● 2878行目のデータはfav、2879行目はnonと予測● favと予測されたtweetはウケルのでは???
  19. 19. まとめ● 人気tweetを収集し、人気tweetを判別するモデル を作る● 自分のtweetをモデルで評価して、ウケル内容だ けtweetする● これで広瀬香美や孫正義を超える人気ついっ たったーになれる!

×