2ch

第15回データマイニング+WEB ＠東京 2chのイカ娘スレッドを時系列分析してみた @gepuro

自己紹介

自己紹介早川　敦士電気通信大学システム工学科三年

テキストマイニングデータマイニング興味統計学品質管理

ブログhttp://d.hatena.ne.jp/gepuro/ 自己紹介 Twitter @gepuro

目次● ２cｈのスレッドからデータ取得とパース● 自然言語を数値化する● Rを使って、分析する。 ● スレッドの盛り上がり具合いを見る ● 相互相関関数でみてみる ● 主成分分析でみてみる

2chのスレッドからデータの取得とパース

イカ娘のスレッドからデータを取得 2010/3/26 ~2011/10/18のレス

２ちゃんねる過去ログDAT変換 http://app.xrea.jp/dat/を利用して、過去ログをhtmlで入手しました

HTML?DATじゃ無いの?

htmlはこんな感じ<html><head><meta http-equiv="Content-Type" content="text/html; charset=Shift_JIS"><base href="http://kamome.2ch.net/study/"><title>TokyoWebmining　part15</title>…<dt>2 ：<a href="mailto:sage">名無しさん</a>：2011/11/06(日) 01:23:45.67ID:nJVDPiU9O<dd> TokyoWebmining楽しみだなあ。 遅れないようにしないと <dt>3 ：<a href="mailto:sage">名無しさん</a>：2011/10/06(木) 21:33:40.79ID:xJNKLfU4R dd> <a href="../test/read.cgi/study/1234567890/2"target="_blank">>>2</a>お待ちしております。 ...

datはこんな感じ名無しさん<>sage<>2011/11/6(日) 01:23:45.67ID:nJVDPiU9O <> TokyoWebmining楽しみだなあ。 遅れないようにしないと<>名無しさん<>sage<>2011/11/6(日) 01:24:45.67ID:xJNKLfU4R <> <ahref="../test/read.cgi/study/1234567890/2"target="_blank">>>2</a> お待ちしております。<>…

htmlを直接に利用すれば、タイトルやレスの番号、広告などが記述されている。

スレッドのタイトルを予め取得しておけば、DATの方がパースするのが簡単！

2ch DAT落ちスレミラー変換機 ver.12 http://mirrorhenkan.g.ribbon.to/ や htmltodat http://mukiyu.g.ribbon.to/ を利用すれば楽に出来そう

儀式のようなクリーニング

1.URLを取り除く2.AAのようなものを取り除く 1.１レスに記号が含まれる割合が50%以上 2.何％の精度か確認してないが、ほぼ全て取れたみたいハウツー3. >>2 などを取り除く4.mecabで名詞、形容詞を取り出す 1.今回は、ipadicの辞書にある単語のみ使った 2.基本形を利用する　<　表記のぶれを少なくネットスラングを考慮して、未知語も利用するべきだったかもしれない・・・

あとから、使いやすいように2 名無しさん 2011/11/6 楽しみ遅れるない3 名無しさん 2011/11/6 お待ちするおる…

自然言語を数値化する

まずは、全てのデータの語の頻度を数えた

語が27623種類あった。

種類が多すぎて、分析するのが大変になるので、上位１００語を分析対象にしました。

次に、月毎に語の頻度を数えた。

また、それぞれの語が月毎にどれくらいの割合で含まれるか調べた。

Rを使って、分析する。

スレッドの盛り上がり具合いを見てみる

テンションが上がると語の出現頻度が変わるのでは？

こんな記事を見つけた

どうしてこんな事に？

『侵略！イカ娘』セーブオンオリジナルくじ、7月18日（海の日）より発売！http://jin115.com/archives/51793457.html 景品を見る限りでは、可愛かったのに・・・なぜ？

相互相関関数を見てみる

相互相関関数って？

相互相関関数は、ふたつの信号、配列(ベクトル)の類似性を確認するために使われる。相関と略されることがあり、相関係数と似ているために混同することがある。 Wikipedia 相互相関関数より

離散な時は、こんな式で求める。

試しに、「イカ」と「可愛い」で求めてみる。

頻度情報で見ると、ほとんどの語と語で相互相関があると出てきてしまう。 ↓頻度の分布が似ている。

頻度ではなく、相対度数を見れば良いのでは？

相互相関が0.8以上or-0.8以下（lagが-1〜1で,一部抜粋）● ネタ & キャラ ● 差 & 違い● 作品 & 声 ● 発売 & 年月日● 絵&化 ● 反省 & 点● 日 & 発売 ● 特典 & 年月日● 平成 & 年月日 ● 特典 & 発売● チャンピオン & 漫画 ● 原作 & 発売● 漫画 & チャンピオン ● 原作 & 特典● 悪い & 違い● 悪い & 反省 ● 発売 & 原作● 違い & 反省 ● イカ & 人● 差 & 悪い ● 原作 & 特典

主成分分析をしてみる

PC1 PC2 PC3Standard 603.34 237.65 65.25deviation 0 7 5Proportion of 0.855 0.133 0.008Variance 81Cumulative 0.0.855 0.987 0.996Proportion

２期放送やミニイカ娘の回が強く現れている

相対度数を使ってみると・・・

PC1 PC2 PC3Standard 0.0525 0.0345 0.017deviation 3Proportion of 0.5507 0.2374 0.060Variance 1Cumulative 0.5507 0.7881 0.848Proportion 2

第1主成分では、オリジナルくじの月が主成分得点が高い。第2主成分では、月を経るごとに評価が下がってる？

標準化もやってみると・・・

PC1 PC2 PC3 PC4Standard 4.971 4.603 3.420 3.088deviation 9Proporti 0.247 0.212 0.117 0.095on of 4VarianceCumulati 0.247 0.459 0.576 0.671ve 3Proportion

累積寄与率も低いし、もう少し見てみよう

２chのスレッドを時系列に分析をしてみると、感想それぞれの月の特徴を掴む事が出来た。

参考 JINS PAGEhttp://mjin.doshisha.ac.jp/R/

ご清聴ありがとうございました。

http://d.hatena.ne.jp	3900
http://a0.twimg.com	24
http://nuevospowerpoints.blogspot.com	8
http://tweetedtimes.com	4
http://mundo-powerpoints.blogspot.com	3
http://webcache.googleusercontent.com	3
http://us-w1.rockmelt.com	1
http://translate.googleusercontent.com	1

2ch

by gepuro on Nov 06, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

8 Embeds 3,944

Statistics

2ch — Presentation Transcript