2ch

第15回データマイニング+WEB ＠東京

2chのイカ娘スレッドを
時系列分析してみた

@gepuro

自己紹介
早川　敦士
電気通信大学
システム工学科三年

テキストマイニング
データマイニング
興味
統計学
品質管理

ブログ
http://d.hatena.ne.jp/gepuro/
自己紹介
Twitter
@gepuro

目次
● ２cｈのスレッドからデータ取得とパース
● 自然言語を数値化する
● Rを使って、分析する。
● スレッドの盛り上がり具合いを見る
● 相互相関関数でみてみる
● 主成分分析でみてみる

2chのスレッド
から
データの
取得とパース

イカ娘のスレッドから
データを取得

2010/3/26 ~
2011/10/18のレス

２ちゃんねる過去ログDAT変換
http://app.xrea.jp/dat/
を利用して、過去ログをhtmlで
入手しました

htmlはこんな感じ
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Shift_JIS">
<base href="http://kamome.2ch.net/study/">
<title>TokyoWebmining　part15</title>
…
<dt>2 ：<a href="mailto:sage">名無しさん</a>：2011/11/06(日) 01:23:45.67
ID:nJVDPiU9O<dd> TokyoWebmining楽しみだなあ。 遅れないようにしないと
 
<dt>3 ：<a href="mailto:sage">名無しさん</a>：2011/10/06(木) 21:33:40.79
ID:xJNKLfU4R dd> <a href="../test/read.cgi/study/1234567890/2"
target="_blank">>>2</a>お待ちしております。 
...

datはこんな感じ
名無しさん<>sage<>2011/11/6(日) 01:23:45.67
ID:nJVDPiU9O <> TokyoWebmining楽しみだなあ。
 遅れないようにしないと<>
名無しさん<>sage<>2011/11/6(日) 01:24:45.67
ID:xJNKLfU4R <> <a
href="../test/read.cgi/study/1234567890/2"
target="_blank">>>2</a> お待ちしております。
<>
…

htmlを直接に利用すれば、
タイトルやレスの番号、
広告などが
記述されている。

スレッドのタイトルを
予め取得しておけば、
DATの方がパースするのが
簡単！

2ch DAT落ちスレミラー変換機 ver.12
http://mirrorhenkan.g.ribbon.to/
や
htmltodat
http://mukiyu.g.ribbon.to/
を利用すれば楽に出来そう

儀式のような
クリーニング

1.URLを取り除く
2.AAのようなものを取り除く
1.１レスに記号が含まれる割合が50%以上
2.何％の精度か確認してないが、ほぼ全て取れたみ
たい

ハウツー
3. >>2 などを取り除く
4.mecabで名詞、形容詞を取り出す
1.今回は、ipadicの辞書にある単語のみ使った
2.基本形を利用する　<　表記のぶれを少なく

ネットスラングを考慮して、未知語も利用するべきだった
かもしれない・・・

あとから、使いやすいように
2 名無しさん 2011/11/6 楽しみ遅れる
ない
3 名無しさん 2011/11/6 お待ちするお
る
…

自然言語を
数値化する

まずは、
全てのデータの
語の頻度を数えた

語が
27623種類
あった。

種類が多すぎて、
分析するのが
大変になるので、
上位１００語を
分析対象にしました。

次に、
月毎に語の頻度を数えた。

また、
それぞれの語が
月毎に
どれくらいの割合で
含まれるか調べた。

Rを使って、
分析する。

スレッドの
盛り上がり具合いを
見てみる

テンションが上がると
語の出現頻度が
変わるのでは？

こんな記事を
見つけた

どうしてこんな事に？

『侵略！イカ娘』セーブオンオリジナルくじ、7月18日
（海の日）より発売！
http://jin115.com/archives/51793457.html

景品を見る限りでは、可愛かったのに・・・
なぜ？

相互相関関数を
見てみる

相互相関関数は、ふたつの信号、
配列(ベクトル)の類似性を確認するために使われる。

相関と略されることがあり、
相関係数と似ているために混同することがある。

Wikipedia 相互相関関数より

離散な時は、こんな式で求める。

試しに、
「イカ」と「可愛い」で
求めてみる。

頻度情報で見ると、
ほとんどの語と語で
相互相関が
あると出てきてしまう。
↓
頻度の分布が似ている。

頻度ではなく、
相対度数を
見れば良いのでは？

相互相関が0.8以上or-0.8以下
（lagが-1〜1で,一部抜粋）
● ネタ & キャラ ● 差 & 違い
● 作品 & 声 ● 発売 & 年月日
● 絵&化 ● 反省 & 点
● 日 & 発売 ● 特典 & 年月日
● 平成 & 年月日
● 特典 & 発売
● チャンピオン & 漫画
● 原作 & 発売
● 漫画 & チャンピオン
● 原作 & 特典
● 悪い & 違い
● 悪い & 反省
● 発売 & 原作
● 違い & 反省 ● イカ & 人
● 差 & 悪い ● 原作 & 特典

主成分分析を
してみる

PC1 PC2 PC3
Standard 603.34 237.65 65.25
deviation 0 7 5

Proportion of 0.855 0.133 0.008
Variance 81

Cumulative 0.0.855 0.987 0.996
Proportion

２期放送や
ミニイカ娘の回が
強く現れている

相対度数を
使ってみると・・・

PC1 PC2 PC3
Standard 0.0525 0.0345 0.017
deviation 3

Proportion of 0.5507 0.2374 0.060
Variance 1

Cumulative 0.5507 0.7881 0.848
Proportion 2

第1主成分では、
オリジナルくじの月が
主成分得点が高い。

第2主成分では、
月を経るごとに
評価が下がってる？

標準化もやってみると・・・

PC1 PC2 PC3 PC4
Standard 4.971 4.603 3.420 3.088
deviation 9

Proporti 0.247 0.212 0.117 0.095
on of 4
Variance
Cumulati 0.247 0.459 0.576 0.671
ve 3
Proporti
on

累積寄与率も低いし、
もう少し見てみよう

２chのスレッドを
時系列に
分析をしてみると、
感想
それぞれの月の特徴を
掴む事が出来た。

参考

JIN'S PAGE
http://mjin.doshisha.ac.jp/R/

ご清聴
ありがとうございました。

2ch

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (10)

More from Atsushi Hayakawa

More from Atsushi Hayakawa (20)

Recently uploaded

Recently uploaded (15)

2ch