ぁ単語が行なっている処理内容のおおざっぱな紹介です(;´Д`)

1. Revision: 2014/04/04
@kuhaku
@sw_words
ぁ単語のお仕事
-単語カウント編-

2. 1. ログ取得
2. 単語カウント
3. 単語マップ生成
1. 単語共起分布
2. コサイン類似度算出
3. MDSで座標決定
4. Flickr投稿
4. Twitter投稿
ぁ単語のお仕事-­‐単語カウント編-­‐ 2

3. @上海過去ログ検索CGIから1時間分のログ
を取得
ぁ単語のお仕事-­‐単語カウント編-­‐ 3
http://
qwerty.on.arena.ne.
jp/cgi-bin/bbs.cgi?
chk20121228.dat=c
hecked&kwd=&s1=
0&e1=0&s2=1&e2=
0&ao=a&tt=a&alp=c
hecked&btn=check
ed&g=checked&m=
g&k=
%82%A0&sv=on

4. 単語カウント
MeCab(形態素解析器)で投稿から名詞を抽出
ぁ単語のお仕事-­‐単語カウント編-­‐ 4
＞
2014/04/04
(金)
20:51:13
◆
▼
>
魔女まんこｶﾏﾝﾍﾞｰﾙ
ベベとマミさんと3人で暮らしたい(;´Д`)
参考：2014/04/04(金)20時50分46秒
{魔女:1,
まんこ:1,
カマンベール:1,ベベ:1,マミ:1}

5. 共起する単語の分布を各単語ごとにつくる
単語マップ生成(1)
単語共起分布
ぁ単語のお仕事-­‐単語カウント編-­‐ 5
{魔女:1,
まんこ:1,
カマンベール:1,ベベ:1,マミ:1}
魔女
=
{魔女:1,マンコ:1,カマンベール:1,ベベ:1,マミ:1}
マンコ
=
{魔女:1,マンコ:1,カマンベール:1,ベベ:1,マミ:1}
カマンベール
=
{魔女:1,マンコ:1,カマンベール:1,ベベ:1,マミ:1}
ベベ
=
{魔女:1,マンコ:1,カマンベール:1,ベベ:1,マミ:1}
マミ
=
{魔女:1,マンコ:1,カマンベール:1,ベベ:1,マミ:1}

6. 単語マップ生成(2)
距離算出
ぁ単語のお仕事-­‐単語カウント編-­‐ 6
単語分布同士のコサイン距離を求める
ベベ
=
{魔女:1,マンコ:1,カマンベール:1,ベベ:1,マミ:1}
マミ
=
{魔女:1,マンコ:1,カマンベール:1,ベベ:1,マミ:3,尻:2}
愛宕
=
{艦これ:1,尻:1}
・
・
・
ベベ マミ 愛宕
ベベ 0 0．12 1
マミ 0．12 0 0.72
愛宕 1 0．72 0
0に近いほど関係が強い

7. 単語マップ生成(3)
座標決定
単語同士の距離を元に多次元尺度構成法
(MDS)で二次元空間に単語を配置
ぁ単語のお仕事-­‐単語カウント編-­‐ 7
固有値, 固有ベクトルを求めて対角化して

8. ぁ単語のお仕事-­‐単語カウント編-­‐ 8
単語マップ生成(4)
Flickr投稿
単語マップ画像をFlickrに投稿

9. Twitter投稿
Twitterにカウント結果と単語マップのURL
を投稿
ぁ単語のお仕事-­‐単語カウント編-­‐ 9

10. ぁ単語のお仕事-­‐単語カウント編-­‐ 10
1.
ログ取得 2.
カウント
cos(θ)
3.
類似度計算 4.単語マップ生成
と
Flickr投稿
5.
Twi3er投稿
これらのことを1分以内に完了させます！

11. Related
URL
• あやしいわーるど@qwerty
– h3p://qwerty.on.arena.ne.jp/
• MeCab
– h3p://mecab.googlecode.com/svn/trunk/mecab/doc/
index.html
• コサイン類似度
– h3p://www.cse.kyoto-­‐su.ac.jp/~g0846020/keywords/
cosinSimilarity.html
• MulRdimensional
scaling
– h3p://en.wikipedia.org/wiki/MulRdimensional_scaling
• Flickr
– h3ps://www.flickr.com/
• Twi3er
– h3ps://twi3er.com/
ぁ単語のお仕事-­‐単語カウント編-­‐ 11