Download to read offline
![クリーニング用のスクリプト
import csv
import re
#TW本文で入ってしまいがちな改行やカラムの分割をクリーニングします。
with open("test_akb.csv","rb") as infile , open("outfile.csv","wb") as outfile:
reader = csv.reader(infile)
writer = csv.writer(outfile)
#つぶやき部分に出現する分割されたカラムを結合し
#正規表現でアルファベットと数字以外にマッチしたら
#本来先頭のカラムに有るべきtwアカウントではないとざっくり処理
#本当はラインのカラム数でフィルターしたが良いのだけど（実装方法が…）
pat = re.compile("^[a-zA-Z0-9]")
for line in reader:
item = line[0]
if pat.match(item):
newline = line[:4] +['-'.join(line[4:])]
writer.writerow(newline)](https://image.slidesharecdn.com/shizuokapy3oecnlp-131115210229-phpapp01/85/Shizuokapy-3-oec_nlp-7-320.jpg)
![ggplot for python でつぶやき数のプロット
# -*- coding: utf-8 -*import pandas as pd #pandas!
import numpy as np
import datetime as dt
import csv
from pandas import DataFrame, Series
from ggplot import *
path = 'outfile.csv' #クリーニング済のCSV
df = pd.read_csv(path,skiprows=1,names=['user','userid','date','location','txt'])
tw = pd.DataFrame(df, columns = ['date'])
tw['date'] = pd.to_datetime(tw['date'])
tw['date'] = tw['date'].apply(lambda x: x.date())
tw['tws'] = 1
tc = tw.groupby(['date']).count()
#ggplot for pythonはaes_string未対応でindexの値をそのまま利用できない？
tc['date'] = tc.index
gp = ggplot(aes(x="date",y="tws"),data=tc)
print(gp + geom_line() + scale_x_date(format = "%b-%Y") +xlab("")+ylab("Daily tws"))
plt.show(1)](https://image.slidesharecdn.com/shizuokapy3oecnlp-131115210229-phpapp01/85/Shizuokapy-3-oec_nlp-9-320.jpg)
![単語の出現頻度の分布
#データフレームからTW本文のみ書き出し平文コーパスとして出力しておきます
tws = pd.DataFrame(df, columns = ['txt'])
tws.to_csv('akb482.csv', sep='t', header=False, index=False,
encoding='utf-8')
NLTK（Natural Language Toolkit - 自然言語ツールキット）
を使って、以後テキストを自然言語処理していきます。
# -*- coding: utf-8 -*import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import nltk
from nltk.corpus.reader import *
from nltk.corpus.reader.util import *
from nltk.text import Text](https://image.slidesharecdn.com/shizuokapy3oecnlp-131115210229-phpapp01/85/Shizuokapy-3-oec_nlp-11-320.jpg)
![平文コーパスからトークン化
#ひらがな/漢字のようにセンテンスの語種から単語に分割
jp_sent_tokenizer = nltk.RegexpTokenizer(u'[^ 「」！？。]*[！？。]')
jp_chartype_tokenizer = nltk.RegexpTokenizer(u'([a-z]+¦[ぁ-んー]+¦[ァ-ンー]+¦
[u4e00-u9FFF]+¦[^ぁ-んァ-ンu4e00-u9FFF]+)')
corpus = PlaintextCorpusReader("", r'akb48.txt',
encoding='utf-8',
para_block_reader=read_line_block,
sent_tokenizer=jp_sent_tokenizer,
word_tokenizer=jp_chartype_tokenizer)
stopwords = nltk.corpus.stopwords.words('english')
symbols = ["'", '"', '`', '.', ',', '-', '!', '?', ':', ';', '(',
')','。','、','「','」','！','-',' ','【','】','。-',';',':','#','[',']']
#単語の出現数をカウントしてみる
text = nltk.Text(corpus.words())
freq = nltk.FreqDist(text)
print "n".join("%st%d" % (w,f) for w,f in freq.items()[:50] if w not in symbols)
#分布図の作図
fdist = nltk.FreqDist(w.lower() for w in text if w not in stopwords + symbols)
fdist.plot(50, cumulative=True)](https://image.slidesharecdn.com/shizuokapy3oecnlp-131115210229-phpapp01/85/Shizuokapy-3-oec_nlp-12-320.jpg)
![MeCabのChaSen形式データからトークン化
#ひらがな/漢字のようにセンテンスの語種から単語に分割
ngword = [u"'",u'"',u'クッキー',u'恋する',u'フォーチュ
ン',u'://',u'co',u'Ver',u'48',u'10',u'2013']
jeita = ChasenCorpusReader('', r'result.txt', encoding='utf-8')
corpus = nltk.Text(jeita.words())
clean = []
for w in corpus:
if not w in ngword:
clean.append(w)
tl = []
for w in clean:
if len(w) > 1:
tl.append(w)
#単語の出現数をカウントしてみる
freq = nltk.FreqDist(tl)
print "n".join("%st%d" % (w,f) for w,f in freq.items()[:50] if not w in ngword)
#分布図の作図
fdist = nltk.FreqDist(w.lower() for w in tl)
fdist.plot(50, cumulative=True)](https://image.slidesharecdn.com/shizuokapy3oecnlp-131115210229-phpapp01/85/Shizuokapy-3-oec_nlp-15-320.jpg)
![単語の出現数のプロット
path = 'outfile.csv'
df = pd.read_csv(path,skiprows=1,names=['user','userid','date','location','txt'])
w = pd.DataFrame(df, columns = ['date','txt'])
w['date'] = pd.to_datetime(w['date'])
words = ['http','握手','公式','youtube','全国','価格','staff']
tw = ['word0','word1','word2','word3','word4','word5','word6']
#wordsの値が'txt'にあるときword0 word4に1を加える
for a in range(7):
w[tw[a]] = 0
for (i,j) in enumerate(w['txt']):
if words[a] in j:
w[tw[a]][i] = 1
w = w.drop('txt',1)
w.index= w['date']
wc = w.resample('D', how='sum') #日ごとの集計
wc['date'] = wc.index
wc_lng =
pd.melt(wc[['date','word0','word1','word2','word3','word4','word5','word6']],id_vars=['date'])
gp = ggplot(aes(x="date",y="value", colour='variable'),data=wc_lng)
print(gp + geom_line() + scale_x_date(format = "%b-%Y") +xlab("")+ylab(""))
plt.show(1)](https://image.slidesharecdn.com/shizuokapy3oecnlp-131115210229-phpapp01/85/Shizuokapy-3-oec_nlp-17-320.jpg)
![つぶやき数と重ねて単語頻度をプロットしてみます
w = w.drop('txt',1)
w.index= w['date']
w['tweet'] = 1 #<追加
wc = w.resample('D', how='sum')
wc['date'] = wc.index
# tweet の項目追加
wc_lng = pd.melt(wc[['date','tweet','word0','word1','word2','word3','word4',
'word5','word6']],id_vars=['date'])
gp = ggplot(aes(x="date",y="value", colour='variable'),data=wc_lng)
print(gp + geom_line() + scale_x_date(format = "%b-%Y") +xlab("")+ylab(""))
plt.show(1)](https://image.slidesharecdn.com/shizuokapy3oecnlp-131115210229-phpapp01/85/Shizuokapy-3-oec_nlp-19-320.jpg)
Shizuokapy 3 oec_nlp
- 1.
- 2. 自己紹介 ♪ オーイシ（@oec014） ♪ webサービス、電子書籍の企画・デザインなど ♪ソーシャル音楽ランキングサイトの運営 「BeatCaster.net」は… ソーシャルデータを利用したメディアの構築や コンテンツ消費に結びつくデータ（分析）の発見 などがテーマの実験的なサービスです。
- 3.
- 4.
- 5.
- 6. データはtwitterに2013/9/17 10/11の２５日間に つぶやかれた「恋するフォーチュンクッキー」を含む つぶやきデータ約49,000件。 期間については超適当。 まずはつぶやきの数をggplot forpythonで可視化で きるようにデータをクリーニングしてみます。
- 7. クリーニング用のスクリプト import csv import re #TW本文で入ってしまいがちな改行やカラムの分割をクリーニングします。 withopen("test_akb.csv","rb") as infile , open("outfile.csv","wb") as outfile: reader = csv.reader(infile) writer = csv.writer(outfile) #つぶやき部分に出現する分割されたカラムを結合し #正規表現でアルファベットと数字以外にマッチしたら #本来先頭のカラムに有るべきtwアカウントではないとざっくり処理 #本当はラインのカラム数でフィルターしたが良いのだけど（実装方法が…） pat = re.compile("^[a-zA-Z0-9]") for line in reader: item = line[0] if pat.match(item): newline = line[:4] +['-'.join(line[4:])] writer.writerow(newline)
- 8.
- 9. ggplot for pythonでつぶやき数のプロット # -*- coding: utf-8 -*import pandas as pd #pandas! import numpy as np import datetime as dt import csv from pandas import DataFrame, Series from ggplot import * path = 'outfile.csv' #クリーニング済のCSV df = pd.read_csv(path,skiprows=1,names=['user','userid','date','location','txt']) tw = pd.DataFrame(df, columns = ['date']) tw['date'] = pd.to_datetime(tw['date']) tw['date'] = tw['date'].apply(lambda x: x.date()) tw['tws'] = 1 tc = tw.groupby(['date']).count() #ggplot for pythonはaes_string未対応でindexの値をそのまま利用できない？ tc['date'] = tc.index gp = ggplot(aes(x="date",y="tws"),data=tc) print(gp + geom_line() + scale_x_date(format = "%b-%Y") +xlab("")+ylab("Daily tws")) plt.show(1)
- 10.
- 11. 単語の出現頻度の分布 #データフレームからTW本文のみ書き出し平文コーパスとして出力しておきます tws = pd.DataFrame(df,columns = ['txt']) tws.to_csv('akb482.csv', sep='t', header=False, index=False, encoding='utf-8') NLTK（Natural Language Toolkit - 自然言語ツールキット） を使って、以後テキストを自然言語処理していきます。 # -*- coding: utf-8 -*import sys reload(sys) sys.setdefaultencoding('utf-8') import nltk from nltk.corpus.reader import * from nltk.corpus.reader.util import * from nltk.text import Text
- 12. 平文コーパスからトークン化 #ひらがな/漢字のようにセンテンスの語種から単語に分割 jp_sent_tokenizer = nltk.RegexpTokenizer(u'[^ 「」！？。]*[！？。]') jp_chartype_tokenizer= nltk.RegexpTokenizer(u'([a-z]+¦[ぁ-んー]+¦[ァ-ンー]+¦ [u4e00-u9FFF]+¦[^ぁ-んァ-ンu4e00-u9FFF]+)') corpus = PlaintextCorpusReader("", r'akb48.txt', encoding='utf-8', para_block_reader=read_line_block, sent_tokenizer=jp_sent_tokenizer, word_tokenizer=jp_chartype_tokenizer) stopwords = nltk.corpus.stopwords.words('english') symbols = ["'", '"', '`', '.', ',', '-', '!', '?', ':', ';', '(', ')','。','、','「','」','！','-',' ','【','】','。-',';',':','#','[',']'] #単語の出現数をカウントしてみる text = nltk.Text(corpus.words()) freq = nltk.FreqDist(text) print "n".join("%st%d" % (w,f) for w,f in freq.items()[:50] if w not in symbols) #分布図の作図 fdist = nltk.FreqDist(w.lower() for w in text if w not in stopwords + symbols) fdist.plot(50, cumulative=True)
- 13.
- 14. MeCabで形態素解析したタグ付きコーパスを出力 # -*- coding:utf-8 -*import sys import MeCab mecab = MeCab.Tagger('-Ochasen') f = open('akb48s1.txt') sent = f.read() result = mecab.parse(sent) fs = open('result1.txt', 'w') fs.writelines(result) fs.close()
- 15. MeCabのChaSen形式データからトークン化 #ひらがな/漢字のようにセンテンスの語種から単語に分割 ngword = [u"'",u'"',u'クッキー',u'恋する',u'フォーチュ ン',u'://',u'co',u'Ver',u'48',u'10',u'2013'] jeita= ChasenCorpusReader('', r'result.txt', encoding='utf-8') corpus = nltk.Text(jeita.words()) clean = [] for w in corpus: if not w in ngword: clean.append(w) tl = [] for w in clean: if len(w) > 1: tl.append(w) #単語の出現数をカウントしてみる freq = nltk.FreqDist(tl) print "n".join("%st%d" % (w,f) for w,f in freq.items()[:50] if not w in ngword) #分布図の作図 fdist = nltk.FreqDist(w.lower() for w in tl) fdist.plot(50, cumulative=True)
- 16.
- 17. 単語の出現数のプロット path = 'outfile.csv' df= pd.read_csv(path,skiprows=1,names=['user','userid','date','location','txt']) w = pd.DataFrame(df, columns = ['date','txt']) w['date'] = pd.to_datetime(w['date']) words = ['http','握手','公式','youtube','全国','価格','staff'] tw = ['word0','word1','word2','word3','word4','word5','word6'] #wordsの値が'txt'にあるときword0 word4に1を加える for a in range(7): w[tw[a]] = 0 for (i,j) in enumerate(w['txt']): if words[a] in j: w[tw[a]][i] = 1 w = w.drop('txt',1) w.index= w['date'] wc = w.resample('D', how='sum') #日ごとの集計 wc['date'] = wc.index wc_lng = pd.melt(wc[['date','word0','word1','word2','word3','word4','word5','word6']],id_vars=['date']) gp = ggplot(aes(x="date",y="value", colour='variable'),data=wc_lng) print(gp + geom_line() + scale_x_date(format = "%b-%Y") +xlab("")+ylab("")) plt.show(1)
- 18.
- 19. つぶやき数と重ねて単語頻度をプロットしてみます w = w.drop('txt',1) w.index=w['date'] w['tweet'] = 1 #<追加 wc = w.resample('D', how='sum') wc['date'] = wc.index # tweet の項目追加 wc_lng = pd.melt(wc[['date','tweet','word0','word1','word2','word3','word4', 'word5','word6']],id_vars=['date']) gp = ggplot(aes(x="date",y="value", colour='variable'),data=wc_lng) print(gp + geom_line() + scale_x_date(format = "%b-%Y") +xlab("")+ylab("")) plt.show(1)
- 20.
- 21.
- 22.