「CiNii Booksのデータをword2vecにかけてみた」（code4lib japan 2017)の補足プレゼンです。

1. 詳細手順
「CiNii Booksのデータを
word2vecにかけてみた」が
できるまで
2017年9月8日
東京大学情報システム部
前田 朗

2. はじめに
•「CiNii Booksのデータをword2vecにかけてみた」
（code4lib japan 2017)の補足プレゼンです。１年以上
前の死蔵ネタでの発表でしたが思いのほか反応が
あったので、手順も提示することにしました。
•いろいろとアレンジして試すと面白いと思います（た
とえば、日本語の分かち書きに”kakashi”を使ってみ
るなど）。チャレンジャーなかたは、ぜひお試しくださ
い。

3. Windows 10環境で
前準備する
この実験はWindows 10 のパソコンにて行いました。
Macintosh, Linuxをお使いのかたは参考程度にご覧ください。

4. 前準備 データ編１
CiNii Booksオープンデータ
•CiNii Booksは大学図書館をメインとした全国書誌データの
検索システム。オープンデータとして書誌情報を公開してい
ます。
•入手にはまず以下にアクセスし、許諾要件等を確認。
https://support.nii.ac.jp/ja/cinii/api/api_outline#cib_od
•「CiNii Books 図書・雑誌情報のRDF」をダウンロードします。
ファイル名”books.rdf”として作業フォルダに置きます。

5. 前準備 データ編2
日本語Wikipediaタイトル情報
•Wikipediaでは記事情報をオープンデータとして公開してい
ます。この実験では各記事のページタイトルだけが必要なの
で、それをダウンロードします。
•手順は次のとおりです。
1. Wikipedia記事「Wikipedia:データベースダウンロード」に
アクセス
2. 「ウィキペディア日本語版のダンプ」リンクをクリック
3. “all-titles-in-ns0.gz : 全項目のページ名一覧 (標準名前空
間)”を入手し解凍しておく

6. 前準備 アプリケーション編1
Anaconda3とgensim
•Anacond3は、機械学習系のモジュールが最初からセットに
なっているPython3実行・開発環境。以下から入手します。
https://www.anaconda.com/download/
•Anaconda3にgensimをインストールします。Windows10コマ
ンドプロンプトでのコマンドは次のとおり（※）。このgensimに
word2vecのPython3実装が含まれています。
conda install gensim
※ condaでgensimをインストールすると動作が遅いらしいが、
インストールで困ることはないはず

7. 前準備 アプリケーション編2
和布蕪(MeCab)
•和布蕪(MeCab）は定番の日本語形態素解析器です。
•以下のサイトにアクセスしWindows版を入手し、インストール
します。
http://taku910.github.io/mecab/
•インストール時には、辞書の文字コードとして”UTF8”を指定
します（デフォルトのShift-JISにはしない）

8. 前準備 アプリケーション編3
Active Perl
•最近は他のスクリプト言語の人気に押されていそうですが、
それでもメジャーなスクリプト言語（のはず）です。
•CiNii Booksのデータから、日本語書誌タイトルを抽出（後述
のPerlスクリプトを実行）するために使用しました。Perlを使っ
たのは、自分が使い慣れているだけの理由で、他のスクリプ
ト言語（Python等）でも十分です。
•Active Perlのダウンロード先はこちらです。インストーラーを
実行すれば簡単にインストールできます。
https://www.activestate.com/activeperl/downloads

9. データを加工する

10. CiNii Booksデータから日本語書
誌タイトルを抽出 (1/3)
•この実験では「日本語」形態素解析器である和布蕪で分か
ち書きをするので、英語がまじると面倒です。
•CiNii Booksオープンデータ”books.rdf”から、書誌の言語情報
を用いて、日本語書誌を特定し、そのうちのタイトル情報だけ
別ファイル” title_ja.txt”に出力します。

11. CiNii Booksデータから日本語書
誌タイトルを抽出 (2/3)
#!/usr/local/bin/perl
open (IN, "books.rdf") or die;
$/ = '</rdf:Description>';
while (my $record = <IN>) {
my $title, $lang;
($title) = $record =~ /<dc:title>(.+)<¥/dc:title>/;
($lang) = $record =~ /<dc:language>(.+)<¥/dc:language>/;
next unless $lang eq 'jpn';
print $title, "¥n";
}
以下のPerlスクリプトを”title_ja.pl”として、”books.rdf”があるフォルダに
保存します。

12. CiNii Booksデータから日本語書
誌タイトルを抽出 (3/3)
cd 作業フォルダ
perl title_ja.pl> title_ja.txt
Windows10のコマンドプロンプトで以下のコマンドを実行します。
作業フォルダは、”books.rdf”及びtitle_ja.pl“を置いたフォルダです。
コマンドの実行が完了したら、”title_ja.txt”をエディタで開き、
ただしく日本語書誌タイトルが出力されていることを確認してください。

13. 関連語提示の実験をし
てみる（和布蕪デフォル
ト辞書）
まず最初はシンプルに和布蕪のデフォルト辞書で処理してみ
ます。後述の結果をみればわかりますが、学術用語への対
応をすべきことがわかります。

14. 和布蕪で日本語書誌タイトルを
分かち書き
cd 作業フォルダ
mecab -Owakati title_ja.txt -o data.txt
Windows10のコマンドプロンプトで以下のコマンドを実行します。
作業フォルダは、“title_ja.txt“を置いたフォルダです。
コマンドの実行が完了したら、”data.txt”をエディタで開き、
ただしく日本語書誌タイトルが分かち書きされていることを確認してください。

15. word2vecで学習させる
from gensim.models import word2vec
data = word2vec.Text8Corpus('data.txt')
model = word2vec.Word2Vec(data, size=200)
model.save('data_model')
Windows10のコマンドプロンプトで、作業フォルダから
iPython (jupyter notebookでもよい）を起動。
次のPythonコードを実行します。
これで”data.txt”を学習データとした”dat_model”という
word2vec学習モデルが作業フォルダに保存されます。
モデル作成には処理時間がかかりますが、このように保存しておけば、
またすぐに呼び出して使うことができるようになります。

16. 学習したモデルの利用
from gensim.models import word2vec
model = word2vec.Word2Vec.load("data_model")
Windows10のコマンドプロンプトで、作業フォルダから
iPython (jupyter notebookでもよい）を起動。
次のPythonコードを実行します。

17. 実際に使ってみる1
out=model.most_similar(positive=['経済'])
print (out)
前のスライドにあるように学習済みモデルをmodelとして呼び出した後で、
次のようにPytonコードを入力します。
”positive=“はリストを引数としてとりますが、以下の例では「経済」の１語
だけを指定し、その関連語を結果として返すようにしています。
[('景気', 0.5740719437599182),
('財政', 0.5322749614715576),
('EU', 0.5315156579017639),
('通貨', 0.526073694229126),
('經濟', 0.5150821208953857),
('インフレーション', 0.508395791053772),
('均衡', 0.5074090361595154),
('政治', 0.5066224336624146),
('グローバリゼーション', 0.5015051960945129),
('中東', 0.4902086853981018)]
結果出力は次のとおりです。

18. 実際に使ってみる2
out=model.most_similar(positive=['マクロ経済'])
今度は”positive=“に「マクロ経済」1語を指定してみます。
学術分野向けであれば、これくらいは処理してほしいところですが…
KeyError: "word 'マクロ経済' not in vocabulary"
次のとおりエラーになってしまいます。これは和布蕪の分かち書きが
デフォルトでは形態素（語の意味をもつ最小単位）で行われてしまい、
「マクロ経済」という複合語が用語として切り出されないためです。

19. 関連語提示の実験をし
てみる（和布蕪辞書に
Wikipedia記事タイトル
追加）
和布蕪のデフォルト辞書では学術用語対応に難があること
がわかりました。その対策として、和布蕪辞書にWikipedia記
事タイトルを追加します。

20. Wikipedia記事タイトルで
学術用語対策をしてみる
•先の例でわかるとおり、和布蕪の辞書をデフォルトの
まま使うと、学術分野向けの関連語提示には難しいこ
とがわかりました。
•そこで、学術用語を和布蕪で切り出せるようにします。
Wikipediaの記事タイトルに学術用語をそれなりに含む
ため、これを和布蕪の分かち書きに使用します。

21. Wikipedia記事タイトルを扱えるよ
うにする
•Wikipedia記事タイトルを和布蕪辞書用に形式変換します。分か
ち書きに使うだけの辞書登録なので、以下のようなパラメータで
つくれば十分です。方法はなんでもよいです。ただし、utf8にして
ください。
[記事タイトル],1285,1285,10,名詞,一般,*,*,*,*,ダミー,ダミー,ダミー
•上記のデータを和布蕪の辞書設定ファイルに追記します。辞書
設定ファイルは、和布蕪インストールディレクトリ
（C:¥MeCab¥dic¥ipadic）にある”noun.txv”に対して行いました。
•Windowsのスタートメニューから、「MeCab」→「recompile utf8
dictianary」を実行すると設定に基づき辞書が再構築されます。

22. 和布蕪で日本語書誌タイトルを
分かち書き
cd 作業フォルダ
mecab -Owakati title_ja.txt -o data_swiki.txt
Windows10のコマンドプロンプトで以下のコマンドを実行します。
作業フォルダは、“title_ja.txt“を置いたフォルダです。
コマンドの実行が完了したら、”data-wiki.txt”をエディタで開き、
ただしく日本語書誌タイトルが[Wikipedia記事タイトル]を含め、
分かち書きされていることを確認してください。

23. word2vecで学習させる
from gensim.models import word2vec
data = word2vec.Text8Corpus('data_wiki.txt')
model = word2vec.Word2Vec(data, size=200)
model.save('data-wiki_model')
Windows10のコマンドプロンプトで、作業フォルダから
iPython (jupyter notebookでもよい）を起動。
次のPythonコードを実行します。
これで”data_wiki.txt”を学習データとした”data-wiki_model”という
word2vec学習モデルが作業フォルダに保存されます。

24. 学習したモデルの利用
from gensim.models import word2vec
model = word2vec.Word2Vec.load("data-wiki_model")
Windows10のコマンドプロンプトで、作業フォルダから
iPython (jupyter notebookでもよい）を起動。
次のPythonコードを実行します。

25. 実際に使ってみる1
out=model.most_similar(positive=['マクロ経済'])
print (out)
前のスライドにあるように学習済みモデルをmodelとして呼び出した後で、
次のようにPytonコードを入力します。
和布蕪のデフォルト辞書ではエラーになりましたが、今度は動作します。
[('経済成長', 0.7199678421020508),
('景気循環', 0.685820460319519),
('財政政策', 0.6840935349464417),
('経済政策', 0.6767421364784241),
('為替レート', 0.675705075263977),
('ミクロ経済', 0.6752307415008545),
('金融政策', 0.6724971532821655),
('金融市場', 0.6627380847930908),
('経済発展', 0.6622682809829712),
('国際収支', 0.6576483249664307)]
結果出力は次のとおりです。

26. 実際に使ってみる2
model.most_similar(positive=['マクロ', '経済'])
print (out)
複数の語（「マクロ」と「経済」を指定した例です。
１語で「マクロ経済」とするのとは、また別の結果がでます。
[('マクロ経済', 0.7289412021636963),
('ミクロ', 0.6348955035209656),
('景気循環', 0.6246110796928406),
('経済政策', 0.6239941120147705),
('景気', 0.6201827526092529),
('計量', 0.6052436232566833),
('世界経済', 0.6052300930023193),
('国際経済', 0.5985947847366333),
('国民所得', 0.5958220958709717),
('財政政策', 0.5947003364562988)]
結果出力は次のとおりです。

27. 実際に使ってみる3
model.most_similar(positive=['マクロ経済'], negative=['経済'])
print (out)
新たなパラメタ”negative=“を試してみます。
この”negative=“を指定すると、概念の引き算ができてしまいます。
word2vecの機能の中でも面白いところです。
[('成長理論', 0.3808968961238861),
('為替レート', 0.3746410012245178),
('コンドラチェフ', 0.36990106105804443),
('不安定性', 0.3621586561203003),
('デマンド', 0.35552382469177246),
('プライマー', 0.35310983657836914),
('ハーモナイゼーション', 0.35029780864715576),
('ミクロ経済', 0.3483123779296875),
('RDBMS', 0.34823077917099),
('シュミレーション', 0.34626758098602295)]
結果出力は次のとおりです。

28. Let‘s Chalenge!