「国会図書館件名標目連想検索」を「連想検索」から「自然文検索にリニューアルした話

1. 国会図書館件名標目
自然文検索
2018年9月2日
CODE4LIB JAPAN カンファレンス 2018
東京大学情報システム部 前田 朗

2. システムリニューアルの話です
「国会図書館件名標目連想検索」を「国
会図書館件名標目自然文検索」にリ
ニューアル(2017年12月)
「連想検索」が「自然文検索」に？
性能や機能の向上ではなく、サービスを
維持したという話

3. 国会図書館件名標目自然文検索
自然文を入力すると、
国立国会図書館件名
標目の候補を提示
「図書系職員のため
のアプリケーション開
発講習会」で公開
※ 左図の実行例は、Wikipediaの
「自然言語処理」の記事を
かけたものhttps://mbc.dl.itc.u-tokyo.ac.jp/NDLSH_assoc/
入力
結果

4. 「図書系職員のためのアプリケーショ
ン開発講習会」サーバーリプレイス
連想検索エンジン”GETA”インストールに行き詰まり
GETAを使って実装していたアプリをどうするか
「専門用語コレ・モカモ」（学術分野別の関連語提示）は、
word2vecで代替
word2vec話は昨年したので今年は見合わせ
「国会図書件名標目連想検索」はどうしよう？

5. 「連想検索」ではなく、ふつうの
全文検索でよいことにする
検索エンジンはSolrでもよいが、Elastic
Searchを選んでみた
CiNiiやWEKO3でも使っているときくので、
面白そうかと
しかし、その後に仕事のためSolrも学習す
ることに…

6. Web検索APIで、件名に関連するテ
キストデータを取得[登録データ準備] （※）
件名標目 Web 検索エンジンの検索結果
（以下はイメージ、Wikipedaの記事で代替）
分かち書き わかち書き（わかちがき）とは、文章において語の区切り
に空白を挟んで記述することである。分かち….
機械翻訳 この記事には複数の問題があります。改善やノートページ
での議論にご協力ください。 出典がまったく示されて..
構文論 統語論（とうごろん、英: syntax）とは、ヒト・人間の言語に
おいて文が構成される仕組み、またはそれを扱う言語
※ いまは無料で使えるWeb検索APIがないので、過去に取得したデータを使っています
検索の流れ

7. 関連テキストから件名標目を検索するよう
Elastic Searchに登録[全文データベース登録]
Web 検索エンジンの検索結果
（以下はイメージ、Wikipedaの記事で代替）
件名標目
わかち書き（わかちがき）とは、文章において語の区切りに空白
を挟んで記述することである。分かち….
分かち書き
この記事には複数の問題があります。改善やノートページでの
議論にご協力ください。 出典がまったく示されて..
機械翻訳
統語論（とうごろん、英: syntax）とは、ヒト・人間の言語において
文が構成される仕組み、またはそれを扱う言語
構文論
※ いまは無料で使えるWeb検索APIがないので、過去に取得したデータを使っています
検索の流れ

8. CGI
アプリ構成のねたばらし
Elastic Search
JSON・http
テンプレート
エンジンJavaScript
リクエスト
リザルト(html) リザルト(JSON)
リクエスト（JSON)
今回の差し替え個所

9. お手軽なWebアプリ基本構成
Ajax でシングルページアプリケーションを実現
prototype.js で<div>ブロックのhtmｌを置き換えるだけ
テンプレートエンジンでデザインを分離
PerlならTemplateToolkit 、Pythonならjinja2
CGIでロジックを実装
PerlでもPythonでも
この基本構成が気に入ったので、ここ10年くらい
だいたいいつもこれでWebアプリを作っています

10. おわりに
アプリの実用はどうにか維持
もっとも連想検索との結果の違いはあるかも
簡単なツール開発なら、いまでも使い慣れた
Webアプリ基本構成でよさそうかも