検索技術を知ろう

1. マイニング探検会 #2～検索技術を知ろう～ 東京大学情報基盤センター 学術情報研究部門 助教 清田 陽司 (兼 株式会社リッテル 上席研究員) 2010年5月14日 ＠東京大学アントレプレナープラザ会議室

2. 2 経済の成長見通しに関する記事が欲しい テキスト検索 富士山の 高さは？ QAシステム Excelで行を 追加したい ヘルプ システム テキストの部分集合 「Excelで行を追加する方法は以下の通りです …」 「3776m」 検索システムのモデル 情報要求 情報集合 フィードバック 検索質問 テキスト集合 マッチング 内部表現 内部表現 合致する情報

3. 検索技術の歴史(1) 1950年代 H.P. Luhn＠IBMによる先駆的研究 キーワード抽出アルゴリズム KWICインデックス(cf. 岩波情報科学事典) スプートニク・ショック(1957年) 科学情報検索システムへの米国政府の支援強化 1960年代 文献目録検索システムの実用化 1964年 医学文献検索システム MEDLARS (後のMEDLINE)

4. 検索技術の歴史(2) 1970年代～1980年代 全文検索システムの実用化と性能向上 MEDLINEの全文検索サービス G. SaltonらによるSMARTシステムの研究 ベクトル空間法、TFIDF、適合性フィードバックなど テストコレクションによる客観的精度評価 新聞記事などが利用された 1990年代 評価型ワークショップ (新聞記事が主) TREC (Text Retrieval Conference) http://trec.nist.gov/ MUC (Message Understanding Conferences) NTCIR@NII http://research.nii.ac.jp/ntcir/

5. 検索技術の歴史(3) 1990年代後半 Webテキスト集合が検索対象として利用可能に ハイパーリンク構造によるランキングアルゴリズム HITSアルゴリズム、PageRankなど 2000年代 Webサーチエンジンの飛躍的発展 Webの規模に対応するためのスケールアウトに重点 膨大なデータからの機械学習による精度向上

6. 検索システムを理解するためのキーワード 逐次検索(sequential search)、索引検索(index search) ベクトル空間法、転置インデックス、TFIDF n-gramモデル、形態素解析モデル ストップワード、stemming 適合率(precision)、再現率(recall)

7. マッチング 逐次検索 (sequential search) 検索質問が入力される毎に、すべてのドキュメントをスキャンする インデキシング不要 更新は即時結果に反映される 検索速度はドキュメント数に比例 索引検索(index search) あらかじめインデックスを作成しておき、検索実行時に利用

8. ベクトル空間法 D1=(3,0,0,2,1,0,0) D5=(2,1,0,1,3,0,1) D6=(0,0,1,0,1,0,1) sim(D1, D5) = sim(D1, D6) = ※単語どうしについても同じような計算が可能 ->関連キーワードの検索

9. TF・IDF キーワード重要度の経験則 1つの文書の中で、たくさん出現するキーワードほど重要度が高い (Term Frequency, TF) 「図書館」 x 1回, 「カレー」 x 10回 -> カレーの話題？ 文書集合中で偏って現れるキーワードほど重要度が高い (Document Frequency, DF) 「日本」500文書、「サッカー」5文書 -> サッカー＞日本 両者を掛け合わせてキーワードの重要度を計算

10. 転置インデックス

11. n-gramモデルと形態素解析モデル 図書館振興財団では、図書館総合展運営委員会と共に、L-1グランプリ2010－若手ライブラリアンのためのワークショップ式登竜門を開催します。 インデックスのキーワードをどうやって 切り出すか？ 図書館, 振興, 財団, 図書館, 総合, 展, 運営, 委員会, L-1, グランプリ, 2010, 若手, ライブラリアン,ワークショップ, 式, 登竜門, 開催 図書, 書館, 館振, 振興, 興財, 財団, 団で, では, は、, 、図, 図書, 書館, 館総, 総合, 合展, 展運, 運営, 営委, 委員, 員会, 会と, と共, 共に, に、 , 、L, L-, -1, 1グ, グラ, ラン, ンプ, プリ, リ2, …. 形態素解析モデル n-gram (2-gram, bi-gram) モデル

12. 形態素解析とは 自然言語で書かれた文を形態素（意味を持つ最小単位）に分割する技術 日本語では単語の境界判別が大きな問題 キーワード辞書を与える必要がある 日本語で利用可能な主な形態素解析ツール JUMAN (京都大 黒橋研) ChaSen (奈良先端大 松本研) MeCab (工藤拓氏/京大・NTT共同研究ユニット) Yahoo!日本語形態素解析 (Web APIによる利用)

13. 比較 n-gramモデル 長所 辞書が不要 検索の漏れが少ない 短所 ノイズが多い 「京都」に「東京都」がヒット インデックスのサイズが大きくなる 形態素解析モデル 長所 ノイズが少ない 辞書の整備により精度向上 インデックスのサイズが小さい 短所 辞書の整備はコスト大 検索漏れの可能性

14. 適合率と再現率 全文書集合 適合文書 検索された文書 A B C 検索漏れの少なさ 検索ノイズの少なさ

15. 検索システムの性能の考え方 再現率・適合率はトレードオフの関係 漏れを少なくしようとするとノイズが増える ノイズを減らそうとすると漏れが多くなる 測定にはテストコレクションが必要 日本語ではNTCIR, BMIRなどが存在 検索システムの利用目的に合っていることが必要 独自に作らなければならないことも多い Web検索では再現率の測定は極めて困難 ユーザはそもそも最初のページしか見ない？

16. 主な検索ソフトウェア Namazu (高林哲氏) HyperEstraier(平林幹雄氏) Lucene (Apache Project) Solr(Apache Project) Senna (未来検索ブラジル) MySQLなどでの組み込み利用が可能 GETA / GETAssoc (国立情報学研究所)

17. GETAssoc 国立情報学研究所(NII)で開発された「連想検索エンジン」 GETAの後継 ベクトル空間法に基づく各種機能 関連キーワード、関連文書の検索 クラスタリング Web APIが実装されている 実用例 WebcatPlus, 想-IMAGINE Book Search, BOOK TOWNじんぼう

19. GETAssocの使い方 文書集合を「ITBファイル形式」に変換 stmdプロセスを起動 形態素解析ツールを選択可能 stpコマンドによってNWAMデータベース生成 NWAMデータベースを選択し、クエリーをクライアントから送信 WebAPIのほか、C言語・Perl・RubyのAPIが利用可能

20. Web検索API Google AJAX Search API http://code.google.com/intl/ja/apis/ajaxsearch/ Yahoo! JAPAN 検索Web API http://developer.yahoo.co.jp/webapi/search/ 開放型検索エンジン基盤TSUBAKI http://tsubaki.ixnlp.nii.ac.jp/api.html

21. For further information… 北研二ほか「情報検索アルゴリズム」(共立出版, 2002年) NTCIR Project: http://research.nii.ac.jp/ntcir/ TREC Conference: http://trec.nist.gov/ ACM SIGIR: http://www.sigir.org/