国会図書館サーチの概要

国会図書館サーチの概要 2011/05/16 大谷　純

サービス概要
国立国会図書館の新しい検索サービス
国立国会図書館が所蔵する図書の全てを探すことが可能
都道府県立図書館、政令指定都市の市立図書館の蔵書、国立国会図書館デジタルアーカイブポータル（ PORTA ）が収録している各種のデジタル情報も探すことが可能
本格サービス開始は平成 24 年 1 月を予定。現在はプロトタイプ版
対象データは 3000 万弱（収集データは約 6000 万件）
※ 「国立国会図書館サーチ」についてより抜粋

システムの概要検索・提供機能（ Ruby/Rails ）収集機能組織化機能（ Hadoop/HDFS ） XML 変換横断検索メタデータ収集書誌同定グループ化 Solr インデックス生成 DB 更新差分抽出 Solr DB 検索系 Web アプリ（ Enju ベース） Solr OAI-PMH FTP SRW HTTP SRU Open Search PC ・携帯

システムの概要（収集機能）検索・提供機能（ Ruby/Rails ）収集機能組織化機能（ Hadoop/HDFS ） XML 変換横断検索メタデータ収集書誌同定グループ化 Solr インデックス生成 DB 更新差分抽出 Solr DB 検索系 Web アプリ（ Enju ベース） Solr OAI-PMH FTP SRW HTTP SRU Open Search PC ・携帯

システムの概要（収集機能）
横断検索
リアルタイムに他のサービスへの検索を行う
Enju との連携には SRU を利用
メタデータ収集機能
国会図書館の所蔵する書誌のメタデータの収集
他機関が提供しているメタデータの収集

システムの概要（組織化機能）検索・提供機能（ Ruby/Rails ）収集機能組織化機能（ Hadoop/HDFS ） XML 変換横断検索メタデータ収集書誌同定 / グループ化 Solr インデックス生成 DB 更新差分抽出 Solr DB 検索系 Web アプリ（ Enju ベース） Solr OAI-PMH FTP SRW HTTP SRU Open Search PC ・携帯

システムの概要（組織化機能）
XML 変換
収集したメタデータを統一的な XML に変換
以降の処理では必要に応じて XML からデータを抜き出して利用
書誌同定 / グループ化
書誌同定
複数の図書館から集めたメタデータには同じ書誌に関するデータが存在している。このデータを 1 つのデータに集約する
グループ化
同一書誌ではないが、関連のある書誌（例：ドラえもん 1 巻と 2 巻など）をグルーピングする

システムの概要（組織化機能）
差分抽出
変更のあったデータ（追加 / 更新 / 削除）を抽出
Solr インデックス作成
Solr のインデックスを作成
SOLR-1301 に機能追加したモジュールを利用
DB 更新
差分抽出で出力された追加 / 更新 / 削除のデータを DB に反映

システムの概要（検索・提供機能）検索・提供機能（ Ruby/Rails ）収集機能組織化機能（ Hadoop/HDFS ） XML 変換横断検索メタデータ収集書誌同定グループ化 Solr インデックス生成 DB 更新差分抽出 Solr DB 検索系 Web アプリ（ Enju ベース） Solr OAI-PMH FTP SRW HTTP SRU Open Search PC ・携帯

システムの概要（検索・提供機能）
検索系 Web アプリ（ Enju ベース）
多種多様な提供プロトコルを採用
OAI-PMH 、 SRU/SRW 、 RSS 、 OpenSearch など
Solr ＋ DB による書誌検索の提供
翻訳機能の提供（日中韓英）
外部サイト連携（カーリル、ブクログなど）
スマートフォン、携帯への対応
利用者登録機能
連想キーワード機能（ GETAssoc 連携）

Enju の改良点
データの持ち方の変更
1 テーブルに XML をそのまま登録 Enju では著者の管理なども行っているため正規化されたテーブル構成になっている。
Sunspot の廃止（ rsolr の利用）
インデックス登録は全て Hadoop で行うシームレスに Solr に登録できる Sunspot の利点が生きない
様々な Solr の機能を利用。様々なパラメータをハンドリングする必要あり

国会図書館サーチでの Solr の利用機能
分散検索（ Distributed Search ）
ドキュメント数が多いため
グループ化表示（ Field Collapsing ）
グループ化されたデータの表示
クラスタリング
Carrot2 によるクラスタリング
ファセット
絞り込み候補の提供
SOLR+Hadoop （ SOLR-1301 ）
Hadoop 上でのインデックス作成
マルチコア
インデックスの切り替え

SOLR-1301 の概要
Hadoop 上でインデックス作成
入力データは HDFS 上に配置
Map/Reduce 、 HDFS の仕組みを利用
Solr の設定にてスキーマを定義可能
入力が CSV 形式のサンプルプログラムが付属
URL https://issues.apache.org/jira/browse/SOLR-1301

SOLR-1301 の概要
SOLR-1301 の流れ
Map フェーズでドキュメントを抽出
入力： CSV の 1 行
出力： ID 、 MapWritable （ Solr フィールド名、値）に変換（ 1 ドキュメント =1 オブジェクト）
1,aaa,bbb… 2,ddd,bbb… 3,aaa,bbb… 4,aaa,bbb… 5,ccc,yyy… 1,aaa,bbb… 2,ddd,bbb… 3,aaa,bbb… 4,aaa,bbb… 5,ccc,yyy… 2, Writable 1, Writable 4, Writable 3, Writable 5, Writable Reduce Map Map Map Reduce HDFS HDFS CSV

SOLR-1301 の概要
SOLR-1301 の流れ
Reduce フェーズでローカルディスクにインデックス作成
MapWritable を SolrInputDocument に変換
EmbeddedSolrServer を利用し、インデックス作成
2, Writable 1, Writable 3, Writable 5, Writable 4, Writable Reduce Map Map Map Reduce HDFS HDFS

SOLR-1301 の概要
SOLR-1301 の流れ
最後に HDFS 上にインデックスをコピー
Reduce Map Map Map Reduce HDFS HDFS

SOLR-1301 の改修内容
入力は XML
XPath にて Solr インデックス対象フィールドのデータを抽出
Sen の利用
Sen を Hadoop の各ノードにインストールせずに利用出来る形に修正
FieldCollapsing 対応
Collapse のキーを Reduce するときのキーに利用し、同一の Collapse キーをもつドキュメントは同一 Shard に登録される

国会図書館サーチの概要

by Kosuke Tanabe on May 26, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

3 Embeds 5

Statistics

国会図書館サーチの概要 — Presentation Transcript

http://www.slideshare.net	2
http://a0.twimg.com	2
https://twitter.com	1