textsearch groonga v0.1

お試し版をリリースしました • バージョン 0.1 – ドキュメント • http://textsearch-ja.projects.postgresql.org/textsearch_groonga.html – ダウンロード • http://pgfoundry.org/frs/?group_id=1000298 • 対応バージョン – PostgreSQL 8.3, 8.4, 9.0, 9.1dev – groongaなるべく新しいもの • 基本的な検索機能をサポート – データ更新やインデックス削除に未対応な部分が残っているため、参照用途で試してください©2010 FORCIA, Inc.

PostgreSQLの全文検索 • 組み込みのtextsearch – textsearch_ja 組み込み機能 + Mecab • 形態素解析 (単語単位) のインデックス • 組み込みの GIN (転置インデックス) で検索する • 追加インデックス・アクセス・メソッド – textsearch_senna senna – textsearch_groona groonga • N-gram (文字単位) のインデックス©2010 FORCIA, Inc.

PostgreSQLの拡張インタフェース MySQL PostgreSQL Storage Engine Index Access Method SQL Parser SQL Parser 共通処理 Query Optimizer Query Optimizer Table Table 拡張可能な Index Index モジュール • PostgreSQLではインデックスを拡張可能 • やれることは限定的だが、拡張は容易 • 必要なのはハンドラ関数 10個程度 • トランザクション管理は本体に任せられる©2010 FORCIA, Inc.

使い方：インストール方法 • ビルド – PGの開発用ヘッダ、ライブラリをインストール • postgresql-devel パッケージ等 – make 自動的に PGXSを使う – sudo make install • テスト – PostgreSQLを起動させた状態で – make installcheck • データベースへの登録 – psql -f $PGSHARE/contrib/textsearch_groonga.sql©2010 FORCIA, Inc.

使い方 : インデックス作成 • CREATE TABLE tbl(id serial, doc text); • COPY tbl(doc) FROM ...; -- データ投入 • CREATE INDEX idx ON tbl USING groonga (doc); CTID 文書その他 _key 文書 CTID 単語 _key (1, 0) foo 1.5 1 bar (1, 1) ar 1 (1, 1) bar 2.0 2 baz (2, 0) az 2 (2, 0) baz 4.5 3 foo (1,0) ba 1, 2 CTID = 物理位置 fo 3 oo 3 PostgreSQLテーブル groongaテーブル groonga転置表©2010 FORCIA, Inc.

使い方 : 検索 • SELECT * FROM tbl WHERE … – 単純検索 • doc = キーワード – 比較演算子による検索 – <, <=, =, >=, >, <> • 文書と数値を複数列インデックスにしている場合等 – 単語検索 • doc %% キーワード – N-gramによる検索 • 「キーワードを含む」検索 – grn_expr検索 • doc @@ groonga.query(キーワード, 列と重み) • 自由な検索©2010 FORCIA, Inc.

スコアリング • SELECT * FROM tbl WHERE doc %% keyword ORDER BY groonga.score(tableoid, ctid) – 行を識別するシステム列 tableoid, ctid を使って特定の行のスコアを取得 – スコアの重み付けは groonga.query() で変更可能 • v0.1の制限 – 行が更新されていると結果が0になることがある。文書 CTID CTID 文書その他 foo (1,0) (1, 0) foo 1.5 更新時に (1, 1) foo 1.6 間接参照が発生する groongaテーブル PostgreSQLテーブル©2010 FORCIA, Inc.

textsearch_senna vs. _groonga • 利点 – スコアリングやgrn_expr等groongaの機能を活用できる – text 型以外に、スカラー型 (数値, 日時) もサポート – マルチカラム・インデックスをサポート • 欠点 – ディスク消費が多い (文書をDBとgroongaの両方で持つ) ( DB groonga ) – (将来対応予定) LIKE 演算子をサポートしていない – (将来対応予定) インデックスをDROPした際にゴミが残る • 類似点 – クラッシュ・リカバリやアーカイブ・リカバリは未対応 – PG9.0のレプリケーションに未対応 (Slony, pgpoolは可)©2010 FORCIA, Inc.

ファイルの構成 • $PGDATA PGデータベース1個ごとに – base groongaデータベース • <DBID-1> – grn : groongaメタデータ – grn.0000000 : groongaメタデータ – NNNNN : PostgreSQLインデックス – NNNNN.grn : groongaテーブル – NNNNN.grn.1 : groongaテーブル列1 – NNNNN.grn.i : groonga全文検索インデックス – NNNNN.grn.r : groonga単語インデックス – NNNNN.grn.r.c : groonga単語インデックス • <DBID-2> –… – global©2010 FORCIA, Inc.

PostgreSQLとの相性の向上 • 適切なスコアを返すには? – grn_query_scan()で素直に再計算すべきかも • DROP INDEXでgroongaデータも削除するには? – PostgreSQLハンドラに amdrop を追加する? – groongaに basename.N のみを使ってもらう? • 現状は basename.N.c という名前も使われる • トランザクションログと連携するには? – クラッシュ・リカバリは難しいかも – レプリケーションなら何とかなりそう? • PostgreSQLにユーザAMでもWALを書く仕組みが必要©2010 FORCIA, Inc.

SQL/MED in PostgreSQL 9.1 • 標準SQLで仕様化されたストレージ・エンジン – PostgreSQL 9.1 (2011年～) に向けて開発中 – groonga DBを、表として参照可能に • PGとgroongaでデータを二重に持たずに済む – 行指向のPG表と、列指向のgroonga表の使い分け • 適材適所 • 標準SQLに含まれているのは参照処理のみ – 更新DMLやテーブルDDLはまだ無い – 独自拡張でINSERTくらいには対応するかも?©2010 FORCIA, Inc.

textsearch_groongaのまとめ • 現在、お試し版をリリース中です – 参照を想定。スコアが要らないなら更新も可 • textsearch_sennaの良いところ/悪いところを踏まえての更新版です – 更新の確実性や、OR演算の扱いなど OR • SQL/MEDが大本命 – PostgreSQL/groongaを良いとこどりできるハイブリッド・データベースを目指します©2010 FORCIA, Inc.

http://postgresql.g.hatena.ne.jp	210
http://webcache.googleusercontent.com	9
http://rw.ln	2
http://s.deeeki.com	2
http://b.hatena.ne.jp	1
http://translate.googleusercontent.com	1

textsearch groonga v0.1

by Takahiro Itagaki on Nov 29, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

6 Embeds 225

Statistics

textsearch groonga v0.1 — Presentation Transcript