Apache Geode の Apache Lucene Integration を試してみた。ちょっと複雑なオブジェクトに Lucene インデックスを作成して、検索してみたよ。

1. 1
Apache Geode の Apache Lucene
Integration を試してみた
@quitada
2018/3/27

2. 2
「Apache Lucene」ってそもそ
も何でしたっけ？

3. Apache Lucene とは？
 英語のウィキペディアサイトの説明参考訳： Apache Lucene は無
償かつオープンソースの情報抽出ソフトウェアライブラリーで、
当初 Doug Cutting 氏により全て Java で記述されたものである。
Apache ソフトウェア財団により保守されており、Apache ソフト
ウェアライセンスの元リリースされている。
 ま、全文テキスト検索エンジンと関連
ソフトウェアからなり、主に Web 検索
やドキュメント検索に使用されている、
的な？
3

4. 4
では、Apache Geode の機能で
ある「Apache Lucene
Integration」って何ですか？

5. Apache Lucene Integration とは？（1/2）
 英語ドキュメントの説明参考訳：Apache Lucene Integration について以下の
ように記載されています。
– Geode に格納されているデータに対して Lucene インデックスの作成を可能とす
る
– メモリ上に Lucene インデックスを格納するため、Geode の高可用性機能を用い
て Lucene インデックスの高可用性を担保する
– 実データと Lucene インデックスを同一のローカルノード上に配置する
– 永続化リージョンの場合、Lucene インデックスもディスクに永続化する
– Lucene インデックスは、書き込み遅延の影響を最小化するため非同期で更新す
る
– Lucene インデックスをパーティショニングすることで、スケーラビリティーを
確保
5

6. Apache Lucene Integration とは？（2/2）
 まぁ、インメモリデータグリッド技術でもってリージョン
データに対してサーチインデックスを作成可能とする
Hadoop の代替実装のようなもので、リージョンデータに対
して Lucene インデックス作成並びに全文検索を可能とする
ツールや API を提供する、的な？
 ちなみにこの機能は、Apache Geode 正式リリース前から開
発されてます。
– 機能自体は、Apache Geode 1.2/Pivotal GemFire 9.1 から正式リリース
されてます。
6

7. 7
デモンストレーション:
文字列のフィールド変数をもつ
カスタムオブジェクトを、
Collection ベースのフィールド
変数をもつオブジェクトに入れ
子にしてリージョンに put し、
当該 Collection オブジェクト内
のカスタムオブジェクトに対し
て Lucene インデックスを作成、
検索してみましょう！

8. デモンストレーション（1/3）
 検索対象データモデル
– Collection ベースのフィールド myArrayList にネストして格納されているカスタムオブジェクトの
文字列フィールド name を検索対象とするため Lucene インデックスを作成
8
リージョン
キー バ
リュー
: :
Collection ベースの
フィールドをもつ
オブジェクト
Collection myArrayList;
:
検索対象のカスタム
オブジェクト
Integer id;
String name;
String …
:

9. デモンストレーション（2/3）
 Geode クラスターを gfsh を使って普通に構築します： 例えば、Locator x1、Cache Server x3 とか
 gfsh にて、現状、検索対象リージョン作成前に Lucene インデックスを作成（GEODE-3924* で既存リー
ジョンに Lucene インデックスが作成できるよう対応中 – 2018 年 3 月現在）
– Collection でネストされたオブジェクトにインデックス作成するため、FlatFormatSerializer を指定（Apache Geode
1.4 よりサポート）
 検索対象リージョン作成： パーティションリージョンのみサポート
9
gfsh>create lucene index --name=myLuceneIndex --region=/Customer --
field=myArrayList.name --
serializer=org.apache.geode.cache.lucene.FlatFormatSerializer
gfsh>create region --name=/Customer --type=PARTITION_REDUNDANT
* = https://issues.apache.org/jira/browse/GEODE-3924

10. デモンストレーション（3/3）
 検索対象となるカスタムオブジェクトを保持する、Collection ベースの
フィールドをもつオブジェクトをリージョンに put する。
 検索対象カスタムオブジェクトのフィールド（name）を gfsh から検索
10
gfsh>search lucene --name=myLuceneIndex --region=/Customer --queryString="Yamada
Taro Jiro Yamashita*" --defaultField=myArrayList.name

11. 参考： Apache Lucene Integration アーキテクチャー
 https://twitter.com/metatype/status/970790021245517825
11
2018 年 3 月現在、
これはまだない
（GEODE-
3924）
Apache Geode 1.0
から PartitionListener
に追加されたコール
バックメソッド

12. 参考：日本語文字列への Lucene インデックス生成
 形態素解析が必要
– Apache Lucene 付属の JapaneseAnalyzer 等を適用
– Apache Geode には JapaneseAnalyzer は含まれていないので、
Apache Lucene（2018 年 3 月現在、Apache Geode 同梱の v6.4.1）付
属のものを適用：lucene-analyzers-kuromoji-6.4.1.jar
 gfsh オペレーション
12
gfsh>deploy --jar=/path/to/lucene-analyzers-kuromoji-6.4.1.jar
gfsh>create lucene index --name=myLuceneIndex --region=/Customer --
field=myArrayList.name --
serializer=org.apache.geode.cache.lucene.FlatFormatSerializer --
analyzer=org.apache.lucene.analysis.ja.JapaneseAnalyzer

13. 13
もちろん、Java API や
cache.xml ファイルで Lucene
インデックス作成可能です。ま
た、Java API を使って検索す
ることも可能です。