ESFluteによるElasticsearchでのO/Rマッパーを用いた開発

ESFluteによるElasticsearchでの
O/Rマッパーを用いた開発
DBFluteフェス2016 1

DBFluteフェス 2016
■ 名前: 菅谷信介
■ オープンソース活動:
➔ Fess, DBFlute関連, Apache Portals, Codehaus,
Seasar2,...
■ Blog: http://www.chazine.com/
■ Twitter: https://twitter.com/shinsuke_sugaya/
自己紹介
2

■ ESFluteとは
■ Elasticsearchについて
■ ESFluteの使い方
アジェンダ
3

背景
4

■ 全文検索サーバFessでDBFluteを用いて開発
➔検索データはSolrで管理
➔設定データはデータベースで管理
■ SolrからElasticsearchに移行
➔この機会にDBをやめることを決断
➔DBがあると構築の手間が増える
■ 大量のBhvやCBを利用したコードが存在
➔工数が…
ESFlute誕生の背景
5

BhvやCBでElasticsearchに
アクセスできればよいのでは！
6

ESFluteとは
7

■ DBFluteのElasticsearch版
➔ CBやBhvが使えます
■ インデックス設定情報からソースの自動生成
■ Elasticsearch 1.7と2.xに対応
➔ 5.x系対応は近日対応予定
➔ バージョンごとにブランチ管理
■ DBFlute本体にバンドル
➔ 将来的には単独の配布にしたい
■ Exampleプロジェクト
https://github.com/lastaflute/lastaflute-example-waterfront
テストコードもあります！
ESFluteとは
8

Elasticsearchとは
9

■ OSSの分散リアルタイム検索＆分析エンジン
■ 特徴
➔ドキュメント指向な検索エンジン(Apache Lucene)
➔RESTfulなAPI
➔スキーマフリー
➔分散システム (高可用性、スケールアウト)
➔プラグインによる拡張
Elasticsearchとは
10

（物理的な？）
構成要素
ESFlute的にはあまり気にしないで良いかも…
11

分散環境的な話…
■ 基本的な構成要素
➔ クラスタ
➔ ノード
➔ インデックス
➔ シャード
■ クラスタは複数のノードから構成される
■ クラスタは複数のインデックスを保持できる
■ インデックスは複数のシャードから構成される
■ シャードは１つのプライマリと複数のレプリカで構成
される
■ ノードは複数のシャードを保持できる
構成要素
12

構成要素
13
ノード１
ノード3
ノード2
ノード4
インデックス1
シャード１
インデックス1
シャード2
インデックス2
シャード2
インデックス1
シャード2
インデックス2
シャード１
インデックス1
シャード3
インデックス1
シャード1
インデックス2
シャード１
インデックス1
シャード4
インデックス1
シャード3
インデックス2
シャード2
インデックス1
シャード4
クラスタ

（論理的な？）
構成要素
ESFlute的には自動生成上、関係ある
14

■ インデックス単位にドキュメントが保存される
■ ドキュメントはType属性を持つ
➔ドキュメントはタイプに含まれる
■ 検索はインデックスとタイプを指定する
データ観点での構成要素
15
Type
Index
Cluster
Type
Type
Index
Type

■ ESFluteはDBFluteのようなO/Rマッパー
■ インデックスを1つのデータベースとして考える
■ タイプをテーブルとして考える
ESFluteでの構成要素の対応
16
Type
Index
Cluster
Type
Type
Index
Type
Table
DB
Table
Table
DB
Table
ESFlute DBFlute

17
基本的な操作

■ インデックス名を指定してPUTでリクエスト
$ curl -XPUT ‘localhost:9200/company -d ‘{
“settings”: {
…(Analyzer等のインデックス関連の指定)...
},
“mappings”: {
…(スキーマなど指定)...
}
}’
インデックス作成
18

■ PUT/POSTでJSONオブジェクトをリクエスト
■ パスは /インデックス名/タイプ名/ID
$ curl -XPUT ‘localhost:9200/company/employee/1’ -d ‘{
“employee_id”: ”00001”,
“first_name”: “Taro”,
“last_name”: “Suzuki”
}’
ドキュメントの追加
19

■ DELETEでリクエスト
■ パスは /インデックス名/タイプ名/ID
■ プラグイン導入してクエリーで削除も可能
$ curl -XDELETE ‘localhost:9200/company/employee/1’
ドキュメントの削除
20

■ 文字列: string
■ 数値: long, integer, short, byte, double, float
■ 日付: date
■ 論理値: boolean
■ バイナリ: binary
■ その他: object, geo_point, ip,...
ESFluteではバイナリやその他の型はまだ未対応
基本的な型
21

■ 文字列を解析して、索引を作る
■ 検索は索引から単語が含まれるIDリストを取得
転置インデックス
22
ID 文字列
1 東京スカイツリー
2 東京タワー
単語 IDリスト
東京 1, 2
スカイツリ 1
タワー 2

■ テキストを分解して単語群を生成する
■ CharFilter/Tokenizer/TokenFilterで構成される
■ Luceneのインターフェース
■ 組み合わせることで自由自在の解析可能
■ インデックスの生成時に設定する
「今日の天気は晴れです」
　　　　　↓
「今日」「天気」「晴れ」
Analyzer
23

Analyzer
24
「東京ｽｶｲﾂﾘｰの①番出口」
CharFilter (文字単位で変換)
TokenFilter (単語単位で変換)
Tokenizer (単語に分割)
「東京スカイツリーの1番出口」
「東京」「スカイツリー」「の」「1番」「出口」
「東京」「スカイツリ」「1番」「出口」
Analyzer

■ 構造的なQuery DSLを利用
■ HTTPまたはTransportでリクエスト
➔現時点ではESFluteはTransportを利用
■ 様々なクエリーをサポート(aggs, geo,...)
$ curl -XPOST ‘localhost:9200/company/_search -d ‘{
“query” : {
"match_phrase" : {
"content" : "fess"
}
},
“size”: 10
}
検索クエリー
25

ESFluteの設定
26

■ DBFluteの基本的な設定を作成
例(Mavenプロジェクトなら)：
$ mvn dbflute:download
$ mvn dbflute:create-client
http://dbflute.seasar.org/ja/environment/setup/index.html
DBFluteの環境準備
27

■ ESFluteはインデックス情報を利用
■ Elasticsearchのインデックス情報をファイルに保存
する
$ curl -XGET localhost:9200/[index] >
dbflute_[project]/playes/index/[index].json
インデックス情報の保存
28

■ dbflute_[project]/dfprop/esfluteMap.dfprop
esfluteMap.dfprop
map:{
# base package of generated classes
; basePackage = org.docksidestage.esflute
# base path to JSON resource, URL or relative path
; basePath = ./playes/index ←インデックスの設定情報ファイルを置いておくディレクトリ
# settings for indexes
; indexMap = map:{
; maihama = map:{ ←インデックス名
; package = maihama
}
}
# version for elasticsearch's jar file (no version means latest)
; elasticsearchVersion = 2.3.0
}
29

■ DBFluteのFreeGenを実行
$ mvn dbflute:freegen
➔ [basePackage].[index]パッケージ以下にソースコードを自
動生成
➔ DB版同様、CBやBhv等が生成される
ソースコードの生成
30

必要に応じて…
コンポーネント定義
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE components PUBLIC "-//DBFLUTE//DTD LastaDi 1.0//EN"
"http://dbflute.org/meta/lastadi10.dtd">
<components>
<include path="esclient.xml"/>

<component name="behaviorCommandInvoker" class="org.dbflute.bhv.core.BehaviorCommandInvoker"/>

<component name="userBhv" class="org.codelibs.fess.es.user.exbhv.UserBhv"/>
<component name="roleBhv" class="org.codelibs.fess.es.user.exbhv.RoleBhv"/>
<component name="groupBhv" class="org.codelibs.fess.es.user.exbhv.GroupBhv"/>
</components>
31

ESFluteで操作
32

■ Bhvインスタンスでinsert
➔ オプションで即時反映も可能
➔ 更新も同じ感じで
データの追加
@Resource
private ProductBhv productBhv;
…
Product product = new Product();
product.setProductDescription(form.productDescription);
product.setProductCategoryCode(form.productCategoryCode);
...
productBhv.insert(product, op -> {
op.setRefresh(true); // 即時反映
});
33

■ Bhvインスタンスでdelete
➔ オプションで即時反映も可能
➔ Delete By Queryも内部的にScrollで実現
データの削除
productBhv.selectByPK(form.productId).ifPresent(entity -> {
productBhv.delete(entity, op -> {
op.setRefresh(true);
});
}).orElse(() -> {
throw404("Not found the product: " + form.productId);
});
34

■ 各種検索クエリーに対応
➔ConditionBeanがQuery DSLを組み立てる
■ Aggregationにも対応
検索
35

検索
36

■ BhvでselectPage, selectList, selectByPK,
selectCount, selectEntity, selectCursorに対応
■ CBで検索条件を指定
➔ pagingやaddOrder〜も対応
■ 戻り値はDBFluteと同様
検索系メソッド
PagingResultBean<Product> list1 = productBhv.selectPage(cb -> {
cb.query().matchAll();
cb.query().addOrderBy_Id_Asc();
cb.paging(5, 1);
});
37

■ 全件にマッチするクエリー
➔ count等で利用
Match All Query
38
cb.paging(5, 1);
});

■ 解析された文字列にマッチするクエリー
➔ 全文検索で利用
■ 解析された文字列にマッチするので、以下のflute
はFluteにも一致する
➔ フレーズとしてはマッチしない
➔ 日本語bi-gramでは期待通りの結果にならない
Match Query
cb.query().setProductName_Match("flute");
cb.paging(5, 1);
});
39

■ 解析された文字列のフレーズでマッチする
➔ タームの順番も含めて一致する
➔ 日本語の場合、ほぼこのクエリーを利用する
➔ Match Queryの場合、並び順に関係なく、ヒットする
Match Phrase Query
cb.query().setProductName_MatchPhrase("Low Price Flute");
cb.paging(5, 1);
});
40

■ フレーズでの前方一致にマッチするクエリー
➔ Match Phraseの前方一致版クエリー
➔ 入力された文字列の最後の単語では前方一致を行う
Match Phrase Prefix Query
cb.query().setProductName_MatchPhrasePrefix("Low P", op -> {
op.maxExpansions(10);
});
cb.paging(5, 1);
});
41

■ 頻出単語を除外してマッチするクエリー
■ 頻度の指定が可能
➔ 以下の例だと、0.1%より多く登場する単語を除外
Common Terms Query
cb.query().setProductName_CommonTerms("What is Grand Piano", op -> {
op.cutoffFrequency(0.001f);
});
cb.paging(5, 1);
});
42

■ 検索クエリーを文字列で指定するクエリー
➔ サーチエンジンに利用
➔ Luceneの構文に従う
■ 入力によって幅広い検索が可能
➔ 範囲検索、あいまい検索、正規表現等
Query String Query
cb.query().queryString("Flute OR Piano", op -> {
op.defaultField("product_name");
});
cb.paging(5, 1);
});
43

■ 指定された値にマッチするクエリー
➔ テキスト解析はされず、値そのものにマッチする
➔ 区分値など、値のまま、インデックスしたものの検索
➔ not_analyzedのフィールドに対して利用
➔ set〜_EqualはTerm Queryを利用
Term Query
cb.query().setProductHandleCode_Term("FLUTE-01", op -> {
op.queryName("exact_value");
});
cb.query().addOrderBy_ProductHandleCode_Asc();
cb.paging(5, 1);
});
44

■ Term Queryの複数指定版クエリー
➔ 複数の値にマッチする検索をする
➔ set〜_InScopeはTerms Queryを利用
Terms Query
ArrayList<String> terms = new ArrayList<>();
terms.add("piano");
terms.add("flute");
cb.query().setProductName_Terms(terms);
cb.paging(5, 1);
});
45

■ 範囲指定検索
➔ 数値や日付を範囲指定する場合に利用する
➔ 通常のCBと同様
Range Query
cb.query().setLatestPurchaseDate_GreaterEqual(
LocalDateTime.of(2014, 1, 1, 0, 0, 0));
cb.query().addOrderBy_LatestPurchaseDate_Asc();
cb.paging(5, 1);
});
46

■ フィールドに値が存在するものにマッチする
➔ 値があるものを検索する場合に利用する
■ 存在しないものを検索したい場合
➔ boolのmust_notのexistsクエリーを利用する
■ null値はElasticsearch上で設定可能
Exists Query
cb.query().setProductName_Exists();
cb.query().addOrderBy_ProductName_Asc();
cb.paging(5, 1);
});
47

■ 前方一致のクエリー
➔ Term Queryの前方一致検索版
➔ テキスト解析されないフィールドで利用する
Prefix Query
cb.query().setProductCategory_Prefix("Ins");
cb.paging(5, 1);
});
48

■ ワイルドカードによる検索
➔ Term Queryのワイルドカード検索版
➔ テキスト解析されないフィールドで利用する
Wildcard Query
cb.query().setProductCategoryCode_Wildcard("H?B");
cb.paging(5, 1);
});
49

■ 正規表現による検索
➔ Term Queryで正規表現を利用したい場合に利用する
➔ 遅い
Regexp Query
cb.query().setProductHandleCode_Regexp("[A-Z]{5}-<01-02>");
cb.paging(5, 1);
});
50

■ あいまい検索
➔ レーベンシュタイン距離による検索
➔ 類似する単語を見つける
Fuzzy Query
cb.query().setProductCategory_Fuzzy("Insturument");
cb.paging(5, 1);
});
51

■ and/or/notを合成するクエリー
➔ and条件: mustで指定する(複数指定可能)
➔ or条件: shouldで指定する(複数指定可能)
➔ not条件: mustNotで指定する(複数指定可能)
■ filter条件も設定可能
➔ and/or/notの前にフィルタ条件を指定する
Bool Query
cb.query().bool((must, should, mustNot, filter) -> {
must.setProductName_Match("flute");
mustNot.setProductName_Match("gold");
});
cb.paging(5, 1);
});
52

■ スコアを調整するクエリー
➔ functionsにマッチしたものをもとにスコアを変える
➔ queryには通常の検索条件を指定する
Function Score Query
cb.query().functionScore(query -> {
query.setProductCategory_Equal("MusicCD");
}, functions -> {
functions.filter(cq -> {
cq.setProductName_Match("street");
}, ScoreFunctionBuilders.weightFactorFunction(10.0f));
}, op -> {});
cb.paging(5, 1);
});
53

Aggregation
54

■ 検索時に集計処理も同時に行う
➔ ファセットとかドリルダウンとか
■ 集計結果はElasticsearchのインスタンスを利用
➔ 独自に生成するとメンテリスクがあるため
Aggregation
55

■ 平均値を集計する
➔ Avgのインスタンスが返却される
Avg Aggregation
56
cb.aggregation().setRegularPrice_Avg();
cb.paging(5, 1);
});
EsPagingResultBean<Product> list2 = (EsPagingResultBean<Product>) list1;
Aggregations aggregations = list2.getAggregations();
Avg avg = (Avg) aggregations.get("regular_price");
assertEquals(353455.0, avg.getValue());

■ フィールドでユニークな項目数を取得する
➔ Cardinalityが返却される
Cardinality Aggregation
cb.aggregation().setProductCategory_Cardinality();
cb.paging(5, 1);
});
Cardinality cardinality = (Cardinality) aggregations.get("product_category");
assertEquals(3, cardinality.getValue());
57

■ 様々な統計的数値を得る
➔ ExtendedStatsが返却される
➔ 最大、最小、平均、分散、標準偏差等
Extended Stats Aggregation
cb.aggregation().setRegularPrice_ExtendedStats();
cb.paging(5, 1);
});
ExtendedStats extendedStats = (ExtendedStats) aggregations.get("regular_price");
assertEquals(353455.0, extendedStats.getAvg());
58

■ 最大値を取得する
➔ Maxが返却される
Max Aggregation
cb.aggregation().setRegularPrice_Max();
cb.paging(5, 1);
});
Max max = (Max) aggregations.get("regular_price");
assertEquals(4000000.0, max.getValue());
59

■ 最小値を取得する
➔ Minが返却される
Min Aggregation
cb.aggregation().setRegularPrice_Min();
cb.paging(5, 1);
});
Min min = (Min) aggregations.get("regular_price");
assertEquals(340.0, min.getValue());
60

■ 百分位数を計算する
➔ 小さい順に並べて、X%にある値を取得する
➔ 外れ値を検出するなど
➔ 以下ではRegularPriceの下位1%の位置に347.6
Percentiles Aggregation
cb.aggregation().setRegularPrice_Percentiles();
cb.paging(5, 1);
});
Percentiles percentiles = (Percentiles) aggregations.get("regular_price");
assertEquals(347.6, percentiles.percentile(1));
61

■ 百分位数における順位を計算する
➔ 指定した値のランクを取得する
➔ 以下ではRegularPriceが1000のときが23.125%
Percentile Ranks Aggregation
cb.aggregation().setRegularPrice_PercentileRanks(op -> op.percentiles(1000, 10000));
cb.paging(5, 1);
});
PercentileRanks percentileRanks = (PercentileRanks) aggregations.get("regular_price");
assertEquals(23.125, percentileRanks.percent(1000));
62

■ 基本的な統計的数値を算出する
➔ Statsが返却される
➔ 項目数、最小値、最大値、平均値、合計値
Stats Aggregation
cb.aggregation().setRegularPrice_Stats();
cb.paging(5, 1);
});
Stats stats = (Stats) aggregations.get("regular_price");
assertEquals(353455.0, stats.getAvg());
63

■ 合計値を取得する
➔ Sumが返却される
Sum Aggregation
cb.aggregation().setRegularPrice_Sum();
cb.paging(5, 1);
});
Sum sum = (Sum) aggregations.get("regular_price");
assertEquals(7069100.0, sum.getValue());
64

■ フィールドに値を持つ件数を取得する
➔ ValueCountが返却される
➔ スクリプトによる指定も可能
Value Count Aggregation
cb.aggregation().setProductCategory_Count();
cb.paging(5, 1);
});
ValueCount valueCount = (ValueCount) aggregations.get("product_category");
assertEquals(20, valueCount.getValue());
65

■ 指定したフィルタで項目を絞り込む
➔ 子のAggregationをフィルタするときに利用
■
➔
➔
Filter Aggregation
cb.aggregation().filter("filter", cq -> cq.setProductName_Equal("flute"),
op -> {}, aggs -> aggs.setRegularPrice_Avg());
cb.paging(5, 1);
});
Filter filter = (Filter) aggregations.get("filter");
Avg avg = (Avg) filter.getAggregations().get("regular_price");
assertEquals(1516666.6666666667, avg.getValue());
66

■ ヒストグラムを生成する
➔ Histogramが返却される
Histogram Aggregation
cb.query().setRegularPrice_LessThan(2000);
cb.aggregation().setRegularPrice_Histogram(op -> {
op.interval(200).extendedBounds(0L, 2000L);
}, aggs -> {});
cb.paging(5, 1);
});
Histogram histogram = (Histogram) aggregations.get("regular_price");
assertEquals(11, histogram.getBuckets().size());
assertEquals(3L, histogram.getBuckets().get(1).getDocCount());
67

■ フィールドに値が存在しない項目を得る
➔ Missingが返却される
Missing Aggregation
cb.aggregation().setRegularPrice_Missing();
cb.paging(5, 1);
});
Missing missing = (Missing) aggregations.get("regular_price");
assertEquals(0, missing.getDocCount());
68

■ フィールド値が範囲内にある件数を取得する
➔ Rangeが返却される
Range Aggregation
cb.aggregation().setRegularPrice_Range(op -> {
op.addUnboundedFrom("all", 0)
.addRange("average", 1000, 5000)
.addUnboundedTo("cheap", 1000);
}, aggs -> {});
cb.paging(5, 1);
});
Range range = (Range) aggregations.get("regular_price");
assertEquals(4, range.getBuckets().get(0).getDocCount());
69

■ 指定した単語が含まれる件数を取得する
➔ Termsが返却される
➔ 含まれる単語と件数が取得できる
Terms Aggregation
cb.aggregation().setProductName_Terms();
cb.paging(5, 1);
});
Terms terms = (Terms) aggregations.get("product_name");
List<Bucket> buckets = terms.getBuckets();
assertEquals("100g", buckets.get(0).getKey());
assertEquals(4, buckets.get(0).getDocCount());
70

■ Elasticsearch 5.0対応
■ geo_point対応
■ ネストしたプロパティへの対応
■ multifieldの対応
■ join対応
■ HTTPでの接続方法
■ 適切でない利用方法やクエリを通知する
今後のタスク
71

まとめ
72

■ ESFluteでElasticsearchを利用できる
■ DBFluteのように実装できる
■ インデックス情報からソースは自動生成
■ DBFluteにバンドル済みなので、すぐに利用可能
まとめ
73

ESFluteによるElasticsearchでのO/Rマッパーを用いた開発

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (18)

Similar to ESFluteによるElasticsearchでのO/Rマッパーを用いた開発

Similar to ESFluteによるElasticsearchでのO/Rマッパーを用いた開発 (20)

More from Shinsuke Sugaya

More from Shinsuke Sugaya (11)

ESFluteによるElasticsearchでのO/Rマッパーを用いた開発