Elasticsearch勉強会 #35 で発表した資料です。

1. 祝Elasticsearch 7.6、date, number 型での
ソートがさらに高速に!?
Magic WANDってなんですか?
Elasticsearch meetup #35
Koji Kawamura @ijokarumawak
Elastic - Education Engineer

2. 2019/12/05
Elastic Certified Engineer
試験合格しました!
忘年会LTで喋ったので...報告

3. 35x
https://www.elastic.co/blog/elasticsearch-7-6-0-released
高速に (特定のテストでの結果)
Date, Numberでのソートがかつてなく高速になった
Elasticsearch 7.6.0

4. But how … ?

5. org.elasticsearch.search.query.QueryPhase
tryRewriteLongSortの内部でshouldにDistance Feature Queryを持つBooleanクエリに書き換えている。
rewrittenQuery = LongPoint.newDistanceFeatureQuery(sortField.getField(), 1, origin, pivotDistance);

6. org.elasticsearch.search.query.QueryPhase
適応条件クリアすると、 Luceneレベルのクエリが書き換わる
オリジナル
v:a v:b v:c v:d
書き換え後のクエリ
#(v:a v:b v:c v:d) LongDistanceFeatureQuery(field=,origin=1590915600000,pivotDistance=5200200000)

7. なにが嬉しいの?

8. WAND
の
流れに乗れるから

9. Early Termination 関連の improvements
7.0
Top-kクエリの高速化
#33028
Block-max WAND で OR
検索の足切りが高速に
7.2 7.6
ET: 検索結果のTop-kをいかに効率よく決定できるか
longでのソートが高
速に #48804
Distance Feature
Queryを利用してク
エリを書き換え
Distance Feature
Query #33382
Date, geoの距離で
スコアをブースト
Elasticsearch

10. 7.0: Magic WANDって何？
ちちんぷいぷーい！- 魔法の杖 (wand)の文字遊び、Weak AND、複数の検索後をOR
検索する場合のEarly Termination アルゴリズム
- Elasticsearch (Lucene) ではWANDのブロック圧縮インデックス版
のBlock-max WANDを実装
- ブロック単位でposting走査をスキップするので、厳密な Hit数を計
算しなくなった
- 詳細を知りたい方はこちらがものすごくお勧め
https://medium.com/@mocobeta/lucene-8-の-top-k-クエリプロ
セッシング最適化-3-wandアルゴリズム編-4ae50bffb159
https://www.elastic.co/blog/faster-retrieval-of-top-hits-in-elasticsearch-with-block-max-wand

11. 7.2 Distance
Feature Query
"Proximity" 時間や距離の近さ、でスコア
をブーストする。
今まではフィルタでHitさせるかどうかを制
御するか、Functionスコアのスクリプトで
実装する必要があった。
Distance Feature Queryにより、検索語
でのスコアリングとProximityのスコアリン
グをブレンドすることがより簡単、効率的
になった。
またBlock-max WANDの恩恵を受けられ
る。
距離で
時間で

12. 7.6 Long sort
右のようなクエリを実行すると、 match部分の
Luceneクエリが、should句に
DistanceFeatureQueryを使ったboolクエリに自
動変換される
オリジナル
v:a v:b v:c v:d
書き換え後のクエリ
#(v:a v:b v:c v:d)
LongDistanceFeatureQuery(field=,origin=1590
915600000,pivotDistance=5200200000)
これまたBlock-max WANDの恩恵を受けられ
る。

13. 適用条件
- Sortの第一条件対象がlong型のフィールド
- 対象のフィールドでインデックスソートが設定されていない (別の最適化が行われる
のでクエリ書き換えは行わない)
- ドキュメント件数 >= 512
- Aggregation使っていない
- ...
- その他もろもろ

14. お知らせ
Elasticsearch Engineer I – 3月 9 、10日 大阪 -> バーチャル (オンライン)
https://training.elastic.co/EngI/Osaka/March2020
Elasticsearch Engineer II – 3月 11、12 日 大阪 -> バーチャル (オンライン)
https://training.elastic.co/EngII/Osaka/March2020
Elastic Kibana Data and Operations Analyst – 4月 20 - 22日 東京
https://training.elastic.co/KDOA/Tokyo/April2020
Cloudキャンペーン Elasticsearch Serviceを3か月無料で
https://www.elastic.co/jp/campaigns/elasticsearch-service-annual-credit

15. Thank you!