SolrとElasticsearchの比較

elasticsearchとSolrの比較
兼山元太
@penguinana_

Sunday, December 16, 12

自己紹介

• 兼山元太 @penguinana_
• レシピ検索チーム @ http://cookpad.com/
• Solr4.0


Solrのバージョンアップを
検討しているとき...


Elasticsearchも
調べたほうがいいのでは？


• Luceneベース
• HTTP API
• 分散検索OK
• 日本語OK


• Luceneベース
• HTTP API 既視感
• 分散検索OK
• 日本語OK


http://solr-vs-elasticsearch.com/


感想
• 機能面で不足はない

• APIが開発者にやさしい

• 容易に習得できる

• 大規模分散検索以外でも有用

• Solrを使ってなければこっちを本番に使いた
い！


サンプルを使って
ひと通り説明します


http://blog.livedoor.jp/techblog/archives/65836960.html


livedoorグルメ

• レストラン情報(21.4万店)
• 店名、扱っている料理、住所、緯度
経度、アクセス数、最寄り柄行きか
らの距離、etc...


livedoorグルメ

• レビュー情報(20.5万レビュー)
• 総合評価（5段階）
• 雰囲気、値段、サービス、味
• レビューコメント


https://github.com/penguinco/ld_gourmet_search


Elasticsearchを使う
• 1件登録して、1件検索

• 日本語の扱いを定義

• スキーマ定義

• 取り込み

• 検索

• スコアリングなどの調整


PUT
index type id
curl -XPUT http://localhost:9200/twitter/tweet/1 -d '
{
"user": "kimchy",
"post_date": "2012-11-26T20:12:00",
"message": "Trying out elasticsearch",
"score": 5
}
'


PUT
index type id
curl -XPUT http://localhost:9200/twitter/user/kimchy -d '
{
"name" : "Shay Banon"
}
'


GET
index type id

curl -XGET http://localhost:9200/twitter/tweet/1
{
"user": "kimchy",
"post_date": "2012-11-26T20:12:00",
"score": 5
}
}


SEARCH
index type id
curl -XGET http://localhost:9200/twitter/tweet/_search -d '{
"query" : {
"term" : { "user": "kimchy" }
}
}'

{
"user": "kimchy",
"post_date": "2012-11-26T20:12:00",
"score": 5
}

REST API

• ドキュメントの追加・削除
• 設定の追加・削除
• 全部HTTP APIでできる
• スキーマフリー


日本語
$ curl -XGET 'localhost:9200/_analyze?pretty' -d
'神泉'
{
"tokens" : [ {
"token" : "神",
"start_offset" : 0,
"end_offset" : 1,
"type" : "<IDEOGRAPHIC>",
"position" : 1
}, {
"token" : "泉",
"start_offset" : 1,
"end_offset" : 2,
"type" : "<IDEOGRAPHIC>",
"position" : 2
}]
}


日本語

Analyzerを変更することで対応

kuromojiが使えます！

http://www.hirotakaster.com/archives/2012/11/
elasticsearch-kuromoji-plugin.php


kuromoji
$ cd elasticsearch

$ bin/plugin -install elasticsearch/elasticsearch-analysis-kuromoji/1.0.0

$ git clone git://github.com/elasticsearch/elasticsearch-analysis-
kuromoji.git

$ cd elasticsearch-analysis-kuromoji/

$ mvn clean package

$ cp target/elasticsearch-analysis-kuromoji-1.2.0-SNAPSHOT.jar ../plugins/
analysis-kuromoji/elasticsearch-analysis-kuromoji-1.0.0.jar

# restart elasticsearch


add analyzer
$ curl -XPUT 'localhost:9200/test/' -d '
{
"index":{
"analysis":{
"tokenizer" : {
"kuromoji" : {
"type":"kuromoji_tokenizer",
"mode":"search"
}
},
"analyzer" : {
"kuromoji_analyzer" : {
"type" : "custom",
"tokenizer" : "kuromoji_tokenizer"
}
}
}
}
}
‘


kuromoji
$ curl -XGET 'localhost:9200/test/_analyze?
analyzer=kuromoji_analyzer&pretty' -d '神泉'
{
"tokens" : [ {
"token" : "神泉",
"start_offset" : 0,
"end_offset" : 2,
"type" : "word",
"position" : 1
}]
}

_analyze
$ curl -XGET 'localhost:9200/test/_analyze?
analyzer=kuromoji_analyzer&pretty' -d '関西国際空港'
{
"tokens" : [
{"token" : "関西",},
{"token" : "関西国際空港",},
{"token" : "国際",},
{"token" : "空港",}
]
}

kuromojiをデフォルトに

• defaultっていう名前でanalyzerを宣言


同義語

• Solr同様同義語がファイルで書ける
• +WordNet形式も使える


analyzer


日本語の心配はある程度片付いた！


スキーマ定義

• スキーマフリー！
• JSONの型が採用される
• 強制的に定義もできる(mapping)


mapping例
$ curl -XPUT 'http://localhost:9200/twitter/tweet/
_mapping' -d '
{
"tweet" : {
"properties" : {
"message" : {"type" : "string", "store" : "yes"}
}
}
}
'


Solrとの差分

• SolrのDynamicFieldよりも簡単
• type
• 1コア内に複数種類のdocを入れるこ
とを想定してあって便利


import(ruby)
ratings = []
CSV.foreach("ratings.csv") do |row|
ratings << {
:id => row[:id].to_i,
:restaurant_id => row[:restaurant_id].to_i,
:body => row[:body],
:type => 'rating'
}
end

Tire.index 'livedoor_gourmet' do
import ratings
end


検索
curl -X GET 'http://localhost:9200/livedoor_gourmet/
restaurant/_search?pretty' -d '
{
"query":{
"query_string":{
"query":"ラーメン"
}
},
"sort":[{"access_count":"desc"}],
"ﬁlter":{
"term":{"closed":"0"}
}
}
'

Solrとの差分

• DSLが結構違う
• ﬁlter, facet, grouping, highlightもサポート
• スコアリングはスクリプト言語で定義
できる


スコアリング

• PV順で並べたらうまくいったｗ
• 現実の問題も結構こういうこと多い


スコアリング

• 興味のある方はぜひ
• スクリプト言語で定義できる
• google: elasticsearch guide scoring


感想

• 機能面で不足はない
• APIが開発者にやさしい
• 容易に習得できる
• 大規模分散検索以外でも有用


API


conﬁg

curlだけでできる
→アプリケーションに定義を置ける


コア追加

curlだけでできる
→開発者ひとりで完結できる


容易に習得できる

• ほとんどの操作はcurlで完結
• Solrと共通の知識も多い
• luceneのクエリが使える
• qury DSLはちょっと障壁…


分散検索


分散検索

• number_of_shards
• number_of_replicas
• replication
• async/sync
• write consistency(one, quorum, all)


multi-tenant

• open/close index
• write I/O throttling
• merge policy control
• shard allocation
• number_of_replicas per index


plugin


plugin

$ bin/plugin -install Aconex/elasticsearch-head


パフォーマンス
• 事例は多く見つかる
• foursquare, soundcloud, bugsense ...etc

• クエリキャッシュがない
• nginx, varnishなどでキャッシュする


まとめ

• 分散検索を使うならelasticsearch
• 分散検索を使わなくても利点が多い
• 今後使われる機会があるかも


see also...
• http://www.elasticsearch.org/
• http://www.elasticsearch.org/guide/
• http://solr-vs-elasticsearch.com/
• github.com/elasticsearch
• http://blog.sematext.com/
• #elasticsearch

SolrとElasticsearchの比較

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to SolrとElasticsearchの比較

Similar to SolrとElasticsearchの比較 (11)

More from genta kaneyama

More from genta kaneyama (6)

Recently uploaded

Recently uploaded (10)

SolrとElasticsearchの比較