第2回Solr勉強会マピオン事例

Solr1.3 から Solr1.4 へ移行～マピオンの場合～株式会社データ・コム・ナレッジ坂田敏朗

はじめに
対象者
エンジニア。ちょっとは Solr かじった。
　それ以外の方、「 Apache Solr 入門」を読みましょう
なぜ 1.4 にしたいのか？
いつの間にかサーバが増えてしまった。
クローラー用だとか法人向け用だとか。。。
1.4 にすればパフォーマンス上がりそうだし台数減らせるんじゃねぇ？
同時アクセスが多い場合のパフォーマンスがいい。

パフォーマンス比較 ※ 本番と同じ環境を用意できなかったので仮想サーバで比較緯度経度検索＆同時アクセスが多い場合に、顕著に違いが現れる

スキーマ
integer フィールドを pint へ変更
緯度 / 経度フィールドを tdouble へ変更
1.3 の時はただの double
dynamicField ： name=“_local*” を追加
lucene-spatial 用

Tokenizer
TokenizerFactory で作った Tokenizer は使いまわすように変更されている。
Factory 側で処理してた部分が 1 回しか呼ばれなくなったので修正

lucene-spatial
org.apache.lucene.spatial パッケージ
lucene-spatial-2.9.1.jar
https://locallucene.svn.sourceforge.net/svnroot/locallucene からチェックアウトした Solr コンポーネントを使用
距離はやっぱりマイル。。。
マイル－メートル変換
日本測地系－世界測地系変換

solrconfig.xml <updateRequestProcessorChain> <processor class="jp.co.mapion.solr.update.LocalUpdateProcessorFactory"> <str name="latField">lat</str> <str name="lngField">lon</str> <int name="startTier">9</int> <int name="endTier">17</int> </processor> <processor class="solr.RunUpdateProcessorFactory" /> <processor class="solr.LogUpdateProcessorFactory" /> </updateRequestProcessorChain> <searchComponent name="localsolr" class="jp.co.mapion.solr.component.LocalSolrQueryComponent"> <str name="latField">lat</str> <str name="lngField">lon</str> <str name="tierPrefix">_localTier</str> <str name="distanceField">distance</str> </searchComponent> <requestHandler name="/local" class="org.apache.solr.handler.component.SearchHandler"> <arr name="components"> <str>localsolr</str> <str>facet</str> </arr> <lst name="defaults"> <str name="echoParams">explicit</str> <str name="sort">distance asc</str> </lst> </requestHandler> データ更新検索用コンポーネント検索用ハンドラー

データ・インポート・ハンドラー
deltaImportQuery の追加
deltaQuery と一緒に使う
deltaQuery や deletedPkQuery も transformer が呼ばれる
要らないと思うんですが。。。
フィールドの大文字／小文字を区別しなくなった
これ、意外と痛い。。。

チューニング
Solr キャッシュを無効化
距離を計算した結果を DistanceFilter に一時的に保存しているが、そのために FULL GC じゃないと解放されない。
Java オプション
メモリーリーク疑惑があったが、結局 Java オプションだった。。。
Solaris ZFS
より積極的に使う。

制限
○ 分散検索時のファセットソートができない制限がなくなった
△ 緯度経度検索で指定できる距離に制限がある
23950m (事実上、それほど問題ではない)

どのくらいサーバを削減できたか？
実はまだ移行できてません !!
メモリーリーク疑惑があって、原因追求に時間がかかった。
Solr 使っている箇所が多く、検証に時間がかかった。
検証の結果、問題もいつくか発見しその対応にも時間がかかった。

最後に
なうまぴおんも Solr 使ってます。
http://now.mapion.co.jp/

http://labs.mapion.co.jp	616
http://www.slideshare.net	13
http://webcache.googleusercontent.com	8
http://blog.mapion.co.jp	5

第2回Solr勉強会マピオン事例

by guest6eecabc on Mar 11, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 642

Statistics