Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Solr勉強会第10回

6,357 views

Published on

  • Dating for everyone is here: ❤❤❤ http://bit.ly/2F90ZZC ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Follow the link, new dating source: ❶❶❶ http://bit.ly/2F90ZZC ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Solr勉強会第10回

  1. 1. GREEにおける 全文検索の歴史 GREE Inc. Infrastructure Platform Development Nobutoshi Ogata (@nobu666)13年3月26日火曜日
  2. 2. about me • @nobu666 • 片隅でくすぶっています • 猫とウイスキーとワイン13年3月26日火曜日
  3. 3. GREEの検索13年3月26日火曜日
  4. 4. 検索の歴史 (1) • Senna • 2007年とかその辺の話…? • 安定稼働しなかった13年3月26日火曜日
  5. 5. 検索の歴史 (1) • Tritonn • 2009年くらいまで • データファイルが壊れる • やっぱり安定しない • MySQLのバージョンあげたい13年3月26日火曜日
  6. 6. 検索の歴史 (3) • Lucene • 2012年初頭まで • 手動index optimizeとの戦い13年3月26日火曜日
  7. 7. 検索の歴史 (4) • Solr • イマココ • 2012年初頭から13年3月26日火曜日
  8. 8. Solr化の恩恵 • ほぼメンテナンスフリー • SPoFフリー • 全体的な検索速度向上13年3月26日火曜日
  9. 9. LuceneからSolr3.6へ13年3月26日火曜日
  10. 10. まずやること13年3月26日火曜日
  11. 11. まずこれを買うんだ!!13年3月26日火曜日
  12. 12. いつ買うか?13年3月26日火曜日
  13. 13. Solr化への前提条件 • 他プロダクトへ影響を出さない • フロントエンドからの呼び出しは 互換性を維持する • Ease of maintenance13年3月26日火曜日
  14. 14. 後方互換 • HTTP GETを受けてXMLを返却 • Lucene+Tomcatで受け付けていた クエリをSolr向けに変換 • Solrの返却するXMLをカスタマイズ • Indexing依頼のI/Fも変えない13年3月26日火曜日
  15. 15. Ease of maintenance • すべてのサーバーを冗長化 • サービス影響なしにindex optimize13年3月26日火曜日
  16. 16. ←WebアプリがQueueへ登録 ←indexerがMasterへ登録  ここで定期的にoptimize ←クエリの受付、返却 query translation ←クエリとレスポンスの変換   クライアントからのクエリ受付13年3月26日火曜日
  17. 17. 簡単に説明 • 現状7schema • サーバー台数40台ちょっと • マルチコア使えばもっと詰められる • 全部で250qps+ くらい13年3月26日火曜日
  18. 18. 13年3月26日火曜日
  19. 19. 13年3月26日火曜日
  20. 20. 負荷の傾向 • 大凡0:00付近に負荷のピーク • schemaによってはほとんど 使われていない • Range Query使いまくりなので slaveが一番重くなる13年3月26日火曜日
  21. 21. 作りこみが必要だった部分(1) • Indexer • Masterへ分散してIndexing • マルチスレッドで効率的に13年3月26日火曜日
  22. 22. 作りこみが必要だった部分(2) • Query Translation • 負の遺産の継承 • Schema毎の特殊なフィルタ付与 • 青少年保護なんちゃらけ • 人力監視との兼ね合い • 監視 • Replication, SSH, Ping, Solr Ping13年3月26日火曜日
  23. 23. 今でも面倒なこと • スキーマ変更を無停止でやるの すごいめんどい • SlaveをMasterに昇格する、などの 操作は手動で設定ファイルをいじる13年3月26日火曜日
  24. 24. 検索のこれから13年3月26日火曜日
  25. 25. 改善したいとこ • 精度 • 日本語以外でも使われるので 辞書を使う&メンテするのが 事実上難しい • さらなる自動化13年3月26日火曜日
  26. 26. 試したいこと • Amazonのサービスじゃないことで おなじみのElasticSearch • Solr Cloud • これもっと前にあったら俺は こんなに頑張らなくて良かった説13年3月26日火曜日
  27. 27. Any Questions?13年3月26日火曜日
  28. 28. Join us! http://jobs.gree.net/13年3月26日火曜日

×