Rroongaの全文検索性能 Ruby kansai-20140531-ruby-kansai-20140531

1,550 views
1,442 views

Published on

61st Ruby/Rails勉強会@関西 LT 2014/05/31

Published in: Engineering
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,550
On SlideShare
0
From Embeds
0
Number of Embeds
778
Actions
Shares
0
Downloads
3
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

Rroongaの全文検索性能 Ruby kansai-20140531-ruby-kansai-20140531

  1. 1. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaの全⽂ 検索性能 Naoya(@naoa̲y) 61st�Ruby/Rails勉強会@関⻄�LT 2014/05/31
  2. 2. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 自⼰紹介 Naoya�(@naoa̲y) 大学は情報系✓ 新卒で3年半ほど⾦融系のユーザSI でインフラSE ✓ 現在は3年半ほどITと無縁の仕事✓ Ruby歴は実働数⽇ほど✓ ✓
  3. 3. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 国産の全⽂検索 エンジン Groongaって 知ってますか?
  4. 4. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Groongaって? C⾔語で書かれた⾼速な全⽂検 索ライブラリ/サーバ MySQLのストレージエンジンとし て実装されたMroonga ✓ Rubyらしい記法でRubyから全⽂検 索できるRroonga ✓ ✓
  5. 5. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 個⼈でMroonga でそこそこ大規模 な全⽂検索Web サービスを作りま した。
  6. 6. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Groongaは少 ないハードウェ ア資産でもかな り⾼速な全⽂検 索ができる!
  7. 7. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 デスクトップ向 けの全⽂検索ア プリをRubyで 作りたい!
  8. 8. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaって? Rroongaのほかにサーバがな くともローカルのみで⾼速な全 ⽂検索機能が実現可能 ✓ アプリに組み込みやすい。イメ ージとしてはSQLiteみたいな もの ✓
  9. 9. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaの利用例 るりまサーチ Rubyのリファレンスマニュアルを 検索できるWebアプリ�http:// docs.ruby-lang.org/ja/search/ ✓ ✓ Milkode ソースコード検索エンジン、検索ア プリ�http:// milkode.ongaeshi.me/�(るびま 0045号に記事掲載) ✓ ✓
  10. 10. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 実際のところ Rroongaっ てどのくらい 速いの?
  11. 11. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rubyだし ⾔うほどじ ゃ・・・?
  12. 12. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 試してみ よう!
  13. 13. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証環境 MacBook�Air CPU�1.4GHzデュアルコアIntel� Core�i5 ✓ Memory�4GB✓ SSD�128GB✓ ✓
  14. 14. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証⽅法 ⽇本語Wikipediaのカテゴリ上 位100件を検索 ✓ カテゴリ上位100件で⽇本語 Wikipediaのタイトルと本⽂を 全⽂検索 ✓ 検証プログラム�http:// github.com/naoa/rroonga- wikipedia-bench ✓
  15. 15. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証1 ⽇本語Wikipedia�1万件�XML� 168MB SQLite3 Rroonga カテゴリ 2314� msec 47�msec 本⽂ 103� msec 6�msec
  16. 16. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証2 ⽇本語Wikipedia�5万件�XML� 512MB SQLite3 Rroonga カテゴリ 9339� msec 88�msec 本⽂ 341� msec 30�msec
  17. 17. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証3 ⽇本語Wikipedia�183万件(全件)� XML�17GB Rroonga カテゴリ 1601�msec 本⽂ 56�msec
  18. 18. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証4 ⽇本語Wikipedia�366万件(全件 *2)�XML�33GB Rroonga カテゴリ 3087�msec 本⽂ 113�msec
  19. 19. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証5 ...✓
  20. 20. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 MacBook� Airのディスク が逼迫したの でここまで!
  21. 21. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Mroongaでの経験 則から⾔うとこの数 倍ぐらいなら⾼速に 全⽂検索できると思 います。(⽇本語で Bigramの場合。)
  22. 22. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Mroongaを使った全 ⽂検索のWebサービ スでは、最大で 400GB超、1000万 レコード超でもサーバ 1台でそこそこ⾼速に 検索できています。
  23. 23. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaで は、⾼速な全⽂ 検索のほかに位 置情報検索機能 もあります。
  24. 24. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 先⽇、Heroku でRroongaが 使えるビルドパ ックがリリース されています。
  25. 25. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaを 使ってみた くなりまし たよね?
  26. 26. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 おわりに 2014/6/27(⾦)19:00から神 ⼾でGroongaに関する勉強会 をします。 ✓ Groongaに興味が沸いた⽅は 是非参加してください! ✓
  27. 27. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 おわりに Rroonga,Rabbit等の作者、 Ruby/Groongaコミッタの須 藤さん(@ktou)が東京から来て くれます! ✓ 2014/6/28(土)に大阪で Groongaに関するイベントが できればと考えています。 ✓ 会場提供等に協⼒していだける ⽅がいたら嬉しいです。 ✓
  28. 28. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 ありがと うござい ました

×