Downloaded 35 times
More Related Content
![[OSC2016沖縄]商用DBからPostgreSQLへの移行入門](https://cdn.slidesharecdn.com/ss_thumbnails/osc2016okinawadbmigrationtopostgres-160704053748-thumbnail.jpg?width=640&height=640&fit=bounds)
![[data analytics showcase] B14: 文字情報の分析基盤 Mroonga by 株式会社インサイトテクノロジー 小幡 一郎](https://cdn.slidesharecdn.com/ss_thumbnails/gewtegxitccqr9e2hb5m-signature-dbdadd8978e07a8eac70e8d97843d87d84136d17cf5a5b684423cc574b8995e4-poli-161007060519-thumbnail.jpg?width=640&height=640&fit=bounds)
CROSS 2015 全文検索群雄割拠
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. • Elasticsearch • Elasticsearch大谷さん • Apache Solr • クックパッド 兼山さん • Amazon CloudSearch • ChatWork 藤原さん • Groonga(Mroonga,Rroonga,Nroonga) • クリアコード 須藤さん
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21. Copyright Elasticsearch 2014.Copying,publishingand/or distributing without written permission is strictly prohibited Jun Ohtani • Me, Jun Ohtani / Technical Adovocate lucene-gosenコ ミ ッ タ ー ElasticSearch Server日本語版の翻訳 elasticsearch-extended-analysisの開発 http://blog.johtani.info 好き な飲み物： プレ ミ アムモルツ • Elasticsearch, founded in 2012 Products: Elasticsearch, Logstash, Kibana, Marvel, Shield Professional services: Support & development subscriptions
- 22. cookpad 兼山元太 日々の仕事： ・ 検索の満足度を上げる ・検索のバッ ク エンド の開発 ・ 辞書の作成/管理 ・ レシピのメ タ データ の作成/管理 ・ 他チームの検索関連のお手伝い 夢は世界中で使われる道具を作るこ と
- 25. やまかつ (@yamakatu) • 本名は秘密（うそ •ヤフー株式会社 ヤフオクカンパニー • 検索、統計、機械学習しつつ、メイン は育児 • ぶっちゃけ、Groonga族とCloudSearch はまともに使ったことない（キリ
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38. RDBでインデックスを 貼らずに Select (略) whereid = 4 1 4 9 10 11 12 13 15 16 20 25 full scan(ex. 11 times) ぜんぶで11件
- 39. B+Tree (ex. 4 times) B+Treeでインデクシング Select(略) where id = 4
- 40. 4 times <11 times データ量が増加すると、 差は指数的に増加
- 41.
- 42.
- 43.
- 44. 「くろす」で 全文検索したい場合 Select 略 wheretext like “%くろす%”
- 45. 「くろす」で 全文検索したい場合 Select 略 wheretext like “%くろす%” つまり部分一致
- 46.
- 47.
- 48. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2横浜行くの久しぶり 3 とりあえずモルツ もと文書
- 49. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス
- 50. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索
- 51. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索
- 52. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索 出現文書：１
- 53.
- 54. 補足 1. 最近はRDBでも転置インデック スが実装されてます MySQL(innoDB, MyISAM)： FullTextSearch PostgreSQL： GISTIndex, GIN Index Oracle：Oracle Text
- 55. 補足 2. B+treeでも 前方一致検であれば有効 select 略where text like “くろす%”
- 56.
- 57. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 58. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 59. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 60. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 61. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 62. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 63. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 64. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 65. • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション 周辺機能のおさらい ノード1 シャード1台
- 66. • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション 周辺機能のおさらい ノード1 シャード1台 ノード2 シャード2 2台 ノード1 シャード1 検索クエリへの応答速度向上 インデクシングの高速化
- 67. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション ノード1 シャード1台
- 68. 周辺機能のおさらい • ハイライト • スニペット •ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション ノード1 シャード1台 ノード2 (slave) 2台 ノード1 (master) 検索負荷の分散 シャードシャード
- 69.
- 70.
- 71. • Elasticsearch • Elasticsearch大谷さん • Apache Solr • クックパッド 兼山さん • Amazon CloudSearch • ChatWork 藤原さん • Groonga(Mroonga,Rroonga,Nroonga) • クリアコード 須藤さん
- 72.
- 73.
- 74.
- 75.