MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
•
15 likes•7,179 views
2014年5月開催の最新インフラエンジニア技術勉強会での発表スライドです。 本邦初公開のelasticsearch_mysql_importerの紹介をしました。 https://github.com/y-ken/elasticsearch_mysql_importer
Recommended
More Related Content
What's hot
What's hot (20)
Similar to MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
Similar to MySQLと組み合わせて始める全文検索プロダクト"elasticsearch" (20)
More from Kentaro Yoshida
More from Kentaro Yoshida (12)
Recently uploaded
Recently uploaded (15)
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
- 1. page May, 2014 23th MySQLと組み合わせて始める 全文検索プロダクト elasticsearch Kentaro Yoshida in 最新インフラエンジニア技術勉強会@ドリコム 1
- 2. page 1. 自己紹介 2. はじめに 3. 今回のテーマ 4. Yamabikoの紹介 5. 新作の紹介 6. まとめ 本日の流れ 2
- 4. page 自己紹介 4 • よしけんさん • (株)リブセンス • Web系インフラの 研究開発エンジニア • elasticsearch歴： 2013年 初夏∼ 好きなプロダクト
- 5. お知らせ
- 10. page だけれども、 10
- 13. page ファセット検索 13
- 14. page サジェスト機能 14
- 15. page 位置情報検索 15
- 18. page そして、 18
- 20. page そんな時には 20
- 21. page 21
- 24. page 24
- 26. page これは使いたい！ 26
- 27. page しかし課題が残る 27
- 29. page 3.今回のテーマ 29
- 30. page 今回のテーマ 30 実データを用いて手軽にelasticsearchと連携した検索を行いたい elasticsearchをスモールスタートで使い始めたい 既存プログラムの更新系処理に触れずに小さく始めたい メインRDBはMySQLではあるが、検索のみelasticsearchを使う構成 Amazon RDS for MySQLにも応用できる手離れの良い構成にしたい MySQLサーバの管理無しに冗長化構成を実現できる (Multi-AZ)
- 33. page そこで！ 33
- 37. page Yamabiko 37 概要 MySQLからelasticsearchへデータを非同期に逐次反映 Amazon RDS・MariaDB・PerconaServer等の互換DBにも対応 elasticsearchとは別の単体ミドルウェアとして動作 CentOS 6.x向けのRPMパッケージとして配布中 任意のSQL文の結果の差分から、insert/update/deleteイベントを検知 SELECT * FROM contents WHERE DATE_ADD(updated_at, INTERVAL 5 MINUTE) > NOW(); といったクエリで差分同期も可能
- 43. page 5. 新作の紹介 43
- 47. page indexの設計例 47 全文検索情報を更新する度に、利用するindexを切り替える手法 稼働中のindexには触れずに、都度新たにindexを生成する RDBに接続先のindex名を保存してアプリ側から動的に利用する 例: index名-group_a, index名-group_b の2つをローテーション 例: index名-2014.05.23_210020（2014年5月23日 21:00:20） index毎にLuceneのshardが作られるため、影響の限定化が可能 （更新中の不正終了等でデータが壊れるときはindex単位のため）
- 49. page 使い方 49 # レポジトリをクローンする $ git clone https://github.com/y-ken/elasticsearch_mysql_importer.git $ cd elasticsearch_mysql_importer $ bundle install --path vendor/bundle # exampleファイルのMySQLの接続先やクエリを書き換える $ vim example.rb # スクリプトを実行し、Bulk APIで登録するファイルを生成 $ bundle exec ruby example/example.rb # 生成された”requests.json”をelasticsearchへPOSTする
- 50. page 使い方 49 # レポジトリをクローンする $ git clone https://github.com/y-ken/elasticsearch_mysql_importer.git $ cd elasticsearch_mysql_importer $ bundle install --path vendor/bundle # exampleファイルのMySQLの接続先やクエリを書き換える $ vim example.rb # スクリプトを実行し、Bulk APIで登録するファイルを生成 $ bundle exec ruby example/example.rb # 生成された”requests.json”をelasticsearchへPOSTする $ curl -s -XPOST localhost:9200/_bulk --data-binary @example/requests.json
- 51. page 使い方 50 $ cat example.rb require 'elasticsearch_mysql_importer' importer = ElasticsearchMysqlImporter::Importer.new importer.configure do |config| config.mysql_host = 'localhost' config.mysql_username = 'your_mysql_username' config.mysql_password = 'your_mysql_password' config.mysql_database = 'some_database' # ネスト構造にする際に設定（オプション） config.prepared_query = 'CREATE TEMPORARY
- 52. page 使い方 50 # ネスト構造にする際に設定（オプション） config.prepared_query = 'CREATE TEMPORARY TABLE ...snip...' # 取り込むクエリを指定（必須） config.query = 'SELECT ...' # elasticsearchのユニークキーに使うキーを指定（必須） config.primary_key = 'member_id' # elasticsearchに登録するindexとtypeを指定（必須） config.elasticsearch_index = 'importer_example' config.elasticsearch_type = 'member_skill'
- 53. page 使い方 50 # elasticsearchのユニークキーに使うキーを指定（必須） config.primary_key = 'member_id' # elasticsearchに登録するindexとtypeを指定（必須） config.elasticsearch_index = 'importer_example' config.elasticsearch_type = 'member_skill' # ファイル出力先のパスを指定（必須） config.output_file = 'requests.json' end importer.write_file puts importer.output_file
- 55. page ネスト構造化の仕組み 52 $ curl -XGET http://localhost:9200/sample/ member_skill/1?pretty { "_index" : "sample", "_type" : "member_skill", "_id" : "1", "_version" : 1, "found" : true, "_source" : { "member_id" : 1, "member_name" : "ユーザA", "skills" : [ {
- 56. page ネスト構造化の仕組み 52 "member_name" : "ユーザA", "skills" : [ { "skill_name" : "PHP", "skill_url" : "http://php.net/" }, { "skill_name" : "Ruby", "skill_url" : "https://www.ruby-lang.org/" } ] } }
- 57. page ネスト構造化の仕組み 53 -- prepared_query設定に記述する一時テーブル作成クエリ CREATE TEMPORARY TABLE tmp_member_skill SELECT members.id AS member_id, skills.name AS skill_name, skills.url AS skill_url FROM members LEFT JOIN member_skill_relation ON members.id = member_id LEFT JOIN skills ON skills.id = skill_id;
- 58. page ネスト構造化の仕組み 53 -- prepared_query設定に記述する一時テーブル作成クエリ CREATE TEMPORARY TABLE tmp_member_skill SELECT members.id AS member_id, skills.name AS skill_name, skills.url AS skill_url FROM members LEFT JOIN member_skill_relation ON members.id = member_id LEFT JOIN skills ON skills.id = skill_id;
- 59. page ネスト構造化の仕組み 54 -- query設定に記述する、elasticsearchへ登録するドキュメント を生成するクエリ。 SELECT members.id AS member_id, members.name AS member_name, "SELECT skill_name, skill_url FROM tmp_member_skill WHERE member_id = ${member_id}" AS skills FROM members ここを展開してネスト構造化します
- 60. page ネスト構造化の仕組み 55 -- クエリ実行結果にあるmember_idの値である1をプレースホルダに 代入し、SQLクエリを実行します -- 実行結果を先ほどのskillsの値として代入します SELECT skill_name, skill_url FROM tmp_member_skill WHERE member_id = 1
- 61. page ネスト構造化の仕組み 56 -- skillsの中を事前に作成したテンポラリテーブルから問い合わせ た結果に置き換えてネスト構造化は完了です { "member_id" : 1, "member_name" : "ユーザA", "skills" : [ { "skill_name" : "PHP", "skill_url" : "http://php.net/" }, { "skill_name" : "Ruby",
- 62. page ネスト構造化の仕組み 56 { "member_id" : 1, "member_name" : "ユーザA", "skills" : [ { "skill_name" : "PHP", "skill_url" : "http://php.net/" }, { "skill_name" : "Ruby", "skill_url" : "https://www.ruby-lang.org/" } ] }
- 63. page とても便利！ 57
- 64. page 7. まとめ 58
- 65. page まとめ 59 elasticsearch が本格的に使えるプロダクトへと成長した elasticsearch_mysql_importer を使えば手軽に始められる elasticsearch の国内トレーニングや日本語書籍もあります
- 68. お知らせ
- 69. お知らせ