Download as PDF, PPTX
![Yamabiko
[やまびこ]
https://github.com/y-ken/yamabiko
page 26](https://image.slidesharecdn.com/yamabikoreplicatemysqltabletoelasticsearch-131214085610-phpapp01/85/Fluentd-Yamabiko-MySQL-Elasticsearch-fluentdcasual-26-320.jpg)
Uploaded byKentaro Yoshida
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentd Casual Talks #3にて発表した資料の増補版です。
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
- 1. 13th Dec, 2013 Fluentd asa Middleware Engine MySQLのテーブルをElasticsearchへレプリケートする話 Kentaro Yoshida at Fluentd Casual Talks #3 page 1
- 2.
- 3.
- 4.
- 5. 1. Yamabikoとは 本日の流れ 2. 自己紹介 3.活用方法 4. まとめ page 5
- 6.
- 7.
- 8.
- 9. Yamabikoの機能概要 Fluentd (td-agent) をコアエンジンに利用 出力のバッファリングやリトライ機構などを任せられる Fluentd+ fluent-plugin-mysql-replicatorをデーモン化したもの MySQLから、透過的にElasticsearchへレコードの同期を行う AWS RDS・MariaDB・PerconaServer等の互換DBにも対応 任意のSQL文の結果の差分から、insert/update/deleteイベントを検知 SELECT * FROM search_test WHERE DATE_ADD(updated_at, INTERVAL 5 MINUTE) > NOW(); といったクエリで差分同期も可能 page 9
- 10.
- 11. Yamabikoの挙動 mysql> create databasemyweb; mysql> create table search_test ( id int auto_increment, text text, PRIMARY KEY (id) ); page 11
- 12. Yamabikoの挙動 # query insert intosearch_test(text) values('aaa'); # notify event to fluentd # format: replicator.${db}.${table}.${event}.${pk} tag: replicator.myweb.search_test.insert.id record: {"id":"1","text":"aaa"} page 12
- 13. Yamabikoの挙動 # query update search_testset text='bbb' where text = 'aaa'; # notify event to fluentd tag: replicator.myweb.search_test.update.id record: {"id":"1","text":"bbb"} page 13
- 14. Yamabikoの挙動 # query delete fromsearch_test where text='bbb'; # notify event to fluentd tag: replicator.myweb.search_test.delete.id record: {"id":"1"} page 14
- 15.
- 16. 自己紹介 • よしけんさん • @yoshi_ken •(株)リブセンス • Web系インフラの 研究開発エンジニア • Fluentd歴 好きなプロダクト page 16 2012/4月∼
- 17.
- 18.
- 19. インストール 手元のfluentd環境への導入 $ gem installfluent-plugin-mysql-replicator 既存のFluentdとは独立した Yamabiko としての導入 github.com/y-ken/yamabiko にてRPMパッケージを配布中 詳しい設定方法は README.md にまとめています github.com/y-ken/fluent-plugin-mysql-replicator page 19
- 20. 設定サンプル <source> type mysql_replicator host localhost usernameyour_mysql_user password your_mysql_password database myweb query SELECT id, text, updated_at from search_test; tag replicator.myweb.search_test.${event}.$ {primary_key} </source> page 20
- 21. 設定サンプル <source> type mysql_replicator_multi manager_host localhost manager_usernameyour_mysql_user manager_password your_mysql_password manager_database replicator_manager tag replicator.${name}.${event}.${primary_key} </source> page 21
- 22. 設定サンプル <match replicator.**> type mysql_replicator_elasticsearch hostlocalhost port 9200 flush_interval 5s flush_at_shutdown yes </match> page 22
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 34.