polidog が優しく教えてくれるJavaScriptビルドツールのワークショップでの資料 http://polidog.connpass.com/event/30043/

1. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
polidog に
elasticsearch
を教える
2016-06-04
となか（@ftnk）

2. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
自己紹介
名前: となか✓
ID: @ftnk✓
インフラエンジニア
Solaris✓
✓

3. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
今日の目標
Apache のログを Kibana でグ
ラフ化

4. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
環境
今回はこれを叩いてください。
https://github.com/
ftnk/20160604-polidog-
elasticsearch
CentOS 6.8 で動作確認してま
す。

5. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
elasticsearch
Search & Analyze Data in
Real Time
✓
クラスタ✓
REST API✓
Lucene✓

6. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
用語
Index -> database✓
Type -> table✓
Document -> row✓
Field -> column✓

7. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
用語
index の複数形は indices

8. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
用語
ELK/EFK stack
ELK: Elasticsearch + Logstash +
Kibana
✓
EFK: Elasticsearch + Fluentd +
Kibana
✓
✓

9. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
Index の確認
$ curl localhost:9200/_cat/indices?v
$ curator --host localhost show indices --all-indices

10. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
logstash 形式の index
hoge-YYYY.MM.DD 形式の
index
✓
open は hoge-YYYY.MM.DD
全てが検索の対象となる
検索の対象から外すには
close✓
delete✓
✓
✓

11. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
close index
logstash 形式の index (hoge-
YYYY.MM.DD) で運用すると、古
い index を検索対象から外したく
なる。
$ curator --host localhost
close indices
--prefix dstat
--older-than 7
--time-unit days
--timestring '%Y.%m.%d'

12. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
delete index
logstash 形式の index (hoge-
YYYY.MM.DD) で運用すると、古
い index を検索対象から外したく
なる。
$ curator --host localhost
deleteg indices
--prefix dstat
--older-than 7
--time-unit days
--timestring '%Y.%m.%d'

13. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
Template
ある index における filed と
type の mapping を指定する
もの
各 field の type の指定がなけれ
ば、文字列として扱われる
✓
✓

14. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
Template の確認
$ curl localhost:9200/_template/?pretty

15. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
Template の登録
$ curl -XPUT localhost:9200/_template/${name}
-d '..template..'

16. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
Template の存在確認
$ curl -XHEAD localhost:9200/_template/${name}

17. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
Template の削除
$ curl -XDELETE localhost:9200/_template/${name}

18. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
mapping の確認
$ curl localhost:9200/dstat-2016.06.04/_mapping?pretty

19. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
plugin のインストール
elasticsearch-HQ
$ sudo /usr/share/elasticsearch/bin/plugin install royrusso/elasticsearch-HQ
http://localhost:9200/_plugin/
hq/

20. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
fluentd
Fluentd is an open source
data collector for unified
logging layer.

21. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
install fluentd
td-agent で。
$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh

22. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
configure fluentd
/etc/td-agent/td-agent.conf

23. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
install fluent plugin
$ /opt/td-agent/usr/sbin/td-agent-gem
install fluent-plugin-elasticsearch

24. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
Kibana
data visualization platform✓
elasticsearch に貯めたデータ
を可視化
✓
デフォルトでは port 5601 で
起動
✓

25. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
Kibana の plugin
$ sudo /opt/kibana/bin/kibana plugin --install elastic/sense

26. polidog に elasticsearch を教える - 2016-06-04 Powered by Rabbit 2.1.9
まとめ
使いはじめるのは簡単