More Related Content
More from 富士通クラウドテクノロジーズ株式会社 (20)
ニフクラログ収集基盤を支えるElasticsearchの紹介
- 1. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
ニフクラログ収集基盤を支える
Elasticsearchの紹介
2019/05/29
富士通クラウドテクノロジーズ 徐
- 2. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
自己紹介
◼名前:
• 徐 家興(じょ かこう)
◼履歴:
• 2015年3月 NAIST卒業
• 交通信号制御と経路案内最適化
• 2015年4月 FJCT新卒入社(5年目)
◼所属:
• クラウドインフラ本部仮想インフラ部
◼仕事:
• ニフクラ(IaaS)のインフラ運営(仮想基盤側)
• ストレージ・監視システム・ログ基盤
- 4. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
ニフクラIaaSログ収集基盤イメージ
storage
network
ESXi
vCenter
データ
保存・検索
可視化
*異常検知
*リソース消費予測
現在消費量 未来消費予測
在庫量
0.02
0.03
0.04
0.05
0.06
0.07
0 50 100 150
ログを蓄積して、可視化分析、アラート検知に使用する
★ 全文検索
★ 大規模分散
★ 高可用性
★ 可視化までに実現簡単
- 6. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearchとは
◼Elastic社が提供する「Lucene」ベースのオープンソース
分散型全文検索/分析エンジン
↓
大量のドキュメントから目的の単語を含むドキュメントを高
速に抽出することができます。
可視化
保存
分析
取り込み
- 7. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch特徴
◼ RESTfulAPI検索 、スコアによる検索、スキーマフリー
◼スケーラブル、大規模分散、高可用性
◼簡単にデータ分析システム構築可能
Data source
Data source
Hadoopなどの分析基盤
- 8. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch注意事項
◼マッピング更新の場合
Longへ変更する場合に
falseへ変更する場合に
index削除してデータ再登録必要
- 9. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch注意事項
◼スプリットブレイン対策が必要
Master-eligible node
(master-role)
Node1 Node2
master
Master Nodeが落ちた
Master Node2
1, 新masterを選出
Master Node2
2,ネットワーク障害より、ヘルスチェック失敗
3,Master Node落ちたと思い込み
Master Master
対策:最小のマスタノード数(半分以上)を決める設定.
計算式はn/2+1で設定する(3台構成の場合は3/2+1=2)
discovery.zen.minimum_master_nodes=2
- 10. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch運用中の課題解決
◼java.lang.OutOfMemoryError、[gc] overheadのエラーが出て、
ESノードが落ちた事象が頻発
• スワップしないように設定(bootsrap.mlockall:true)
• JVM heap size調整(物理メモリの半分までで32GBを超えない)
• field data cacheに上限を与え(indices.fielddata.cache.size: 80%)
• JVM Garbage Collectionを監視したい
◼クエリが重い
• SlowQueryのロギングを有効して活用する
• Query(スコア検索)とfilter(完全一致やrangeなど)を使い分ける
• 必要ないフィールドは検索の際に取得しない
• ES設定チューニング、ノード増強
• ES性能監視したい
• クラスタのステータス、ノードの可用性
• Index、検索のパフォマンス
- 11. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch運用中の課題解決
◼ES Clusterを監視する
• チューニング効果確認
• ノード死活の検知
• 増強判断
• …
CPU,MEM,DISKだけは不十分!
- 12. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
elasticsearch運用中の課題
〇 一つのパッケージで万能
▲ DBチューニング難しい、DBの監
視も必要、slack連携、アラート設定
に手間がかかる(2系、3系)
&
&
〇 構築・アラート設定簡単、時系列DB
Exporter種類多い(ES,kafka,linux server)、
コンテナー監視が得意(k8s,dockter)
×データの長期保存ができない
〇 ES監視とアラートができる
× ES以外(kafkaなど)が監視できない
ElastAlert
&
Zabbix 4.2新機能を期待!!