Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ニフクラログ収集基盤を支えるElasticsearchの紹介

269 views

Published on

2019年5月29日開催のニフクラ エンジニアミートアップ「令和初のクラウド監視超入門 監視ツール活用の基礎」における富士通クラウドテクノロジーズ株式会社仮想インフラサービス部徐家興氏のLT資料。

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

ニフクラログ収集基盤を支えるElasticsearchの紹介

  1. 1. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED ニフクラログ収集基盤を支える Elasticsearchの紹介 2019/05/29 富士通クラウドテクノロジーズ 徐
  2. 2. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED 自己紹介 ◼名前: • 徐 家興(じょ かこう) ◼履歴: • 2015年3月 NAIST卒業 • 交通信号制御と経路案内最適化 • 2015年4月 FJCT新卒入社(5年目) ◼所属: • クラウドインフラ本部仮想インフラ部 ◼仕事: • ニフクラ(IaaS)のインフラ運営(仮想基盤側) • ストレージ・監視システム・ログ基盤
  3. 3. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED アジェンダ ◼ニフクラログ収集基盤について ◼Elasticsearch紹介 •特徴 •注意点 •課題解決
  4. 4. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED ニフクラIaaSログ収集基盤イメージ storage network ESXi vCenter データ 保存・検索 可視化 *異常検知 *リソース消費予測 現在消費量 未来消費予測 在庫量 0.02 0.03 0.04 0.05 0.06 0.07 0 50 100 150 ログを蓄積して、可視化分析、アラート検知に使用する ★ 全文検索 ★ 大規模分散 ★ 高可用性 ★ 可視化までに実現簡単
  5. 5. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED ログ収集基盤アーキテクチャ 5Confidential Storage & Network Cluster
  6. 6. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Elasticsearchとは ◼Elastic社が提供する「Lucene」ベースのオープンソース 分散型全文検索/分析エンジン ↓ 大量のドキュメントから目的の単語を含むドキュメントを高 速に抽出することができます。 可視化 保存 分析 取り込み
  7. 7. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Elasticsearch特徴 ◼ RESTfulAPI検索 、スコアによる検索、スキーマフリー ◼スケーラブル、大規模分散、高可用性 ◼簡単にデータ分析システム構築可能 Data source Data source Hadoopなどの分析基盤
  8. 8. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Elasticsearch注意事項 ◼マッピング更新の場合 Longへ変更する場合に falseへ変更する場合に index削除してデータ再登録必要
  9. 9. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Elasticsearch注意事項 ◼スプリットブレイン対策が必要 Master-eligible node (master-role) Node1 Node2 master Master Nodeが落ちた Master Node2 1, 新masterを選出 Master Node2 2,ネットワーク障害より、ヘルスチェック失敗 3,Master Node落ちたと思い込み Master Master 対策:最小のマスタノード数(半分以上)を決める設定. 計算式はn/2+1で設定する(3台構成の場合は3/2+1=2) discovery.zen.minimum_master_nodes=2
  10. 10. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Elasticsearch運用中の課題解決 ◼java.lang.OutOfMemoryError、[gc] overheadのエラーが出て、 ESノードが落ちた事象が頻発 • スワップしないように設定(bootsrap.mlockall:true) • JVM heap size調整(物理メモリの半分までで32GBを超えない) • field data cacheに上限を与え(indices.fielddata.cache.size: 80%) • JVM Garbage Collectionを監視したい ◼クエリが重い • SlowQueryのロギングを有効して活用する • Query(スコア検索)とfilter(完全一致やrangeなど)を使い分ける • 必要ないフィールドは検索の際に取得しない • ES設定チューニング、ノード増強 • ES性能監視したい • クラスタのステータス、ノードの可用性 • Index、検索のパフォマンス
  11. 11. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Elasticsearch運用中の課題解決 ◼ES Clusterを監視する • チューニング効果確認 • ノード死活の検知 • 増強判断 • … CPU,MEM,DISKだけは不十分!
  12. 12. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED elasticsearch運用中の課題 〇 一つのパッケージで万能 ▲ DBチューニング難しい、DBの監 視も必要、slack連携、アラート設定 に手間がかかる(2系、3系) & & 〇 構築・アラート設定簡単、時系列DB Exporter種類多い(ES,kafka,linux server)、 コンテナー監視が得意(k8s,dockter) ×データの長期保存ができない 〇 ES監視とアラートができる × ES以外(kafkaなど)が監視できない ElastAlert & Zabbix 4.2新機能を期待!!
  13. 13. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED

×