Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

nifcloud_meetup

915 views

Published on

ニフクラエンジニア交流会で発表された、LTの資料です。

Published in: Technology
  • Be the first to comment

nifcloud_meetup

  1. 1. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED ストレージ監視とかのはなし ~だいたいOOOが便利だという話~ 20171011_NiftyCloud_Meetup_LTSRE部 吉村
  2. 2. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED 話題 今日はニフティクラウドのストレージ監視の話をします 登場するかもしれないソフトウェア
  3. 3. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED 自己紹介 名前 • 吉村 晃 仕事 • 富士通クラウドテクノロジーズ (ニフティ2014年入社) • インフラSRE部 • ストレージ寄り(≠物理)の運用・監視などを主に担当 業務でよくお世話になるもの
  4. 4. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED そもそも、なぜ私たちは監視することになったか  時は2015年夏、ストレージチームは悩んでいた(私は新人でした) • ディスクが・コントローラが・筐体が(理解し難い理由で)壊れ た!!!!!! • ストレージのファームウェアにバグが!!!!!!!!! • 容量が尽きそう!!! • なんか性能出てないんですけど系QA!! != 精神的ダメージ度合い ※ 当時の問題は基本的に解決済みとなり、現状とは異なります  そうだ、監視システムをつくろう! • 監視システムはなかったのか? → もちろんあった。でも不満がいくつか • そのときの(雑な)要件 : 秒単位の、いろんなデータを、手間無く見れる
  5. 5. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED つくった 監視VM slave001 管理用VM Master 管理用VM Backup 監視VM slave002 監視VM slave003 Zookeeper クラスタ Storages Zabbix Server MariaDB ES1 Kibana Influxdb1 Grafana Bosun データ取得 ZabbixSender いろいろな機器があります
  6. 6. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED 意図したところ 監視VM slave001 管理用VM Master 管理用VM Backup 監視VM slave002 監視VM slave00X Zookeeper クラスタ Zabbix Server MariaDB ES1 Kibana Influxdb1 Grafana Bosun データ取得 ZabbixSender (かんりがめんどうだし) Mesosで監視自体の 可用性・拡張性Get (あたらしいのこわいので) Zabbixでデータ冗長化 (らくしてデータみたいから) Grafanaのダッシュボード (データつかいまわしたいから) Kafkaにいったん集約 Storages いろいろな機器があります
  7. 7. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED われわれが得たもの 圧倒的ダッシュボード群 VMから見たレイテンシ ストレージ機器の性能値情報 ストレージ機器のログ (特定操作のタイミング表示なども)
  8. 8. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED われわれが得たもの ストレスフリー VMから見たレイテンシ ストレージ機器の性能値情報 ストレージ機器のログ (特定操作のタイミング表示なども) 秒単位の 複数データを 手間無く(数秒で) みれる
  9. 9. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED でも、これってじつは
  10. 10. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED 気づいてしまったか (すごいダッシュボードつくるくん) がすごいのでは
  11. 11. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED とつぜんのGrafana Good/Bad Grafanaのいいとこ • いろいろなデータソース(DB)対応 • GUIでクエリ作れるので手書きしなくていい • テンプレートとかアノテーションとかアラートとかの良さ Grafana微妙なとこ • 複数データソースが1グラフに並ばない • (当然)データソースの構造がわかってないと使えず・・・
  12. 12. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Grafanaはいろんなデータソース読める 公式で34データソースらしい MySQLもあると聞きました
  13. 13. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Query Editor クエリもGUIである程度追従してくれる Influxdb Prometheus
  14. 14. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED Template, Annotation, Alert テンプレート アノテーション アラート
  15. 15. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED さいごに  監視は大事。でもログデータ見るのはもっと大事だと思います • Grafana使うと色々捗ります。どうせなら楽しく監視しましょう  ニフティクラウドのストレージ監視はこれらのソフトに強く支えられています 紹介できませんでしたが Influxdbもいいやつですよ
  16. 16. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED 参考 : 全体図 監視VM slave001 管理用VM Master 管理用VM Backup 監視VM slave002 監視VM slave003 Zookeeper クラスタ Mesosクラスタ(監視拡張性/冗長化を担保) Zabbix Server MariaDB Zabbix(監視データ冗長化 担当) Elastic + Kibana (容量視覚化) ES1 Kibana Influxdb + Grafana + Bosun (保存用) (ダッシュボード) (アラート) Influxdb1 Grafana Bosun データ取得 ZabbixSender Storages いろいろな機器があります

×