Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
C L O U D WAT C H を
G R A FA N A + G R A P H I T E で
見 る よ う に し た ら
幸 せ に な っ た 件
2 0 1 5 / 0 4 / 0 3 J AW S - U G 中 央 線 ...
か い し ゃ い ん
せ い べ つ : お と こ
レ ベ ル : 2 7
H P 3 0 / 1 2 0
M P 3 / 1 5
自 己 紹 介
2 0 1 4 / 5 N O W
株 式 会 社 : S Y S T E M O P E ...
S Y S T E M O P E R AT O R
• サービスインフラ設計/構築/監視/運用/構成管理
• 基本的に全アプリを見ている
• ○○担当とかはない
• 現在2名
今日のお話
幸せ?
Cloudwatchを
Grafanaで見れるようにしたら
働きやすくなった
なぜCloudWatchだけではいけなかったか
Grafana/Graphiteとは?
Grafana+Graphiteで実現した幸せ
まとめ
目 次
なぜCloudWatchだけでは
いけなかった幸せが足りなかったのか
CloudWatch + SNS
Management Consoleへ
ログインして
CloudWatch
CloudWatchに閾値設定して
SNSでメール送信設定
CloudWatch + SNS
Management Consoleへ
ログインして
CloudWatch
CloudWatchに閾値設定して
SNSでメール送信設定
CloudWatch + SNS
Management Consoleへ
ログインして
CloudWatch
CloudWatchに閾値設定して
SNSでメール送信設定
閾値設定:自動化必須
メール :見ない見落とす
ログイン:面倒
値の保持:...
アカウント一つを
常時見るような環境なら
まだいいけど
たくさん
ブラウザ足りない…
ブラウザ足りない…
でも常に見るわけじゃないし
閾値設定:自動化OK
メール :ちゃんと見る
ログイン:やったる
としても
見たい時の状況
障害
あの時の負荷って…
ログインして
毎回サービス毎に選んで見るのつらい
この画面いくのに
1. ログイン
2. サービス(RDS)選択
3. インスタンス選択
4. Show Monitoring
A lot of accounts
すぐ見たいのにやきもき
別のアカウントの見てたり
サービス毎に切り替えが必要
たまに表示がおかしい(これはブラウザのせい)
あっ…2週間前までのしかないっす…
つ ら い
一通り監視構成を整えた
Grafana + Graphite
Grafana ??
Javascript + HTML + CSS(1系)
機能豊富なdashboardとグラフエディター
バックエンドとして
Graphite / InfluxDB / OpenTSDB
を選択可能
dashboard情報はElasticsearc...
dashboard
Graphite ??
Graphite
- Scalable Realtime Graphing -
Python
Sensu + Graphiteという事例が結構有名
http://techblog.yahoo.co.jp/operation/2014-sensu-and-graphite/
構成
carbon
ネットワーク経由でのメトリック...
Githubから
Grafana + Graphite
dashboard情報
データ更新
データファイル
これを
こう見れるようにする
Grafana+Graphite
で実現した幸せ
値の投げ入れが自由
アカウント/サービス同時にデータ閲覧
2週間以上残しておける
Time rangeが自由自在
DevOpsな雰囲気
DEMO
値の投げ入れが自由
TAG= DB.account01.test.random
VALUE=`expr $RANDOM % 100`
UTIME=`date +%s`
SERVER_IP= graphiteサーバのIP
echo ${TAG} ${VALUE} $...
この部分
アカウント/サービス同時に
データ閲覧
dashboard
項目説明 CloudFront
ELB
RDS
2週間以上残しておける
[cloudwatch]
pattern = ^cloudwatch.
retentions = 60s:365d
グラフ作成時に指定できる(carbon)
/etc/carbon/storage-schemas.conf
Time rangeが自由自在
DevOpsな雰囲気
Dev
負荷どうですかね?
どうかしました?
Ops
イベント開始したんですけど
CloudWatchで見れますよ
どうやって見るんでしたっけ
(笑)
見ます
本音
Dev
イベント始まったから負荷見といてね。
いっぱいアクセス来ると思うのでよろしく。
CloudWatch?どうみればいいんだっけ?
アラート飛んできてないし問題ないだろ。
(見てみる)…やっぱり問題ないな。
CloudWatchのIAM渡し...
なぜこんなことに
サーバー負荷はsysopが見るものという認識
sysopしか見れないと思われている
それはなぜか?
CloudWatch + SNS
Management Consoleへ
ログインして
CloudWatch
CloudWatchに閾値設定して
SNSでメール送信設定
この画面いくのに
1. ログイン
2. サービス(RDS)選択
3. インスタンス選択
4. Show Monitoring
こんなやらないといけないから
なぜこんなことに
普段から見る自分たちでも手間と思う事
それを専門じゃない人にやってもらうというのは傲慢
見てくださいを、いかに見てもらえるようにするか
必要な情報を必要な人が手間無く見れるように
dashboard
項目説明 CloudFront
ELB
RDS
Dev
負荷どうですかね?
こちらをご覧ください
Ops
布教活動
なにこれ
こーであーでこれがここまで
行くとやばいです
リンクこちらです
DEMO
説明
リンク貼っておきますね
自由に触っていいですよ
Dev
こういうの見れると
うれしいんですよね
何処見たらいいですかね?
Ops
問い合わせ内容が変化してくる
このDBのこの値なんだけど
見れるよう調整しますね
Dev
負荷というものへの意識UP
→改善の意識UP
サービス内部の理解
→サービスへの愛UP
Ops
同じ情報の共有 = 意識の統一
Win - Win
まとめ
Cloudwatchを
Grafanaで見れるようにしたら
全体で負荷を意識する習慣が
少しづつできてきて、サービスの改善
につながるようになった
問題の共有 = 可視化
お互いの手間を考える
見やすい = 正義
幸せ
もうすぐ2.0でるし
みんなでgrafana触って
情報交換しよう
一緒に働いてくれる方大募集中!!
エンジニア・企画問わず
興味のある方はご連絡ください
御 清 聴
あ り が と う ご ざ い ま し た
CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件
CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件
CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件
CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件
CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件
Upcoming SlideShare
Loading in …5
×

CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件

8,759 views

Published on

JAWS-UG中央線第5回勉強会 CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件

Published in: Technology
  • Be the first to comment

CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件

  1. 1. C L O U D WAT C H を G R A FA N A + G R A P H I T E で 見 る よ う に し た ら 幸 せ に な っ た 件 2 0 1 5 / 0 4 / 0 3 J AW S - U G 中 央 線 第 5 回 勉 強 会
  2. 2. か い し ゃ い ん せ い べ つ : お と こ レ ベ ル : 2 7 H P 3 0 / 1 2 0 M P 3 / 1 5 自 己 紹 介 2 0 1 4 / 5 N O W 株 式 会 社 : S Y S T E M O P E R ATO R な ま え     : 西 村   遊 つ い っ た ー :@gacharion Applibot 好 き な AW S サ ー ビ ス : Auto Scaling Cloud Watch
  3. 3. S Y S T E M O P E R AT O R • サービスインフラ設計/構築/監視/運用/構成管理 • 基本的に全アプリを見ている • ○○担当とかはない • 現在2名
  4. 4. 今日のお話 幸せ?
  5. 5. Cloudwatchを Grafanaで見れるようにしたら 働きやすくなった
  6. 6. なぜCloudWatchだけではいけなかったか Grafana/Graphiteとは? Grafana+Graphiteで実現した幸せ まとめ 目 次
  7. 7. なぜCloudWatchだけでは いけなかった幸せが足りなかったのか
  8. 8. CloudWatch + SNS Management Consoleへ ログインして CloudWatch CloudWatchに閾値設定して SNSでメール送信設定
  9. 9. CloudWatch + SNS Management Consoleへ ログインして CloudWatch CloudWatchに閾値設定して SNSでメール送信設定
  10. 10. CloudWatch + SNS Management Consoleへ ログインして CloudWatch CloudWatchに閾値設定して SNSでメール送信設定 閾値設定:自動化必須 メール :見ない見落とす ログイン:面倒 値の保持:2週間
  11. 11. アカウント一つを 常時見るような環境なら まだいいけど
  12. 12. たくさん
  13. 13. ブラウザ足りない…
  14. 14. ブラウザ足りない… でも常に見るわけじゃないし 閾値設定:自動化OK メール :ちゃんと見る ログイン:やったる としても
  15. 15. 見たい時の状況 障害 あの時の負荷って…
  16. 16. ログインして 毎回サービス毎に選んで見るのつらい
  17. 17. この画面いくのに
  18. 18. 1. ログイン 2. サービス(RDS)選択 3. インスタンス選択 4. Show Monitoring
  19. 19. A lot of accounts すぐ見たいのにやきもき 別のアカウントの見てたり サービス毎に切り替えが必要 たまに表示がおかしい(これはブラウザのせい) あっ…2週間前までのしかないっす…
  20. 20. つ ら い
  21. 21. 一通り監視構成を整えた
  22. 22. Grafana + Graphite
  23. 23. Grafana ??
  24. 24. Javascript + HTML + CSS(1系) 機能豊富なdashboardとグラフエディター バックエンドとして Graphite / InfluxDB / OpenTSDB を選択可能 dashboard情報はElasticsearch or SQLite version1.9で1系の開発は終わり2.0が開発中。 現在β版(2015/3/30)
  25. 25. dashboard
  26. 26. Graphite ??
  27. 27. Graphite - Scalable Realtime Graphing -
  28. 28. Python Sensu + Graphiteという事例が結構有名 http://techblog.yahoo.co.jp/operation/2014-sensu-and-graphite/ 構成 carbon ネットワーク経由でのメトリック受信・ストレージへの書き込み whisper ファイル形式の時系列データベース graphite-web
  29. 29. Githubから
  30. 30. Grafana + Graphite
  31. 31. dashboard情報 データ更新 データファイル
  32. 32. これを
  33. 33. こう見れるようにする
  34. 34. Grafana+Graphite で実現した幸せ
  35. 35. 値の投げ入れが自由 アカウント/サービス同時にデータ閲覧 2週間以上残しておける Time rangeが自由自在 DevOpsな雰囲気
  36. 36. DEMO
  37. 37. 値の投げ入れが自由
  38. 38. TAG= DB.account01.test.random VALUE=`expr $RANDOM % 100` UTIME=`date +%s` SERVER_IP= graphiteサーバのIP echo ${TAG} ${VALUE} ${UTIME} ¦nc ${SERVER_IP} 2003 graphiteサーバの2003ポート(default)に対して TAG 値 Unixtime の順で送ればOK
  39. 39. この部分
  40. 40. アカウント/サービス同時に データ閲覧
  41. 41. dashboard 項目説明 CloudFront ELB RDS
  42. 42. 2週間以上残しておける
  43. 43. [cloudwatch] pattern = ^cloudwatch. retentions = 60s:365d グラフ作成時に指定できる(carbon) /etc/carbon/storage-schemas.conf
  44. 44. Time rangeが自由自在
  45. 45. DevOpsな雰囲気
  46. 46. Dev 負荷どうですかね? どうかしました? Ops イベント開始したんですけど CloudWatchで見れますよ どうやって見るんでしたっけ (笑) 見ます
  47. 47. 本音
  48. 48. Dev イベント始まったから負荷見といてね。 いっぱいアクセス来ると思うのでよろしく。 CloudWatch?どうみればいいんだっけ? アラート飛んできてないし問題ないだろ。 (見てみる)…やっぱり問題ないな。 CloudWatchのIAM渡してるから それで見といてくれればいいのに。 Ops ※フィクションです。  会社内でどうこうとか知りません。
  49. 49. なぜこんなことに サーバー負荷はsysopが見るものという認識 sysopしか見れないと思われている それはなぜか?
  50. 50. CloudWatch + SNS Management Consoleへ ログインして CloudWatch CloudWatchに閾値設定して SNSでメール送信設定
  51. 51. この画面いくのに
  52. 52. 1. ログイン 2. サービス(RDS)選択 3. インスタンス選択 4. Show Monitoring こんなやらないといけないから
  53. 53. なぜこんなことに 普段から見る自分たちでも手間と思う事 それを専門じゃない人にやってもらうというのは傲慢 見てくださいを、いかに見てもらえるようにするか 必要な情報を必要な人が手間無く見れるように
  54. 54. dashboard 項目説明 CloudFront ELB RDS
  55. 55. Dev 負荷どうですかね? こちらをご覧ください Ops 布教活動 なにこれ こーであーでこれがここまで 行くとやばいです リンクこちらです
  56. 56. DEMO 説明 リンク貼っておきますね 自由に触っていいですよ
  57. 57. Dev こういうの見れると うれしいんですよね 何処見たらいいですかね? Ops 問い合わせ内容が変化してくる このDBのこの値なんだけど 見れるよう調整しますね
  58. 58. Dev 負荷というものへの意識UP →改善の意識UP サービス内部の理解 →サービスへの愛UP Ops 同じ情報の共有 = 意識の統一 Win - Win
  59. 59. まとめ
  60. 60. Cloudwatchを Grafanaで見れるようにしたら 全体で負荷を意識する習慣が 少しづつできてきて、サービスの改善 につながるようになった
  61. 61. 問題の共有 = 可視化 お互いの手間を考える 見やすい = 正義 幸せ
  62. 62. もうすぐ2.0でるし みんなでgrafana触って 情報交換しよう
  63. 63. 一緒に働いてくれる方大募集中!! エンジニア・企画問わず 興味のある方はご連絡ください
  64. 64. 御 清 聴 あ り が と う ご ざ い ま し た

×