Your SlideShare is downloading. ×
0
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

私がMuninに恋する理由 - インフラエンジニアでも監視がしたい! -

50,303

Published on

2012年12月11日 Tokyo Linux Study #4 #tlstudy の発表スライドです。なぜリソース監視が必要なのか?という所がメインです。

2012年12月11日 Tokyo Linux Study #4 #tlstudy の発表スライドです。なぜリソース監視が必要なのか?という所がメインです。

Published in: Technology
1 Comment
127 Likes
Statistics
Notes
No Downloads
Views
Total Views
50,303
On Slideshare
0
From Embeds
0
Number of Embeds
24
Actions
Shares
0
Downloads
0
Comments
1
Likes
127
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 私がMuninに恋する理由- インフラエンジニアでも監視がしたい!-This is the reason why I use Munin for monitoring.I’m Not Afraid of Anything AnymoreMunin User Group Japan http://munin.jp/Masahito Zembutsu @zembutsuDec 11, 2012 , Tokyo Linux Study #4 #tlstudy
  • 2. 今 ま で な か っ た ド キ ド キ を。
  • 3. インフラエンジニアでも監視がしたい!
  • 4. 今日のテーマTODAY’S RECEIPE
  • 5. Muninを使ってインフラ運用現場の負担が減ればそれはとっても、うれしいなって。
  • 6. \ /私は誰? \ 丶 i. | / ./ / \ ヽ i. .| / / / \ ヽ i | / / / \ -‐ Zembutsu Masahito ー __ わ た し で す --• 前佛 雅人 @zembutsu 二 / ̄\ = 二  ̄. | ^o^ |  ̄ -‐ \_/ ‐- – Solutions Engineer ( 萌えるSE ) / • インフラエンジニア的な仕事メイン / ヽ \ • 株式会社リンク at+link サービス開発部 ( http://www.at-link.ad.jp/ ) / • “技術者に安心と休息を” 提供するサービス追求(運用/監視/自動化) 丶 \ / / / | i, 丶 \ / / / | i, 丶 \ – オープンソース系・クラウド系コミュニティ活動 • http://pocketstudio.jp/log3/ – 主な職歴 • 2000年 4月~ リモート一次対応サポート部隊。 ISP サポート • 2008年 5月~ 社内ネットワーク保守・通常運用 • 2010年11月~ 一次&二次エスカレーション対応 • 2012年 7月~ とあるデータセンタ内での運用・開発・対応等々 • 2012年10月~サービス開発部だけど仕事の中身は同じです。 『オンプレだけどioDriveさえあれば関係ないよねっ』
  • 7. 鯖を捌くOps的、何か DevOps!
  • 8. ―Dont forget. always, somewhere, someone is fighting for you. ―As long as you remember her.Operation you are not alone.運用 忘れないで、いつもどこかで誰かがあなたの為に戦っている。 彼女を覚えている限り、あなたは一人じゃない。 (出典:魔法少女まどかマギカ最終話「わたしの、最高の友達」)Monitoring監視
  • 9. This is an image photograph of the data center that I’m working. This Photo is under creative commons license by torkildr http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
  • 10. A HUMAN WORKホスティングサービス業務 サーバの形、心の形。見知らぬ、仕様書。光、そして影。 クラウド、来日。変わる業界。まごころを、お客様へ。DECISIVE BATTLE障害対応 鳴り止まない電話。静止したデータセンタの中で。 優先度の選択を。電源停止に至る病、そして。 営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。 You can advance.次世代ニーズに向けた挑戦 特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
  • 11. Software Design 11月号Munin ネタで寄稿いたしました( ^ω^)
  • 12. 今日のセミナーで共有したい事。1. なぜリソース監視が必要なのか?2. なぜMuninなのか?3. Muninの使いどころ。
  • 13. 個人的な想い。。。①リソース監視という、武器を手に入れよう。 Wille zur Macht②運用効率の、劇的な改善を目指そう。『みんなで幸せになろうよ。』(出典:後藤 喜一 警視庁警備部特科車両二課第二小隊長,機動警察パトレイバー)
  • 14. This Photo is under creative commons license by The_GUThttp://www.flickr.com/photos/frogbelly/2709034486/in/photostream/
  • 15. This Photo is under creative commons license by keepitsurrealhttp://www.flickr.com/photos/keepitsurreal/5255791061/in/photostream/
  • 16. Misattribution of Arousal 吊り橋効果と、ドキドキ感… そういえば、障害対応も ドキドキしませんか。。。This Photo is under creative commons license by JamesZ_Flickrhttp://www.flickr.com/photos/jamesz_flickr/133963084/
  • 17. 今 ま で な か っ た ド キ ド キ を。
  • 18. 障 害 対 応 ・ト ラ ブ ル シ ュ ー テ ィ ン グ 。 あ れ 、も し か し て、何 か 変 ?
  • 19. (;´Д`)ごめんなさい、ごめんなさい、ごめんなさい
  • 20. 「変」 を 見 つ け る ト ラ ブ ル シ ュ ー ト。
  • 21. インフラエンジニアでも監視がしたい!
  • 22. # 1 わ けリソース監視が必要な理由。This is the reason why I need you.■□□□□
  • 23. 監視手法の変化を強いられているんだ!←結論 UNDER COMPLUSION OF MONITORING METHOD
  • 24. ちょっと重いので調べてください^^• 「なんとなく重い」 – 明確な障害原因が特定しにくいケースが増加• もうちょっと、頑張らないとだね – なんていう、精神論は現場が疲弊するだけ。
  • 25. 理由:壱 気がついた時には、始まっていたという話。By the Time we Realized It, It Had Already Begun
  • 26. 14年前くらいの脅威 予期せぬアクセス増といえば、 Yahoo! トピックからのリンクだっ たり、匿名掲示板経由の炎上が殆 どでした。それ以外は、計画的に アクセスを予測できたと思います。
  • 27. この頃 SNS を通して情報が拡散され、 まったくピークの読めない時間帯 にアクセスが殺到してしまう環境 が整ってしまいました。
  • 28. 気づいた時には始まっていたという話• アラートで検出できないケースが急増 – SNS向けサービス提供事業者様 – 閾値を超えた時には、時既におそし• 迅速な対応へのニーズ – 1分あたりの損失が、ケタ違い• 今すぐ対応しなくてはいけない
  • 29. 理由:弐クラウド時代、襲来 Cluod Computing Attack
  • 30. 一昔前の構成 BIND このあたりを抑えておけば、おk
  • 31. 割と今時の構成
  • 32. こんなの絶対おかしいよ!! BINDサーバ台数が増えたり、管理対象が増えているので、現場負担が増えつつある。また、障害発生時は、特定に時間がかかる要因の一つではないでしょうか。
  • 33. どうしてこうなった…• 障害対応のありかたが変わった
  • 34. 普段は東京で仕事をしながら、 富山県で稲作農業も行ってます。これは、今年の田植えの様子 with 姪
  • 35. こんな感じの水田。 今年の作付け面積は、東京ドーム1個分ほどでした。
  • 36. 水回りの管理はアナログ。昔から同じ手法。 効率化したいなと思うのですが、ハテ、 なんとなくサーバ管理に通じるような。。
  • 37. 「ま、ナントカなるか…。」★たくさんのサーバ環境 ★たんぼの水回り• 今のサーバ台数だったら、 • 今の面積だったら、 人も監視したほうが確実だよね。 人が巡回した方が確実だよね。• 複雑な判断条件もあるしね。 • 複雑な判断条件もあるしね。 (日時のアクセス変動) (天気や水温)• システム化は大変だよ。 • システム化は大変だよ。 (面倒ってこと) (面倒ってこと)
  • 38. You sure that’s enough armor(tools)?• “No problem. Everything’s fine.” – ps – top – vmstat そんな装備で大丈夫か? – iostat 大丈夫だ、問題無い。 – dstat Really? – free – netstat – sar (sysstat) …etc
  • 39. Before After こんなの絶対おかしいよ! This Just Cant Be Right!!
  • 40. 障害対応のありかたが変わったかつて いま (present day present time, hahaha!!)• 1台や数台構成 • 複数台が前提• Apache, Sendmail, Perl • 従来環境• PostgreSQL, MySQL +nginx,Tomcat,ruby,PHP,Py• たまにアプライアンスあり thon,memcached,Key-Value Store,Hadoop,Cassandra,M• スケールしない ongoDB…etc(仲間が増える• スペックアップで解決する よポポポポーン♪) • スペックアップで解決しない 事が多い
  • 41. 障害対応の前提の変化に対応を。 – ① SNS の普及 • リアルタイムに進行するコミュニケーション – ②クラウド・コンピューティング技術の普及 • リアルタイムにコンピュータリソースを増減 • 新しい技術要素の登場 – 複数台マシン・機器構成が「割と普通」な環境 – KVS (key-value store)、分散データベースの登場従来の監視手法の限界 → もしかして、リソース監視が有効?
  • 42. # 2リソース監視を始めよう。Why we need resoruce monitoring?■■□□□
  • 43. 障害発生時に大切な事• 原因切り分けが最優先"われわれが行動するばあいには、気づくことが先決条件である。技術があれば、何でも解決できるわけではない。技術以前に気づくということが必要になる。日本にはいくらも技術屋はいるがなかなか解決出来ない。気づかないからだ。"本田宗一郎(2008) 『ざっくばらん』 PHP 研究所 10pp.
  • 44. まずはリソース監視を始めよう I Wont Rely On Anyone Anymore
  • 45. リソース監視とは• 変化を記録する – sysstat もある種の監視• さらに、グラフを生成する。通知する。 – 視認性の向上 – 何かが起こった時に、把握できるようになる。
  • 46. 運用の属人性を排除 I Wont Rely On Anyone Anymore
  • 47. スーパーハカーリソース監視は
  • 48. リソース監視の有無• 従来のアラート対応(死活監視)のみの場合 – 障害が起こった後に、調査が必要• リソース監視がある場合 – 障害が起こった後に、調査が必要 – しかし、比較的短時間で状況が把握できる – 多くは、調査の為にログインする必要が無い
  • 49. もう貴方が ログを読む必要は無いわ。 Munin is a networked resource monitoring tool.僕にログを読ませてください!シンクロ率0.00000000%ログだけは読まんといてくださいよ!
  • 50. 様々なデータを瞬時に把握出来る• グラフを通した視認性の高さ – 短時間で複数台の状況を把握できる。異常値(スパイク)の把握が容易。 – 得られるもの:迅速な対応• 属人性の排除、少人数での対応を実現 – ○○さんが居なくても、だいたい分かる – 得られるもの:迅速な対応• 過去データの蓄積 – 傾向を手軽に分析できる(過去1年分まで) – 得られるもの:迅速な対応
  • 51. まとめ:リソース監視があれば• 障害発生後のトラブルシューティングが容易に – 短時間で対応できる – 少人数で対応できる問題発生時、沢山のコンソールを立ち上げて状況を把握するのは、あまり現実的ではなくなってきています。クラウドの時代だからこそ、動的に環境が変化するので、逆に監視すべき対処が増えつつあります。この問題に対する解決の近道が、リソース監視であり、手軽なツールがMunin なのです。
  • 52. # 3そしてMuninは舞い降りた。The Munin has landed.■■■□□
  • 53. MuninNetworked Resource Monitoring Toolhttp://munin-monitoring.org/http://munin.jp/
  • 54. Munin シャキーン(`・ω・´)• http://munin-monitoring.org/ – リソース監視ツール • トレンドの変化を解析できる • “何が性能を殺しているのか?”が分かる – プラグアンドプレイな設計 • 標準で、多くのグラフを表示できる Munin is a networked resource monitoring tool that can help analyze resource trends and "what just happened to kill our performance?" problems. It is designed to be very plug and play. A default installation provides a lot of graphs with almost no work.
  • 55. Fugin Munin “thought” “memory” 思考 記憶This Photo is under creative commons licensehttp://en.wikipedia.org/wiki/File:Odin hrafnar.jpg
  • 56. 敢えて言おう、リソース監視ツールであると。 Munin is a networked resource monitoring tool.
  • 57. Environment• Perl5• OS – Linux • Source code ( version 2.0.7 ) • Binary Package – Red Hat Enterprise Linux 系 ( EPEL ) – Debian – openSUSE – MacOS X – Windows Muninは Perl 言語で記述されています。 慣れると、ノードのセットアップは3分程度で 終わることもできます。
  • 58. ユーザ視点 Muninの構造はシンプルです。ユーザ視点では、 単純に生成されたグラフを参照するだけ。 It is only simple structure. The user refers to the data on the server.
  • 59. Munin そのものは、5分に1回、ノード(munin-node)からデータを収集し、RRDtool にデータを格納しています。
  • 60. demo• http://demo.munin.jp/• 状況を知るのに便利 – リソース一覧 – ズーミング機能
  • 61. Muninの一覧性 ∩_∩ 人人人人人人人人人人人人人人人人人人人人人人人人人人人人人 / \ /\ < すごい一体感を感じる。今までにない何か熱い一体感を。 > | (゜)=(゜) | < 風・・・なんだろう吹いてきてる確実に、着実に、俺たちのほうに。. > | ●_● | < 中途半端はやめよう、とにかく最後までやってやろうじゃん。 >/ ヽ < ネットの画面の向こうには沢山のサーバがいる。決して一人じゃない。 >| 〃 ------ ヾ | < 信じよう。そしてともに戦おう。 >\__二__ノ < 障害や過負荷はあるだろうけど、絶対に流されるなよ。 > YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY 縦軸はサーバ、横軸はリソースです。
  • 62. Muninの一覧性 ∩_∩ 人人人人人人人人人人人人人人人人人人人人人人人人人人人人人 / \ /\ < すごい一体感を感じる。今までにない何か熱い一体感を。 > | (゜)=(゜) | < 風・・・なんだろう吹いてきてる確実に、着実に、俺たちのほうに。. > | ●_● | < 中途半端はやめよう、とにかく最後までやってやろうじゃん。 >/ ヽ < ネットの画面の向こうには沢山のサーバがいる。決して一人じゃない。 >| 〃 ------ ヾ | < 信じよう。そしてともに戦おう。 >\__二__ノ < 障害や過負荷はあるだろうけど、絶対に流されるなよ。 > YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
  • 63. 比較的単純な構成• クライアント・サーバーモデル – cronを使った定期処理 – RRDtoolによるデータ管理・グラフ生成 – munin-nodeがデータを介在• プラグインでデータ取得 – サーバのシステム・ネットワーク・アプリケーション – Perl or シェルスクリプト – 比較的セットアップが簡単
  • 64. Muninの残念な所。。• 重い – Verson 2.0 で大幅改善• ユーザ管理機能が無い• 設定は全てコマンドライン上• 日本語環境非対応• ドキュメントがバラバラ – 本家(英語)ですら…(最近整備が始まりました) – ある意味上級者向け(我々にとってはご褒美です)• 傍からは、ブラウザ開いて遊んでるように見える←
  • 65. # 4Muninの眼、実例。Munin-eye.■■■■□
  • 66. 様々なリソース System Resrouces
  • 67. Muninは標準で色々取れます• システムリソース – CPU使用率、メモリ、Swap、ディスク使用率、IOPS、ディスクのレ イテンシ、Load Average、スレッド数、vmstat、温度、等々• ネットワーク – パケット数、トラフィック、TCP、UDP、netstat、等々• アプリケーション・データベース – Apache、Nginx、Tomcat、MySQL、PostgreSQL、sendmail、 Postfix、BIND、等々サーバにログインすることなく、何が起こっているかが把握できる所がポイントです。
  • 68. Load Average上昇 CASE: A
  • 69. 事象:Load Average 急上昇 物理メモリ不足の兆候 原因: sendmail の大量 CPUの負担増加 のキュー発生
  • 70. BINDへのクエリ CASE: B
  • 71. 普段とは異なる状況から、不正アクセスや攻撃の疑い
  • 72. MySQLクエリ CASE: C
  • 73. 事象:MySQLの処理が頭打ち?原因はどこに? ディスクのスループットは問題なし。 CPUの処理にも負担なし。 → MySQL のチューニング余地を検討
  • 74. 不正アクセス検出 CASE: D
  • 75. 事象:Postmaster宛のエラーメールが急増。httpdの動作ユーザ権限によるもの。Muninで見ると、キュー数が急増 通常とは異なったアクセス兆候。 当該時間の httpd のログを調査し、 不正アクセスを発見→直ちに対処
  • 76. その他Other Resrouces
  • 77. AWS の料金表示プラグインを 書いてみました。API 経由で データを取得し、Munin に取 り込みグラフ化します。https://github.com/zembutsu/AWS-EstimateCharge
  • 78. とある電子書籍媒体の冊数を数えることも出来ます。Muninは数値化されたものなら、何でも簡単にグラフ化できます。
  • 79. こちらは、とある電力会社の総発電量と供給量のグラフです。
  • 80. 簡単な予測 Forecasting
  • 81. ディスクの使用率が 100% に達する見込みも立てられます。
  • 82. # 5新しい監視スタイルを探して。Its new ideas based on the past.■■■■■
  • 83. リソース監視ツールの仲間達 ‐-、 ィ-‐、 | ‐-⊂⊃-‐ }⌒ヽ_ノ|r、 / >´ ̄ ̄ヽー、__ノ \二ニ─‐ニ´__/ /_____ ヽ ハノ\ <´____ノ、 ヽ >─、 l r-、 r-、\_r-| / r-、 r-、\r-} | ⌒ ) l ⌒ ) Some Fascinating Monitoring tools. \(´ ̄ ̄⊃ 厂 \ (´ ̄ ̄フ ノ´ >二二<´ >⊂ロ⊃< 〈_,ィ o ト、〉、 <_,ィ o ト、_> / / ノ o ( 、ヽ / / |_o_| | | mn∠___\ nm レm(_r-,_) レm \‐∨‐/ \∨/ ⊂-┴-⊃ ⊂-┴-⊃ 土 | 干 二、 /)⌒) ⌒ゝ丶/ | ‐┼`` ‐─ァ`` rノ、 l rノ、 _ノ .レ ノ 、_ (__ .l rノ、 (_ た~のし~い な~かま~が
  • 84. リソース監視系の比較http://www.munin-monitoring.org/ http://oss.oetiker.ch/rrdtool/ http://oss.oetiker.ch/mrtg/ 私、樹になります! http://www.zabbix.com/ http://ganglia.info/ http://www.cacti.net/ http://www.nagios.org/
  • 85. リソース監視系の比較http://www.munin-monitoring.org/ http://oss.oetiker.ch/rrdtool/ http://oss.oetiker.ch/mrtg/ snmpd http://www.zabbix.com/ http://ganglia.info/ http://www.cacti.net/ http://www.nagios.org/ C
  • 86. 主要ツール(リソース系)の比較表 ツール 種別 データの管理 設定方法 管理画面(WebUI) 通知機能 Munin リソース監視 RRDTool CUI △ (参照のみ) △ Cacti リソース監視 RRDToolとMySQL CUI/GUI ○ ○ MRTG リソース監視 独自形式 CUI △ (参照のみ) × Zabbix 統合監視 MySQLやPostgreSQL等 GUI ○ ○ Nagios 統合監視 MySQLかPostgreSQL CUI/GUI ○ ○ Hinemos 統合監視 PostgreSQL GUI ○ ○特定のツールが優れているかどうかではなく、用途に応じた使い分け・共存が可能なのです。
  • 87. 現代的リソース監視 Amazon CloudWatch http://aws.amazon.com/ Datadog http://www.datadoghq.com/Sensu New Relichttp://joemiller.me/2012/01/19/getting-started-with-the-sensu-monitoring-framework/ http://newrelic.com/
  • 88. もう障害対応も怖くない Im Not Afraid of Anything Anymore
  • 89. Muninが変えた、障害対応の流れ• ツールにたよらない場合 – 各種ログの調査、コマンド実行(sysstat等) – 人の手が掛かり、時間もかかる←致命的• Munin があれば… – サーバにログインしなくとも、状況把握 – 視覚的に比較できるので、異常値検出が用意 – 迅速な対応が可能 • 障害対応の Plan-Do-Check-Action (PDCA) • グラフを見た瞬間「この障害対応のエンディングが見えたッ!」
  • 90. とあるホスティングの場合• Muninはマジで仕事に欠かせません。 – とにかく入れる – 片っ端から入れる – 無駄に入れる
  • 91. /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽ Plan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::|\キター/ |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ∧_∧  ̄||ヽ、 ヽ__と/ ̄ ̄ ̄/ | 障害個所推測( ) ||_|  ̄\/___/(__ つ三_ | カタカタ /__ヽ) || || カタカタ 障害対応PDCA Do _||_J || || 円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ 実行 の予感!! Action / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、 | ||__|| < 丿 | どこが障害ポイントなんだ? ,. -‐‘’‘’‘“”¨¨¨ヽ | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________ ノ) (.___,,,... -ァァフ| あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./ | / 改善 |i i| }! }} //| ノ)ノ,(ノi |l、{ j} /,,ィ//| 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ、_ノ/ u {:}//ヘ 思ったらいつのまにかバックエンドのMySQLをみてた』 |リ u } ,ノ _,!V,ハ | ┐) ∧,∧ ノコマンド実行 /´fト、_{ル{,ィeラ , タ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( / ヾ|宀| {´,)⌒`/ |<ヽトiゝ Check おれも何をされたのかわからなかった… ,゙ / )ヽ iLレ u | | ヾlトハ〉  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ |/_/ ハ !ニ⊇ /:} V:::::ヽ 頭がどうにかなりそうだった… (/ 川口 /ノ ( ) やめて! // 二二二7T /u __ /:::::::/`ヽ /´r -―一ァ‐゙T´ "´ /::::/-‐ \ ioDriveだとか超スピードだとか  ̄TT ̄ と、 ゙i / // 广¨´ / /:::::/´ ̄`ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ノ / ノ:::::`ー-、___/:::::// ヽ } _/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::... イ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
  • 92. 24時間365日の運用支援から、 緊急障害対応のお供まで。 運用を支えるMunin-。 The Only Thing I Have Left To Guide Me
  • 93. 今後の監視スタイルは? Cant Stop, Cant Stop, Cant Stop
  • 94. 人間がボトルネックではないのか?• 人間が人間しか出来ない事に集中するべき – 障害対応の自動化 申し訳ありません、ぶっちゃけ、 自分が楽をしたいだけなのです。 – 自動デプロイ技術の普及 色々面倒なのは嫌なのです(;´Д`)• 未来は正直わかりません。模索中。。 – ただ、リソース監視を使うだけでも、変わった。 – なにかこういう研究会とか、仕事で出来ないカナー
  • 95. 僕からのお願い。• もし、今日セッションでMuninが気になったらまずは、試してみませんか?• きっと、そこには、まだ誰も知らない運用のありかた(未来)があるのかもしれません。
  • 96. 今日のまとめ・障害をスムーズに乗り切るため、 リソース監視をはじめてみよう! 「変」を発見するために。・
  • 97. 今 ま で な か っ た ド キ ド キ を。
  • 98. つづく
  • 99. Reference『ウェブオペレーション』 サイト運用管理の実践テクニック O’REILLY JAPAN John Allspaw、Jesse Robbins 編 角 征典 訳 2011年05月発行 278ページ ISBN978-4-87311-493-4
  • 100. 来月のセミナーでお時間を頂くことに なりました。
  • 101. • 第50回 InfoTalk – 『ラトビア帰りのエンジニアが語る、 Zabbixの機能と今後、OSSエンジニアの あるべき姿』Zabbix Japan 寺島広大氏 – 『Muninは舞い降りた』前佛雅人 -リソース監視を通して、運用現場を変える話- Muninはオープンソースのリソース監視ツールであり、様々なサーバリソースの 取得やグラフ化を行う事に特化しているツールである。死活監視だけではなく、 何故、リソースも監視する必要性があるのか。本公演ではMuninユーザ会の前佛 雅人が、自身のホスティング業務における監視体制や、運用サポートの様子など 実例を交えながらMuninの使いどころを紹介する。そして、クラウドコンピュー ティング時代における監視体制の目指すべき方向について考察する。• http://pk.aiit.ac.jp/• 2013年1月18日(金) 19:00 ~ 21:00
  • 102. もう1つ予告!
  • 103. 薄い本
  • 104. 冬コミ、参戦。 3日目です!COMIC MARKET C83
  • 105. • タイトル データベースのみな らず、IT技術に関す る読み物系です。 – The Database Times vol.2 こちらにMunin ネタ で寄稿させていただ• サークル きました。 – Hotchpotch Society http://hayamiz.com/~hotchpotch/3日目 12/31(月) ■ Hadoopつかったら負けかなと思ってる (by はやみず) ■ IRRの歩き方 (by yuyarin) ■ DNS その攻撃手法 (by suu-g)東Y-18b ■ C言語、LLVM、クラウド。 (by hogelog) ■ パターン認識の「構造と力」ー逃走論を超えてー (by 早水 桃子) ■ Muninは舞い降りた – The Munin has landed – (by 前佛 雅人) ■ PgDay 2012 Japan レポート (by はやみず)
  • 106. 3日目 12/31(月)東Y-18b こんな感じで、今日このス ライドの内容を、割とまと も風なテキストに落とし込 んであります。
  • 107. 次回もサービス(ry
  • 108. Questions?• もう少しkwsk訊きたい所はありますか? / ̄\ | | \_/ | / ̄ ̄ \ / \ / \ / ⌒ ⌒ \ よくぞ訊いてくれた | (__人__) | 褒美としてオプーナを買う権利をやる \ ` ⌒´ / ☆ /ヽ、--ー、__,-‐´ \─/ / > ヽ▼●▼<\ ||ー、 / ヽ、 \ i |。| |/ ヽ (ニ、`ヽ .l ヽ l |。| | r-、y `ニ ノ \ l | |ー─ |  ̄ l `~ヽ_ノ____ / ̄ ̄ ̄ ̄ヽ-ヽ-- / オプーナ /| .| ̄ ̄ ̄ ̄ ̄ ̄|/| | ̄ ̄ ̄ ̄ ̄ ̄|/| ______ / ̄オプーナ/|  ̄|__」/_オプーナ /| ̄|__,」___ /| | ̄ ̄ ̄ ̄ ̄|/オプーナ ̄/ ̄ ̄ ̄ ̄|/ オプーナ /| / .| | ̄ ̄ ̄ ̄ ̄| ̄ ̄ ̄ ̄ ̄|/l ̄ ̄ ̄ ̄| ̄ ̄ ̄ ̄ ̄|/ | / | ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄|
  • 109. Reference『Muninで始める実戦★リソース監視』 俺のサーバがこんなに重いはずが無い、を乗り切るために http://www.slideshare.net/zembutsu/practical-resource-monitoring-with-munin
  • 110. References• Munin • Magazine – http://munin-monitoring.jp/ – Software Design 2012年11月号 – 第二特集 Muninが手放せない理由• Munin User Group Japan – p.77-110 – http://munin.jp/ – http://munin.jp/wiki/• Slideshare – http://slideshare.net/zembutsu/

×