新人エンジニアに贈る
今日から業務で使える


17                          の   運用系Linuxツール
                                       えんかん           ことわり




そして、円環の理
Finale and Another Starting Point with useful tools
Masahito Zembutsu @zembutsu
Apr 13, 2013 qpstudy 2013.04 #qpstudy
このスライドは…                                    祝!! QP3周年
                                          おめでとうございます!!


• 概要
 – “qpstudy 2013.04”の @zembutsu LT 発表資料です
  『qpstudy3周年記念LT大会         〜新人さん、業界にようこそ!〜 with ビール』
   http://www.zusaar.com/event/613004


• 共有したかった事
 – 2013年、這い寄る混沌・ガラケーは衰退しました
   • 基本コマンドの連携は必須
   • 時系列リソース監視が鍵
   • 仲間達と協力する心も大切
(意訳:コイツ馬鹿ww)
―Don't forget. always, somewhere,
                   someone is fighting for you.
               ―As long as you remember her.
Operation
                              you are not alone.



運用
               忘れないで、いつもどこかで誰かがあなたの為に戦っている。
                     彼女を覚えている限り、あなたは一人じゃない。
                          (出典:魔法少女まどかマギカ最終話「わたしの、最高の友達」)




Monitoring




監視
こんな職場のイメージです。
                                                                       去年からデータセンタの中で働いてます。




This Photo is under creative commons license by torkildr
http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
A HUMAN WORK


ホスティングサービス業務
    サーバの形、心の形。見知らぬ、仕様書。光、そして影。
    クラウド、来日。変わる業界。まごころを、お客様へ。
DECISIVE BATTLE


障害対応
  鳴り止まない電話。静止したデータセンタの中で。
  優先度の選択を。電源停止に至る病、そして。
                                 仕事も色々…
  営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。
                      You can advance.


次世代ニーズに向けた挑戦
  特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
1
実戦で使える13のコマンド
             /4


    ARTS OF OURS
•   ping / traceroute / mtr 運用現場(自分)が使う、コマンド実行履歴。
•   diskstat / iostat       $ history | awk {'print $1 '} | sort | uniq -c | sort -r
•   vmstat
•   dstat / top
•   sar
•   netstat
•   httping
•   wget ( 2getと打ち間違え ) or curl
•   nslookup / dig
•   nc
•   nmap
•   smartctl
•   tcpdump

                               各コマンドの意味は、Google先生にお訊ねください                          ←
ツール
          2
4つの鍵と連携して強化
                /4
             ドッキング          出力200%




  COLLABORATION WITH ARTS
1つ1つのコマンドを強化
            個々のコマンドで出来る事には、限界があります。
•   sort    しかし、これらのコマンドを組み合わせる事で、
            自分が欲しいデータを簡単に入手できるのです。
•   uniq
•   awk
•   watch



                各コマンドの意味は、Google先生に(ry
3
“Q”pstudy
               /4


I was Stupid, So Stupid
コマンド抑えておけば
この先生きのこれる
       実は、ここからが本編
コマンド抑えておけば
この先生きのこれる?
去年と今年では、この業界、特に Web 開発やモバイル向けサービスの環境は、
大きく変わってしまいました。去年ならば、コマンドを抑えておけばおkと、
自分もそのように発表していたと思います。さて、何が変わったのでしょう?
ガ
                            ラ




                                    FEATURE PHONE HAS DECLINED
                            ケ
                            ー

這い寄る
                            は
                                衰
                                退
混沌
                        し
       CRAWLING CHAOS



                        ま
                        し
                        た
スマートフォンは生活の一部

• 普及率 6% (2011Q1)→20%(2012Q1)
 – うち、 77% 毎日スマートフォンを使う
 – 常に 78% がスマートフォンを携帯
 出典:Out Mobile Planet: 日本 モバイル ユーザーの実態 2012年5月, Google, Inc.
 http://services.google.com/fh/files/blogs/our_mobile_planet_japan_ja.pdf


   調査は一昨年のものです。この時点で既にスマートフォン普及の兆しが
   出始めてきていました。変化は確実に忍び寄っていたのです。
地下鉄でのネット接続
2013年3月21日~東京メトロ全線
2013年3月27日~都営地下鉄全区間

携帯電話利用可能

                                                                      平均   1.7倍増加
                                                                     「電波開通により、通勤・通学中のインターネット接続時間が
                                                                      一日平均1.7倍増加」4月5日~7日
                                                                      楽天リサーチ株式会社 2013年4月9日発表
                                                                      http://research.rakuten.co.jp/report/

                                                                       端末だけでなく、通信インフラでも大きな
                                                                       動きが先月ありました。地下でも繋がる!
http://www.tokyometro.jp/news/2013/pdf/metroNes20130318_mobile.pdf
進撃のスマートフォン


                                                        各社さんのIR情報
                                                        の中で、具体的か
                                                        つ参考になりそう
                                                        な企業さんの情報
                                                        を引用させていた
                                                        だきました。

                                                        ちなみに、私は利
                                                        害関係ありません。


 出典:サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36
 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
進撃のスマートフォン
                                                        スマートフォンが
                                                        経済に与える影響
                                                        は既に無視できな
                                                        くなっています。

                                                        肌感覚で「みんな
                                                        スマートフォン
                                                        使ってるな~」と
                                                        思っていましたが、
                                                        改めて数字で見る
                                                        と「やっぱり」と
                                                        思いつつ、普及の
                                                        速さには驚かざる
                                                        を得ません。


 出典:サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36
 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
この先生きのこる為に
あと1つの大切な要素
最後に残った道しるべ
           4          /4


The Only Thing I Have Left Go Guide Me
時系列リソース監視
リソース監視の必要性
• スマートフォンの普及
 – ますます生活に密着するインターネット
 – 僅かな障害も、大きな機会損失になり得る時代

• 時系列「変化」を簡単に把握するために
 – 過去の経緯を記録・参照
 – グラフを通した人間の認識能力
  • 「なんとなく重い」「もしかして障害?」を視覚化
 – 客観的データの確保
  • 属人性の排除
一次元から二次元へ
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
            usr sys idl wai hiq siq| read writ| recv send| in      out | int   csw
              6   1 90    2   0   1| 18k    22k|   0     0 |1915B 1554B| 243   187
              0   0 96    1   0   3|   0   112k|8752B 8221B|   0     0 |1054   174
              0   0 97    1   0   2|   0   128k|   0     0 |   0     0 |1033    81
コマンド実行結果は、
瞬間(点)におけるリソース値




 一次元から二次元へ
                                       X軸 … 時間
                                       Y軸 … リソース値
時系列リソース監視
•   Munin     http://munin-monitoring.org/ http://munin.jp/

•   Zabbix    http://www.zabbix.com/jp/

•   Nagios    http://www.nagios.org/

•   Ganglia   http://ganglia.sourceforge.net/

•   Cacti     http://www.cacti.net/

•   MRTG      http://oss.oetiker.ch/mrtg/

                      私、樹になります!
個人的にはMuninがお勧め
• すぐ使える
 – RHEL/CentOS ( EPEL レポジトリ使用 )
   1.   yum install munin
   2.   htpasswd /etc/munin/munin-htpasswd Admin
   3.   service munin-node start
   4.   http://<HOSTNAME>/munin/ にアクセス、5分待つ
• 単純&強力な設計思想
• 一覧性に優れている http://demo.munin.jp/
Muninも万能ではない
• 監視間隔が5分
 – もっと短くしたいときは、Zabbix かな


• 重たくなりがち
 – 監視対象が増えた時
とあるホスティングの場合
• Muninはマジで仕事に欠かせません。
 – とにかく入れる
 – 片っ端から入れる
 – 無駄に入れる
Muninが変えた、障害対応の流れ
• ツールにたよらない場合
 – 各種ログの調査、コマンド実行(sysstat等)
 – 人の手が掛かり、時間もかかる←致命的

• Munin があれば…
 – サーバにログインしなくとも、状況把握
 – 視覚的に比較できるので、異常値検出が用意
 – 迅速な対応が可能
   • 障害対応の Plan-Do-Check-Action (PDCA)
   • グラフを見た瞬間「この障害対応のエンディングが見えたッ!」
今日日、監視対象が
Before   After   とても増えつつあります。
                 コマンドでは追いつかな
                 い場合も多々…
Muninであれば、様々な監視項目を、手軽に一覧表示・比較できます
障害対応PDCA

円環の理
の予感!!
/ヽ                  /ヽ
                                     / ヽ               / ヽ
                         ______ /         ヽ__/                       ヽ


Plan
                         | ____ /                         :::::::::::::::\
           障害状況の把握       ||
                         ||
                                  //
                                  | ●            ●
                                                  \ :::::::::::::::|
                                                                ::::::::::::::| 何このアラート・・・
               /つ_∧      ||      .|                             :::::::::::::|
 計画                      ||       |   (__人__丿 .....:::::::::::::::::::/
       /つ_,∧ 〈( ゚д゚)     | |____ ヽ           .....:::::::::::::::::::::::<
                         └___/ ̄ ̄                   :::::::::::::::::::::::::|
       |( ゚д゚) ヽ ⊂ニ) まじっすか!
                         |\    |                     :::::::::::::::::::::::|
                         \ \ \___                     ::::::::::::::::::::::::|
       ヽ__と/ ̄ ̄ ̄/ |
        ̄\/___/

            障害対応PDCA

          円環の理
            の予感!!
/ヽ                  /ヽ
                                     / ヽ               / ヽ
                         ______ /         ヽ__/                       ヽ


Plan
                         | ____ /                         :::::::::::::::\
           障害状況の把握       ||
                         ||
                                  //
                                  | ●            ●
                                                  \ :::::::::::::::|
                                                                ::::::::::::::| 何このアラート・・・
               /つ_∧      ||      .|                             :::::::::::::|
 計画                      ||       |   (__人__丿 .....:::::::::::::::::::/
       /つ_,∧ 〈( ゚д゚)     | |____ ヽ           .....:::::::::::::::::::::::<
                         └___/ ̄ ̄                   :::::::::::::::::::::::::|
       |( ゚д゚) ヽ ⊂ニ) まじっすか!
                         |\    |                     :::::::::::::::::::::::|
                         \ \ \___                     ::::::::::::::::::::::::|
       ヽ__と/ ̄ ̄ ̄/ |                                                   障害個所推測
        ̄\/___/

            障害対応PDCA                                                           Do
          円環の理                      ___       クルッ…  / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
                                                                                 実行

            の予感!!                 / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、
                                  | ||__|| < 丿     | どこが障害ポイントなんだ?
                                  | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________
                                                     ノ)
                                  |    | ( ./    /
                                                                 ノ)ノ,(ノi
                                                               (          (ノし
                                                           ┐) ∧,∧ ノ
                                                           ..|( ( ....:::::::) (
                                                            ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ
                                                              (/ 川口 /ノ           (  ) やめて!
                                                                  ̄TT ̄            と、 ゙i
/ヽ                  /ヽ
                                                                             / ヽ               / ヽ
                                                                 ______ /         ヽ__/                       ヽ


Plan
                                                                 | ____ /                         :::::::::::::::\
                         障害状況の把握                                 ||
                                                                 ||
                                                                          //
                                                                          | ●            ●
                                                                                          \ :::::::::::::::|
                                                                                                        ::::::::::::::| 何このアラート・・・
                             /つ_∧                                ||      .|                             :::::::::::::|
 計画                                                              ||       |   (__人__丿 .....:::::::::::::::::::/
                     /つ_,∧ 〈( ゚д゚)                               | |____ ヽ           .....:::::::::::::::::::::::<
                                                                 └___/ ̄ ̄                   :::::::::::::::::::::::::|
                     |( ゚д゚) ヽ ⊂ニ) まじっすか!                        |\    |                     :::::::::::::::::::::::|
                                                                 \ \ \___                     ::::::::::::::::::::::::|
                     ヽ__と/ ̄ ̄ ̄/ |                                                                             障害個所推測
                      ̄\/___/

                                   障害対応PDCA                                                                            Do
                              円環の理                     ___     クルッ…    / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
                                                                                                                         実行

                                  の予感!!              / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、
                                                     | ||__|| < 丿     | どこが障害ポイントなんだ?
               ,. -‐‘’‘’‘“”¨¨¨ヽ                      | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________
                                                                        ノ)
           (.___,,,... -ァァフ|  あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./
                                                     |             /
           |i i|        }! }} //|                                                                        ノ)ノ,(ノi
           |l、{        j} /,,ィ//|             『おれはfontentの鯖でnginxを確認していたと                              (          (ノし
            i|:!ヾ、_ノ/ u {:}//ヘ                  思ったらいつのまにかバックエンドのMySQLをみてた』
            |リ u' } ,ノ _,!V,ハ |                                                                    ┐) ∧,∧ ノ
         /´fト、_{ル{,ィ'eラ , タ人                    な… 何を言ってるのか わからねーと思うが                              ..|( ( ....:::::::) (
        /' ヾ|宀| {´,)⌒`/ |<ヽトiゝ


                                                                          Check
                                                  おれも何をされたのかわからなかった…
       ,゙ / )ヽ iLレ u' | | ヾlトハ〉                                                                     ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ
       |/_/ ハ !ニ⊇ '/:} V:::::ヽ                        頭がどうにかなりそうだった…                                  (/ 川口 /ノ           (  ) やめて!
      // 二二二7'T'' /u' __ /:::::::/`ヽ
     /'´r -―一ァ‐゙T´ '"´ /::::/-‐ \                ioDriveだとか超スピードだとか                                       ̄TT ̄            と、 ゙i
   / // 广¨´ /'             /:::::/´ ̄`ヽ ⌒ヽ          そんなチャチなもんじゃあ 断じてねえ             評価
   ノ ' / ノ:::::`ー-、___/::::://               ヽ }
 _/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::...       イ もっと恐ろしいものの片鱗を味わったぜ…                                   グラフやサービス状況確認
/ヽ                  /ヽ
                                                                                            / ヽ               / ヽ
                                                                                ______ /         ヽ__/                       ヽ


              Plan
                                                                                | ____ /                         :::::::::::::::\
                                        障害状況の把握                                 ||
                                                                                ||
                                                                                         //
                                                                                         | ●            ●
                                                                                                         \ :::::::::::::::|
                                                                                                                       ::::::::::::::| 何このアラート・・・
                                            /つ_∧                                ||      .|                             :::::::::::::|
                計画                                                              ||       |   (__人__丿 .....:::::::::::::::::::/
                                    /つ_,∧ 〈( ゚д゚)                               | |____ ヽ           .....:::::::::::::::::::::::<
                                                                                └___/ ̄ ̄                   :::::::::::::::::::::::::|
\キター/                               |( ゚д゚) ヽ ⊂ニ) まじっすか!                        |\    |                     :::::::::::::::::::::::|
                                                                                \ \ \___                     ::::::::::::::::::::::::|
 ∧_∧  ̄||ヽ、                          ヽ__と/ ̄ ̄ ̄/ |                                                                             障害個所推測
(     ) ||_|                         ̄\/___/
(__ つ三_ |     カタカタ
 /__ヽ) || || カタカタ
                                                  障害対応PDCA                                                                            Do
  _||_J || ||                                円環の理                     ___     クルッ…    / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
                                                                                                                                        実行

                                                 の予感!!
  Action
                                                                    / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、
                                                                    | ||__|| < 丿     | どこが障害ポイントなんだ?
                              ,. -‐‘’‘’‘“”¨¨¨ヽ                      | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________
                                                                                       ノ)
                          (.___,,,... -ァァフ|  あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./
                                                                    |             /
      改善                  |i i|        }! }} //|                                                                        ノ)ノ,(ノi
                          |l、{        j} /,,ィ//|             『おれはfontentの鯖でnginxを確認していたと                              (          (ノし
                           i|:!ヾ、_ノ/ u {:}//ヘ                  思ったらいつのまにかバックエンドのMySQLをみてた』
                           |リ u' } ,ノ _,!V,ハ |                                                                    ┐) ∧,∧ ノ
コマンド実行                  /´fト、_{ル{,ィ'eラ , タ人                    な… 何を言ってるのか わからねーと思うが                              ..|( ( ....:::::::) (
                       /' ヾ|宀| {´,)⌒`/ |<ヽトiゝ


                                                                                         Check
                                                                 おれも何をされたのかわからなかった…
                      ,゙ / )ヽ iLレ u' | | ヾlトハ〉                                                                     ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ
                      |/_/ ハ !ニ⊇ '/:} V:::::ヽ                        頭がどうにかなりそうだった…                                  (/ 川口 /ノ           (  ) やめて!
                     // 二二二7'T'' /u' __ /:::::::/`ヽ
                    /'´r -―一ァ‐゙T´ '"´ /::::/-‐ \                ioDriveだとか超スピードだとか                                       ̄TT ̄            と、 ゙i
                  / // 广¨´ /'             /:::::/´ ̄`ヽ ⌒ヽ          そんなチャチなもんじゃあ 断じてねえ             評価
                  ノ ' / ノ:::::`ー-、___/::::://               ヽ }
                _/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::...       イ もっと恐ろしいものの片鱗を味わったぜ…                                   グラフやサービス状況確認
重要な事なので、
                 もう一度書きます。




一次元から二次元へ
         ○○は俺の嫁
         今期のアニメが(ry
       二次が好きですが、こんな事を言っているより、
     @zembutsu 自身の婚期を気にした方がいいと思います。
                 誰か助けて下さい ←
もう1つ、
偉い博士も仰ってます。
                                                                      他の方の発表にもあり
                                                                      ましたが、重要!!


                                             一色 健次郎 博士
                                             Isshiki Kenjiro, Ph.D.


 「他と関わりを持たぬ孤独のものは、自ずとその限界が定まってしまう。
  じゃが、他者と惹かれ合い影響し合うとき、その限界が限界では無くなる。
  また1から研究のやりなおしじゃ」
 出典:「ビビッドレッド・オペレーション」第12話




This Photo is under creative commons license by superchango
http://www.flickr.com/photos/superchango/4376866953/
二次元だけじゃなく、三次元
• 会社の同僚(仲間)とのコミュニケーション
• 会社の外にも出よう
 – 勉強会
 – セミナー
 – コミュニティ活動
• IT勉強会カレンダー
 興味のある勉強会があれば、
 参加してみては如何でしょう
最後のまとめ…
• 基本コマンドの連携は必須
• 時系列リソース監視が鍵
• 仲間達と協力する心も大切
                   「独りぼっちは寂しいもんな」
                       出典:魔法少女まどか★マギカ 佐倉杏子




                 インフラエンジニア的な円環の理
                 参考資料:
                   基盤少女インフラエンジニア - Togetter
                   http://togetter.com/li/91857
おしまい
References
• Munin 詳細は、他のスライドをご覧下さい( ^ω^)
 http://slideshare.net/zembutsu/




 最後までありがとうございました。

今日から業務で使える17の運用系Linuxツール、そして円環の理

  • 1.
    新人エンジニアに贈る 今日から業務で使える 17 の 運用系Linuxツール えんかん ことわり そして、円環の理 Finale and Another Starting Point with useful tools Masahito Zembutsu @zembutsu Apr 13, 2013 qpstudy 2013.04 #qpstudy
  • 2.
    このスライドは… 祝!! QP3周年 おめでとうございます!! • 概要 – “qpstudy 2013.04”の @zembutsu LT 発表資料です 『qpstudy3周年記念LT大会 〜新人さん、業界にようこそ!〜 with ビール』 http://www.zusaar.com/event/613004 • 共有したかった事 – 2013年、這い寄る混沌・ガラケーは衰退しました • 基本コマンドの連携は必須 • 時系列リソース監視が鍵 • 仲間達と協力する心も大切
  • 3.
  • 4.
    ―Don't forget. always,somewhere, someone is fighting for you. ―As long as you remember her. Operation you are not alone. 運用 忘れないで、いつもどこかで誰かがあなたの為に戦っている。 彼女を覚えている限り、あなたは一人じゃない。 (出典:魔法少女まどかマギカ最終話「わたしの、最高の友達」) Monitoring 監視
  • 5.
    こんな職場のイメージです。 去年からデータセンタの中で働いてます。 This Photo is under creative commons license by torkildr http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
  • 6.
    A HUMAN WORK ホスティングサービス業務 サーバの形、心の形。見知らぬ、仕様書。光、そして影。 クラウド、来日。変わる業界。まごころを、お客様へ。 DECISIVE BATTLE 障害対応 鳴り止まない電話。静止したデータセンタの中で。 優先度の選択を。電源停止に至る病、そして。 仕事も色々… 営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。 You can advance. 次世代ニーズに向けた挑戦 特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
  • 7.
  • 8.
    ping / traceroute / mtr 運用現場(自分)が使う、コマンド実行履歴。 • diskstat / iostat $ history | awk {'print $1 '} | sort | uniq -c | sort -r • vmstat • dstat / top • sar • netstat • httping • wget ( 2getと打ち間違え ) or curl • nslookup / dig • nc • nmap • smartctl • tcpdump 各コマンドの意味は、Google先生にお訊ねください ←
  • 9.
    ツール 2 4つの鍵と連携して強化 /4 ドッキング 出力200% COLLABORATION WITH ARTS
  • 10.
    1つ1つのコマンドを強化 個々のコマンドで出来る事には、限界があります。 • sort しかし、これらのコマンドを組み合わせる事で、 自分が欲しいデータを簡単に入手できるのです。 • uniq • awk • watch 各コマンドの意味は、Google先生に(ry
  • 11.
    3 “Q”pstudy /4 I was Stupid, So Stupid
  • 12.
  • 17.
  • 18.
    ラ FEATURE PHONE HAS DECLINED ケ ー 這い寄る は 衰 退 混沌 し CRAWLING CHAOS ま し た
  • 19.
    スマートフォンは生活の一部 • 普及率 6%(2011Q1)→20%(2012Q1) – うち、 77% 毎日スマートフォンを使う – 常に 78% がスマートフォンを携帯 出典:Out Mobile Planet: 日本 モバイル ユーザーの実態 2012年5月, Google, Inc. http://services.google.com/fh/files/blogs/our_mobile_planet_japan_ja.pdf 調査は一昨年のものです。この時点で既にスマートフォン普及の兆しが 出始めてきていました。変化は確実に忍び寄っていたのです。
  • 20.
    地下鉄でのネット接続 2013年3月21日~東京メトロ全線 2013年3月27日~都営地下鉄全区間 携帯電話利用可能 平均 1.7倍増加 「電波開通により、通勤・通学中のインターネット接続時間が 一日平均1.7倍増加」4月5日~7日 楽天リサーチ株式会社 2013年4月9日発表 http://research.rakuten.co.jp/report/ 端末だけでなく、通信インフラでも大きな 動きが先月ありました。地下でも繋がる! http://www.tokyometro.jp/news/2013/pdf/metroNes20130318_mobile.pdf
  • 21.
    進撃のスマートフォン 各社さんのIR情報 の中で、具体的か つ参考になりそう な企業さんの情報 を引用させていた だきました。 ちなみに、私は利 害関係ありません。 出典:サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
  • 22.
    進撃のスマートフォン スマートフォンが 経済に与える影響 は既に無視できな くなっています。 肌感覚で「みんな スマートフォン 使ってるな~」と 思っていましたが、 改めて数字で見る と「やっぱり」と 思いつつ、普及の 速さには驚かざる を得ません。 出典:サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
  • 23.
  • 24.
    最後に残った道しるべ 4 /4 The Only Thing I Have Left Go Guide Me
  • 25.
  • 26.
    リソース監視の必要性 • スマートフォンの普及 –ますます生活に密着するインターネット – 僅かな障害も、大きな機会損失になり得る時代 • 時系列「変化」を簡単に把握するために – 過去の経緯を記録・参照 – グラフを通した人間の認識能力 • 「なんとなく重い」「もしかして障害?」を視覚化 – 客観的データの確保 • 属人性の排除
  • 27.
  • 28.
    ----total-cpu-usage---- -dsk/total- -net/total----paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 6 1 90 2 0 1| 18k 22k| 0 0 |1915B 1554B| 243 187 0 0 96 1 0 3| 0 112k|8752B 8221B| 0 0 |1054 174 0 0 97 1 0 2| 0 128k| 0 0 | 0 0 |1033 81 コマンド実行結果は、 瞬間(点)におけるリソース値 一次元から二次元へ X軸 … 時間 Y軸 … リソース値
  • 29.
    時系列リソース監視 • Munin http://munin-monitoring.org/ http://munin.jp/ • Zabbix http://www.zabbix.com/jp/ • Nagios http://www.nagios.org/ • Ganglia http://ganglia.sourceforge.net/ • Cacti http://www.cacti.net/ • MRTG http://oss.oetiker.ch/mrtg/ 私、樹になります!
  • 30.
    個人的にはMuninがお勧め • すぐ使える –RHEL/CentOS ( EPEL レポジトリ使用 ) 1. yum install munin 2. htpasswd /etc/munin/munin-htpasswd Admin 3. service munin-node start 4. http://<HOSTNAME>/munin/ にアクセス、5分待つ • 単純&強力な設計思想 • 一覧性に優れている http://demo.munin.jp/
  • 31.
    Muninも万能ではない • 監視間隔が5分 –もっと短くしたいときは、Zabbix かな • 重たくなりがち – 監視対象が増えた時
  • 32.
    とあるホスティングの場合 • Muninはマジで仕事に欠かせません。 –とにかく入れる – 片っ端から入れる – 無駄に入れる
  • 33.
    Muninが変えた、障害対応の流れ • ツールにたよらない場合 –各種ログの調査、コマンド実行(sysstat等) – 人の手が掛かり、時間もかかる←致命的 • Munin があれば… – サーバにログインしなくとも、状況把握 – 視覚的に比較できるので、異常値検出が用意 – 迅速な対応が可能 • 障害対応の Plan-Do-Check-Action (PDCA) • グラフを見た瞬間「この障害対応のエンディングが見えたッ!」
  • 34.
    今日日、監視対象が Before After とても増えつつあります。 コマンドでは追いつかな い場合も多々…
  • 35.
  • 36.
  • 37.
    /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽ Plan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::| |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ヽ__と/ ̄ ̄ ̄/ |  ̄\/___/ 障害対応PDCA 円環の理 の予感!!
  • 38.
    /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽ Plan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::| |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ヽ__と/ ̄ ̄ ̄/ | 障害個所推測  ̄\/___/ 障害対応PDCA Do 円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ 実行 の予感!! / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、 | ||__|| < 丿 | どこが障害ポイントなんだ? | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________ ノ) | | ( ./ / ノ)ノ,(ノi ( (ノし ┐) ∧,∧ ノ ..|( ( ....:::::::) (  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ (/ 川口 /ノ ( ) やめて!  ̄TT ̄ と、 ゙i
  • 39.
    /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽ Plan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::| |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ヽ__と/ ̄ ̄ ̄/ | 障害個所推測  ̄\/___/ 障害対応PDCA Do 円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ 実行 の予感!! / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、 | ||__|| < 丿 | どこが障害ポイントなんだ? ,. -‐‘’‘’‘“”¨¨¨ヽ | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________ ノ) (.___,,,... -ァァフ| あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./ | / |i i| }! }} //| ノ)ノ,(ノi |l、{ j} /,,ィ//| 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ、_ノ/ u {:}//ヘ 思ったらいつのまにかバックエンドのMySQLをみてた』 |リ u' } ,ノ _,!V,ハ | ┐) ∧,∧ ノ /´fト、_{ル{,ィ'eラ , タ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( /' ヾ|宀| {´,)⌒`/ |<ヽトiゝ Check おれも何をされたのかわからなかった… ,゙ / )ヽ iLレ u' | | ヾlトハ〉  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ |/_/ ハ !ニ⊇ '/:} V:::::ヽ 頭がどうにかなりそうだった… (/ 川口 /ノ ( ) やめて! // 二二二7'T'' /u' __ /:::::::/`ヽ /'´r -―一ァ‐゙T´ '"´ /::::/-‐ \ ioDriveだとか超スピードだとか  ̄TT ̄ と、 ゙i / // 广¨´ /' /:::::/´ ̄`ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ノ ' / ノ:::::`ー-、___/:::::// ヽ } _/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::... イ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
  • 40.
    /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽ Plan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::| \キター/ |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ∧_∧  ̄||ヽ、 ヽ__と/ ̄ ̄ ̄/ | 障害個所推測 ( ) ||_|  ̄\/___/ (__ つ三_ | カタカタ /__ヽ) || || カタカタ 障害対応PDCA Do _||_J || || 円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ 実行 の予感!! Action / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、 | ||__|| < 丿 | どこが障害ポイントなんだ? ,. -‐‘’‘’‘“”¨¨¨ヽ | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________ ノ) (.___,,,... -ァァフ| あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./ | / 改善 |i i| }! }} //| ノ)ノ,(ノi |l、{ j} /,,ィ//| 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ、_ノ/ u {:}//ヘ 思ったらいつのまにかバックエンドのMySQLをみてた』 |リ u' } ,ノ _,!V,ハ | ┐) ∧,∧ ノ コマンド実行 /´fト、_{ル{,ィ'eラ , タ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( /' ヾ|宀| {´,)⌒`/ |<ヽトiゝ Check おれも何をされたのかわからなかった… ,゙ / )ヽ iLレ u' | | ヾlトハ〉  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ |/_/ ハ !ニ⊇ '/:} V:::::ヽ 頭がどうにかなりそうだった… (/ 川口 /ノ ( ) やめて! // 二二二7'T'' /u' __ /:::::::/`ヽ /'´r -―一ァ‐゙T´ '"´ /::::/-‐ \ ioDriveだとか超スピードだとか  ̄TT ̄ と、 ゙i / // 广¨´ /' /:::::/´ ̄`ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ノ ' / ノ:::::`ー-、___/:::::// ヽ } _/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::... イ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
  • 41.
    重要な事なので、 もう一度書きます。 一次元から二次元へ ○○は俺の嫁 今期のアニメが(ry 二次が好きですが、こんな事を言っているより、 @zembutsu 自身の婚期を気にした方がいいと思います。 誰か助けて下さい ←
  • 42.
  • 43.
    偉い博士も仰ってます。 他の方の発表にもあり ましたが、重要!! 一色 健次郎 博士 Isshiki Kenjiro, Ph.D. 「他と関わりを持たぬ孤独のものは、自ずとその限界が定まってしまう。 じゃが、他者と惹かれ合い影響し合うとき、その限界が限界では無くなる。 また1から研究のやりなおしじゃ」 出典:「ビビッドレッド・オペレーション」第12話 This Photo is under creative commons license by superchango http://www.flickr.com/photos/superchango/4376866953/
  • 44.
    二次元だけじゃなく、三次元 • 会社の同僚(仲間)とのコミュニケーション • 会社の外にも出よう – 勉強会 – セミナー – コミュニティ活動 • IT勉強会カレンダー 興味のある勉強会があれば、 参加してみては如何でしょう
  • 45.
    最後のまとめ… • 基本コマンドの連携は必須 • 時系列リソース監視が鍵 •仲間達と協力する心も大切 「独りぼっちは寂しいもんな」 出典:魔法少女まどか★マギカ 佐倉杏子 インフラエンジニア的な円環の理 参考資料: 基盤少女インフラエンジニア - Togetter http://togetter.com/li/91857
  • 46.
  • 47.
    References • Munin 詳細は、他のスライドをご覧下さい(^ω^) http://slideshare.net/zembutsu/ 最後までありがとうございました。