Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

今日から業務で使える17の運用系Linuxツール、そして円環の理

27,555 views

Published on

運用系ツールのつもりが、新人さんに伝えたい「円環の理」資料になってしまいました。

“qpstudy 2013.04”の @zembutsu LT 発表資料です
『qpstudy3周年記念LT大会 〜新人さん、業界にようこそ!〜 with ビール』
http://www.zusaar.com/event/613004

共有したかった事
・2013年、這い寄る混沌・ガラケーは衰退しました
・基本コマンドの連携は必須
・時系列リソース監視が鍵
・仲間達と協力する心も大切

Published in: Technology

今日から業務で使える17の運用系Linuxツール、そして円環の理

  1. 1. 新人エンジニアに贈る今日から業務で使える17 の 運用系Linuxツール えんかん ことわりそして、円環の理Finale and Another Starting Point with useful toolsMasahito Zembutsu @zembutsuApr 13, 2013 qpstudy 2013.04 #qpstudy
  2. 2. このスライドは… 祝!! QP3周年 おめでとうございます!!• 概要 – “qpstudy 2013.04”の @zembutsu LT 発表資料です 『qpstudy3周年記念LT大会 〜新人さん、業界にようこそ!〜 with ビール』 http://www.zusaar.com/event/613004• 共有したかった事 – 2013年、這い寄る混沌・ガラケーは衰退しました • 基本コマンドの連携は必須 • 時系列リソース監視が鍵 • 仲間達と協力する心も大切
  3. 3. (意訳:コイツ馬鹿ww)
  4. 4. ―Dont forget. always, somewhere, someone is fighting for you. ―As long as you remember her.Operation you are not alone.運用 忘れないで、いつもどこかで誰かがあなたの為に戦っている。 彼女を覚えている限り、あなたは一人じゃない。 (出典:魔法少女まどかマギカ最終話「わたしの、最高の友達」)Monitoring監視
  5. 5. こんな職場のイメージです。 去年からデータセンタの中で働いてます。This Photo is under creative commons license by torkildrhttp://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
  6. 6. A HUMAN WORKホスティングサービス業務 サーバの形、心の形。見知らぬ、仕様書。光、そして影。 クラウド、来日。変わる業界。まごころを、お客様へ。DECISIVE BATTLE障害対応 鳴り止まない電話。静止したデータセンタの中で。 優先度の選択を。電源停止に至る病、そして。 仕事も色々… 営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。 You can advance.次世代ニーズに向けた挑戦 特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
  7. 7. 1実戦で使える13のコマンド /4 ARTS OF OURS
  8. 8. • ping / traceroute / mtr 運用現場(自分)が使う、コマンド実行履歴。• diskstat / iostat $ history | awk {print $1 } | sort | uniq -c | sort -r• vmstat• dstat / top• sar• netstat• httping• wget ( 2getと打ち間違え ) or curl• nslookup / dig• nc• nmap• smartctl• tcpdump 各コマンドの意味は、Google先生にお訊ねください ←
  9. 9. ツール 24つの鍵と連携して強化 /4 ドッキング 出力200% COLLABORATION WITH ARTS
  10. 10. 1つ1つのコマンドを強化 個々のコマンドで出来る事には、限界があります。• sort しかし、これらのコマンドを組み合わせる事で、 自分が欲しいデータを簡単に入手できるのです。• uniq• awk• watch 各コマンドの意味は、Google先生に(ry
  11. 11. 3“Q”pstudy /4I was Stupid, So Stupid
  12. 12. コマンド抑えておけばこの先生きのこれる 実は、ここからが本編
  13. 13. コマンド抑えておけばこの先生きのこれる?去年と今年では、この業界、特に Web 開発やモバイル向けサービスの環境は、大きく変わってしまいました。去年ならば、コマンドを抑えておけばおkと、自分もそのように発表していたと思います。さて、何が変わったのでしょう?
  14. 14. ガ ラ FEATURE PHONE HAS DECLINED ケ ー這い寄る は 衰 退混沌 し CRAWLING CHAOS ま し た
  15. 15. スマートフォンは生活の一部• 普及率 6% (2011Q1)→20%(2012Q1) – うち、 77% 毎日スマートフォンを使う – 常に 78% がスマートフォンを携帯 出典:Out Mobile Planet: 日本 モバイル ユーザーの実態 2012年5月, Google, Inc. http://services.google.com/fh/files/blogs/our_mobile_planet_japan_ja.pdf 調査は一昨年のものです。この時点で既にスマートフォン普及の兆しが 出始めてきていました。変化は確実に忍び寄っていたのです。
  16. 16. 地下鉄でのネット接続2013年3月21日~東京メトロ全線2013年3月27日~都営地下鉄全区間携帯電話利用可能 平均 1.7倍増加 「電波開通により、通勤・通学中のインターネット接続時間が 一日平均1.7倍増加」4月5日~7日 楽天リサーチ株式会社 2013年4月9日発表 http://research.rakuten.co.jp/report/ 端末だけでなく、通信インフラでも大きな 動きが先月ありました。地下でも繋がる!http://www.tokyometro.jp/news/2013/pdf/metroNes20130318_mobile.pdf
  17. 17. 進撃のスマートフォン 各社さんのIR情報 の中で、具体的か つ参考になりそう な企業さんの情報 を引用させていた だきました。 ちなみに、私は利 害関係ありません。 出典:サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
  18. 18. 進撃のスマートフォン スマートフォンが 経済に与える影響 は既に無視できな くなっています。 肌感覚で「みんな スマートフォン 使ってるな~」と 思っていましたが、 改めて数字で見る と「やっぱり」と 思いつつ、普及の 速さには驚かざる を得ません。 出典:サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
  19. 19. この先生きのこる為にあと1つの大切な要素
  20. 20. 最後に残った道しるべ 4 /4The Only Thing I Have Left Go Guide Me
  21. 21. 時系列リソース監視
  22. 22. リソース監視の必要性• スマートフォンの普及 – ますます生活に密着するインターネット – 僅かな障害も、大きな機会損失になり得る時代• 時系列「変化」を簡単に把握するために – 過去の経緯を記録・参照 – グラフを通した人間の認識能力 • 「なんとなく重い」「もしかして障害?」を視覚化 – 客観的データの確保 • 属人性の排除
  23. 23. 一次元から二次元へ
  24. 24. ----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 6 1 90 2 0 1| 18k 22k| 0 0 |1915B 1554B| 243 187 0 0 96 1 0 3| 0 112k|8752B 8221B| 0 0 |1054 174 0 0 97 1 0 2| 0 128k| 0 0 | 0 0 |1033 81コマンド実行結果は、瞬間(点)におけるリソース値 一次元から二次元へ X軸 … 時間 Y軸 … リソース値
  25. 25. 時系列リソース監視• Munin http://munin-monitoring.org/ http://munin.jp/• Zabbix http://www.zabbix.com/jp/• Nagios http://www.nagios.org/• Ganglia http://ganglia.sourceforge.net/• Cacti http://www.cacti.net/• MRTG http://oss.oetiker.ch/mrtg/ 私、樹になります!
  26. 26. 個人的にはMuninがお勧め• すぐ使える – RHEL/CentOS ( EPEL レポジトリ使用 ) 1. yum install munin 2. htpasswd /etc/munin/munin-htpasswd Admin 3. service munin-node start 4. http://<HOSTNAME>/munin/ にアクセス、5分待つ• 単純&強力な設計思想• 一覧性に優れている http://demo.munin.jp/
  27. 27. Muninも万能ではない• 監視間隔が5分 – もっと短くしたいときは、Zabbix かな• 重たくなりがち – 監視対象が増えた時
  28. 28. とあるホスティングの場合• Muninはマジで仕事に欠かせません。 – とにかく入れる – 片っ端から入れる – 無駄に入れる
  29. 29. Muninが変えた、障害対応の流れ• ツールにたよらない場合 – 各種ログの調査、コマンド実行(sysstat等) – 人の手が掛かり、時間もかかる←致命的• Munin があれば… – サーバにログインしなくとも、状況把握 – 視覚的に比較できるので、異常値検出が用意 – 迅速な対応が可能 • 障害対応の Plan-Do-Check-Action (PDCA) • グラフを見た瞬間「この障害対応のエンディングが見えたッ!」
  30. 30. 今日日、監視対象がBefore After とても増えつつあります。 コマンドでは追いつかな い場合も多々…
  31. 31. Muninであれば、様々な監視項目を、手軽に一覧表示・比較できます
  32. 32. 障害対応PDCA円環の理の予感!!
  33. 33. /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽPlan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::| |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ヽ__と/ ̄ ̄ ̄/ |  ̄\/___/ 障害対応PDCA 円環の理 の予感!!
  34. 34. /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽPlan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::| |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ヽ__と/ ̄ ̄ ̄/ | 障害個所推測  ̄\/___/ 障害対応PDCA Do 円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ 実行 の予感!! / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、 | ||__|| < 丿 | どこが障害ポイントなんだ? | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________ ノ) | | ( ./ / ノ)ノ,(ノi ( (ノし ┐) ∧,∧ ノ ..|( ( ....:::::::) (  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ (/ 川口 /ノ ( ) やめて!  ̄TT ̄ と、 ゙i
  35. 35. /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽPlan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::| |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ヽ__と/ ̄ ̄ ̄/ | 障害個所推測  ̄\/___/ 障害対応PDCA Do 円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ 実行 の予感!! / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、 | ||__|| < 丿 | どこが障害ポイントなんだ? ,. -‐‘’‘’‘“”¨¨¨ヽ | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________ ノ) (.___,,,... -ァァフ| あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./ | / |i i| }! }} //| ノ)ノ,(ノi |l、{ j} /,,ィ//| 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ、_ノ/ u {:}//ヘ 思ったらいつのまにかバックエンドのMySQLをみてた』 |リ u } ,ノ _,!V,ハ | ┐) ∧,∧ ノ /´fト、_{ル{,ィeラ , タ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( / ヾ|宀| {´,)⌒`/ |<ヽトiゝ Check おれも何をされたのかわからなかった… ,゙ / )ヽ iLレ u | | ヾlトハ〉  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ |/_/ ハ !ニ⊇ /:} V:::::ヽ 頭がどうにかなりそうだった… (/ 川口 /ノ ( ) やめて! // 二二二7T /u __ /:::::::/`ヽ /´r -―一ァ‐゙T´ "´ /::::/-‐ \ ioDriveだとか超スピードだとか  ̄TT ̄ と、 ゙i / // 广¨´ / /:::::/´ ̄`ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ノ / ノ:::::`ー-、___/:::::// ヽ } _/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::... イ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
  36. 36. /ヽ /ヽ / ヽ / ヽ ______ / ヽ__/ ヽ Plan | ____ / :::::::::::::::\ 障害状況の把握 || || // | ● ● \ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | (__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::< └___/ ̄ ̄ :::::::::::::::::::::::::|\キター/ |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::| \ \ \___ ::::::::::::::::::::::::| ∧_∧  ̄||ヽ、 ヽ__と/ ̄ ̄ ̄/ | 障害個所推測( ) ||_|  ̄\/___/(__ つ三_ | カタカタ /__ヽ) || || カタカタ 障害対応PDCA Do _||_J || || 円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ 実行 の予感!! Action / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、 | ||__|| < 丿 | どこが障害ポイントなんだ? ,. -‐‘’‘’‘“”¨¨¨ヽ | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________ ノ) (.___,,,... -ァァフ| あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./ | / 改善 |i i| }! }} //| ノ)ノ,(ノi |l、{ j} /,,ィ//| 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ、_ノ/ u {:}//ヘ 思ったらいつのまにかバックエンドのMySQLをみてた』 |リ u } ,ノ _,!V,ハ | ┐) ∧,∧ ノコマンド実行 /´fト、_{ル{,ィeラ , タ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( / ヾ|宀| {´,)⌒`/ |<ヽトiゝ Check おれも何をされたのかわからなかった… ,゙ / )ヽ iLレ u | | ヾlトハ〉  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ |/_/ ハ !ニ⊇ /:} V:::::ヽ 頭がどうにかなりそうだった… (/ 川口 /ノ ( ) やめて! // 二二二7T /u __ /:::::::/`ヽ /´r -―一ァ‐゙T´ "´ /::::/-‐ \ ioDriveだとか超スピードだとか  ̄TT ̄ と、 ゙i / // 广¨´ / /:::::/´ ̄`ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ノ / ノ:::::`ー-、___/:::::// ヽ } _/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::... イ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
  37. 37. 重要な事なので、 もう一度書きます。一次元から二次元へ ○○は俺の嫁 今期のアニメが(ry 二次が好きですが、こんな事を言っているより、 @zembutsu 自身の婚期を気にした方がいいと思います。 誰か助けて下さい ←
  38. 38. もう1つ、
  39. 39. 偉い博士も仰ってます。 他の方の発表にもあり ましたが、重要!! 一色 健次郎 博士 Isshiki Kenjiro, Ph.D. 「他と関わりを持たぬ孤独のものは、自ずとその限界が定まってしまう。 じゃが、他者と惹かれ合い影響し合うとき、その限界が限界では無くなる。 また1から研究のやりなおしじゃ」 出典:「ビビッドレッド・オペレーション」第12話This Photo is under creative commons license by superchangohttp://www.flickr.com/photos/superchango/4376866953/
  40. 40. 二次元だけじゃなく、三次元• 会社の同僚(仲間)とのコミュニケーション• 会社の外にも出よう – 勉強会 – セミナー – コミュニティ活動• IT勉強会カレンダー 興味のある勉強会があれば、 参加してみては如何でしょう
  41. 41. 最後のまとめ…• 基本コマンドの連携は必須• 時系列リソース監視が鍵• 仲間達と協力する心も大切 「独りぼっちは寂しいもんな」 出典:魔法少女まどか★マギカ 佐倉杏子 インフラエンジニア的な円環の理 参考資料: 基盤少女インフラエンジニア - Togetter http://togetter.com/li/91857
  42. 42. おしまい
  43. 43. References• Munin 詳細は、他のスライドをご覧下さい( ^ω^) http://slideshare.net/zembutsu/ 最後までありがとうございました。

×