Uploaded byMasahito Zembutsu
今日から業務で使える17の運用系Linuxツール、そして円環の理
運用系ツールのつもりが、新人さんに伝えたい「円環の理」資料になってしまいました。 “qpstudy 2013.04”の @zembutsu LT 発表資料です 『qpstudy３周年記念LT大会 〜新人さん、業界にようこそ！〜 with ビール』 http://www.zusaar.com/event/613004 共有したかった事 ・2013年、這い寄る混沌・ガラケーは衰退しました ・基本コマンドの連携は必須 ・時系列リソース監視が鍵 ・仲間達と協力する心も大切
More Related Content
![Re: ご注文は自動化ですか？[2]](https://cdn.slidesharecdn.com/ss_thumbnails/reistheorderanautomation2-140721190205-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[UE4]マテリアルの注意すべきこと！～テクスチャロードとSwitch～](https://cdn.slidesharecdn.com/ss_thumbnails/ue4materialcaution-190309153116-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 今日から業務で使える17の運用系Linuxツール、そして円環の理
今日から業務で使える17の運用系Linuxツール、そして円環の理
- 1. 新人エンジニアに贈る 今日から業務で使える １７ の 運用系Linuxツール えんかん ことわり そして、円環の理 Finale and Another Starting Point with useful tools Masahito Zembutsu @zembutsu Apr 13, 2013 qpstudy 2013.04 #qpstudy
- 2. このスライドは… 祝!! QP3周年 おめでとうございます!! • 概要 – “qpstudy 2013.04”の @zembutsu LT 発表資料です 『qpstudy３周年記念LT大会 〜新人さん、業界にようこそ！〜 with ビール』 http://www.zusaar.com/event/613004 • 共有したかった事 – 2013年、這い寄る混沌・ガラケーは衰退しました • 基本コマンドの連携は必須 • 時系列リソース監視が鍵 • 仲間達と協力する心も大切
- 3.
- 4. ―Don't forget. always,somewhere, someone is fighting for you. ―As long as you remember her. Operation you are not alone. 運用 忘れないで、いつもどこかで誰かがあなたの為に戦っている。 彼女を覚えている限り、あなたは一人じゃない。 （出典：魔法少女まどかマギカ最終話「わたしの、最高の友達」） Monitoring 監視
- 5. こんな職場のイメージです。 去年からデータセンタの中で働いてます。 This Photo is under creative commons license by torkildr http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
- 6. A HUMAN WORK ホスティングサービス業務 サーバの形、心の形。見知らぬ、仕様書。光、そして影。 クラウド、来日。変わる業界。まごころを、お客様へ。 DECISIVE BATTLE 障害対応 鳴り止まない電話。静止したデータセンタの中で。 優先度の選択を。電源停止に至る病、そして。 仕事も色々… 営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。 You can advance. 次世代ニーズに向けた挑戦 特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
- 7. 1 実戦で使える13のコマンド /4 ARTS OF OURS
- 8. • ping / traceroute / mtr 運用現場（自分）が使う、コマンド実行履歴。 • diskstat / iostat $ history | awk {'print $1 '} | sort | uniq -c | sort -r • vmstat • dstat / top • sar • netstat • httping • wget ( 2getと打ち間違え ) or curl • nslookup / dig • nc • nmap • smartctl • tcpdump 各コマンドの意味は、Google先生にお訊ねください ←
- 9. ツール 2 ４つの鍵と連携して強化 /4 ドッキング 出力200% COLLABORATION WITH ARTS
- 10. 1つ1つのコマンドを強化 個々のコマンドで出来る事には、限界があります。 • sort しかし、これらのコマンドを組み合わせる事で、 自分が欲しいデータを簡単に入手できるのです。 • uniq • awk • watch 各コマンドの意味は、Google先生に(ry
- 11. 3 “Q”pstudy /4 I was Stupid, So Stupid
- 12. コマンド抑えておけば この先生きのこれる 実は、ここからが本編
- 17.
- 18. ガ ラ FEATURE PHONE HAS DECLINED ケ ー 這い寄る は 衰 退 混沌 し CRAWLING CHAOS ま し た
- 19. スマートフォンは生活の一部 • 普及率 6%(2011Q1)→20%(2012Q1) – うち、 77% 毎日スマートフォンを使う – 常に 78% がスマートフォンを携帯 出典：Out Mobile Planet: 日本 モバイル ユーザーの実態 2012年5月, Google, Inc. http://services.google.com/fh/files/blogs/our_mobile_planet_japan_ja.pdf 調査は一昨年のものです。この時点で既にスマートフォン普及の兆しが 出始めてきていました。変化は確実に忍び寄っていたのです。
- 20. 地下鉄でのネット接続 2013年3月21日～東京メトロ全線 2013年3月27日～都営地下鉄全区間 携帯電話利用可能 平均 1.7倍増加 「電波開通により、通勤・通学中のインターネット接続時間が 一日平均1.7倍増加」4月5日～7日 楽天リサーチ株式会社 2013年4月9日発表 http://research.rakuten.co.jp/report/ 端末だけでなく、通信インフラでも大きな 動きが先月ありました。地下でも繋がる！ http://www.tokyometro.jp/news/2013/pdf/metroNes20130318_mobile.pdf
- 21. 進撃のスマートフォン 各社さんのIR情報 の中で、具体的か つ参考になりそう な企業さんの情報 を引用させていた だきました。 ちなみに、私は利 害関係ありません。 出典：サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
- 22. 進撃のスマートフォン スマートフォンが 経済に与える影響 は既に無視できな くなっています。 肌感覚で「みんな スマートフォン 使ってるな～」と 思っていましたが、 改めて数字で見る と「やっぱり」と 思いつつ、普及の 速さには驚かざる を得ません。 出典：サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
- 23.
- 24. 最後に残った道しるべ 4 /4 The Only Thing I Have Left Go Guide Me
- 25.
- 26. リソース監視の必要性 • スマートフォンの普及 –ますます生活に密着するインターネット – 僅かな障害も、大きな機会損失になり得る時代 • 時系列「変化」を簡単に把握するために – 過去の経緯を記録・参照 – グラフを通した人間の認識能力 • 「なんとなく重い」「もしかして障害？」を視覚化 – 客観的データの確保 • 属人性の排除
- 27.
- 28. ----total-cpu-usage---- -dsk/total- -net/total----paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 6 1 90 2 0 1| 18k 22k| 0 0 |1915B 1554B| 243 187 0 0 96 1 0 3| 0 112k|8752B 8221B| 0 0 |1054 174 0 0 97 1 0 2| 0 128k| 0 0 | 0 0 |1033 81 コマンド実行結果は、 瞬間（点）におけるリソース値 一次元から二次元へ X軸 … 時間 Y軸 … リソース値
- 29. 時系列リソース監視 • Munin http://munin-monitoring.org/ http://munin.jp/ • Zabbix http://www.zabbix.com/jp/ • Nagios http://www.nagios.org/ • Ganglia http://ganglia.sourceforge.net/ • Cacti http://www.cacti.net/ • MRTG http://oss.oetiker.ch/mrtg/ 私、樹になります！
- 30. 個人的にはMuninがお勧め • すぐ使える –RHEL/CentOS ( EPEL レポジトリ使用 ) 1. yum install munin 2. htpasswd /etc/munin/munin-htpasswd Admin 3. service munin-node start 4. http://<HOSTNAME>/munin/ にアクセス、5分待つ • 単純＆強力な設計思想 • 一覧性に優れている http://demo.munin.jp/
- 31. Muninも万能ではない • 監視間隔が5分 –もっと短くしたいときは、Zabbix かな • 重たくなりがち – 監視対象が増えた時
- 32. とあるホスティングの場合 • Muninはマジで仕事に欠かせません。 –とにかく入れる – 片っ端から入れる – 無駄に入れる
- 33. Muninが変えた、障害対応の流れ • ツールにたよらない場合 –各種ログの調査、コマンド実行(sysstat等) – 人の手が掛かり、時間もかかる←致命的 • Munin があれば… – サーバにログインしなくとも、状況把握 – 視覚的に比較できるので、異常値検出が用意 – 迅速な対応が可能 • 障害対応の Plan-Do-Check-Action (PDCA) • グラフを見た瞬間「この障害対応のエンディングが見えたッ！」
- 34. 今日日、監視対象が Before After とても増えつつあります。 コマンドでは追いつかな い場合も多々…
- 35.
- 36.
- 37. /ヽ /ヽ / ヽ / ヽ ＿＿＿＿＿＿ / ヽ＿＿/ ヽ Plan | ＿＿＿＿ ／ :::::::::::::::＼ 障害状況の把握 || || /／ | ● ● ＼ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | （__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈（ ﾟдﾟ） | |＿＿＿＿ ヽ .....:::::::::::::::::::::::< └＿＿＿／￣￣ :::::::::::::::::::::::::| |（ ﾟдﾟ） ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::| ＼ ＼ ＼＿＿＿ ::::::::::::::::::::::::| ヽ__と/￣￣￣/ | ￣＼/＿＿＿/ 障害対応PDCA 円環の理 の予感！！
- 38. /ヽ /ヽ / ヽ / ヽ ＿＿＿＿＿＿ / ヽ＿＿/ ヽ Plan | ＿＿＿＿ ／ :::::::::::::::＼ 障害状況の把握 || || /／ | ● ● ＼ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | （__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈（ ﾟдﾟ） | |＿＿＿＿ ヽ .....:::::::::::::::::::::::< └＿＿＿／￣￣ :::::::::::::::::::::::::| |（ ﾟдﾟ） ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::| ＼ ＼ ＼＿＿＿ ::::::::::::::::::::::::| ヽ__と/￣￣￣/ | 障害個所推測 ￣＼/＿＿＿/ 障害対応PDCA Do 円環の理 ＿＿＿ ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣ 実行 の予感！！ / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、 | ||＿＿|| ＜ 丿 | どこが障害ポイントなんだ？ |￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿ ﾉ） | | ( ./ / ﾉ)ノ,(ノi ( (ノし ┐) ∧,∧ ﾉ ..|( ( ....:::::::) ( ￣⊂/￣￣7 ) ヽ lヽ,,lヽ （/ 川口 /ﾉ ( ） やめて！ ￣TT￣ と、 ﾞi
- 39. /ヽ /ヽ / ヽ / ヽ ＿＿＿＿＿＿ / ヽ＿＿/ ヽ Plan | ＿＿＿＿ ／ :::::::::::::::＼ 障害状況の把握 || || /／ | ● ● ＼ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | （__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈（ ﾟдﾟ） | |＿＿＿＿ ヽ .....:::::::::::::::::::::::< └＿＿＿／￣￣ :::::::::::::::::::::::::| |（ ﾟдﾟ） ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::| ＼ ＼ ＼＿＿＿ ::::::::::::::::::::::::| ヽ__と/￣￣￣/ | 障害個所推測 ￣＼/＿＿＿/ 障害対応PDCA Do 円環の理 ＿＿＿ ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣ 実行 の予感！！ / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、 | ||＿＿|| ＜ 丿 | どこが障害ポイントなんだ？ ,. -‐‘’‘’‘“”¨¨¨ヽ |￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿ ﾉ） (.＿＿_,,,... -ｧァﾌ| あ…ありのまま 今 Munin で見た事を話すぜ！ | ( ./ | / |i i| }! }} /／| ﾉ)ノ,(ノi |l､{ j} /,,ｨ//｜ 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ､_ﾉ／ u {:}//ﾍ 思ったらいつのまにかバックエンドのMySQLをみてた』 |ﾘ u' } ,ﾉ _,!V,ﾊ | ┐) ∧,∧ ﾉ ／´fト､_{ﾙ{,ィ'ｅﾗ , ﾀ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( /' ヾ|宀| {´,)⌒`/ |<ヽﾄiゝ Check おれも何をされたのかわからなかった… ,ﾞ ／ )ヽ iLﾚ u' | | ヾｌﾄﾊ〉 ￣⊂/￣￣7 ) ヽ lヽ,,lヽ |／_／ ﾊ !ニ⊇ '／:} V:::::ヽ 頭がどうにかなりそうだった… （/ 川口 /ﾉ ( ） やめて！ /／ 二二二7'T'' ／u' __ /:::::::/｀ヽ /'´r -―一ｧ‐ﾞＴ´ '"´ ／::::／-‐ ＼ ioDriveだとか超スピードだとか ￣TT￣ と、 ﾞi / // 广¨´ /' ／:::::／´￣｀ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ﾉ ' / ノ:::::`ー-､___／:::::／/ ヽ } _／｀丶 /::::::::::::::::::::::::::￣`ー-{:::... ｲ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
- 40. /ヽ /ヽ / ヽ / ヽ ＿＿＿＿＿＿ / ヽ＿＿/ ヽ Plan | ＿＿＿＿ ／ :::::::::::::::＼ 障害状況の把握 || || /／ | ● ● ＼ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | （__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈（ ﾟдﾟ） | |＿＿＿＿ ヽ .....:::::::::::::::::::::::< └＿＿＿／￣￣ :::::::::::::::::::::::::| ＼ｷﾀｰ／ |（ ﾟдﾟ） ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::| ＼ ＼ ＼＿＿＿ ::::::::::::::::::::::::| ∧＿∧ ￣||ヽ、 ヽ__と/￣￣￣/ | 障害個所推測 （ ） ||＿| ￣＼/＿＿＿/ （＿＿ つ三_ | ｶﾀｶﾀ /＿＿ヽ） || || ｶﾀｶﾀ 障害対応PDCA Do ＿||＿J || || 円環の理 ＿＿＿ ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣ 実行 の予感！！ Action / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、 | ||＿＿|| ＜ 丿 | どこが障害ポイントなんだ？ ,. -‐‘’‘’‘“”¨¨¨ヽ |￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿ ﾉ） (.＿＿_,,,... -ｧァﾌ| あ…ありのまま 今 Munin で見た事を話すぜ！ | ( ./ | / 改善 |i i| }! }} /／| ﾉ)ノ,(ノi |l､{ j} /,,ｨ//｜ 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ､_ﾉ／ u {:}//ﾍ 思ったらいつのまにかバックエンドのMySQLをみてた』 |ﾘ u' } ,ﾉ _,!V,ﾊ | ┐) ∧,∧ ﾉ コマンド実行 ／´fト､_{ﾙ{,ィ'ｅﾗ , ﾀ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( /' ヾ|宀| {´,)⌒`/ |<ヽﾄiゝ Check おれも何をされたのかわからなかった… ,ﾞ ／ )ヽ iLﾚ u' | | ヾｌﾄﾊ〉 ￣⊂/￣￣7 ) ヽ lヽ,,lヽ |／_／ ﾊ !ニ⊇ '／:} V:::::ヽ 頭がどうにかなりそうだった… （/ 川口 /ﾉ ( ） やめて！ /／ 二二二7'T'' ／u' __ /:::::::/｀ヽ /'´r -―一ｧ‐ﾞＴ´ '"´ ／::::／-‐ ＼ ioDriveだとか超スピードだとか ￣TT￣ と、 ﾞi / // 广¨´ /' ／:::::／´￣｀ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ﾉ ' / ノ:::::`ー-､___／:::::／/ ヽ } _／｀丶 /::::::::::::::::::::::::::￣`ー-{:::... ｲ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
- 41. 重要な事なので、 もう一度書きます。 一次元から二次元へ ○○は俺の嫁 今期のアニメが(ry 二次が好きですが、こんな事を言っているより、 @zembutsu 自身の婚期を気にした方がいいと思います。 誰か助けて下さい ←
- 42.
- 43. 偉い博士も仰ってます。 他の方の発表にもあり ましたが、重要！！ 一色 健次郎 博士 Isshiki Kenjiro, Ph.D. 「他と関わりを持たぬ孤独のものは、自ずとその限界が定まってしまう。 じゃが、他者と惹かれ合い影響し合うとき、その限界が限界では無くなる。 また１から研究のやりなおしじゃ」 出典：「ビビッドレッド・オペレーション」第12話 This Photo is under creative commons license by superchango http://www.flickr.com/photos/superchango/4376866953/
- 44. 二次元だけじゃなく、三次元 • 会社の同僚（仲間）とのコミュニケーション • 会社の外にも出よう – 勉強会 – セミナー – コミュニティ活動 • IT勉強会カレンダー 興味のある勉強会があれば、 参加してみては如何でしょう
- 45. 最後のまとめ… • 基本コマンドの連携は必須 • 時系列リソース監視が鍵 •仲間達と協力する心も大切 「独りぼっちは寂しいもんな」 出典：魔法少女まどか★マギカ 佐倉杏子 インフラエンジニア的な円環の理 参考資料： 基盤少女インフラエンジニア - Togetter http://togetter.com/li/91857
- 46.
- 47. References • Munin 詳細は、他のスライドをご覧下さい（＾ω＾） http://slideshare.net/zembutsu/ 最後までありがとうございました。