DevLOVE現場甲子園東日本大会2014での発表資料です。

1. オープンに活動することと現場の改善
～Zabbix導入による改善物語～
Daisuke IKEDA
@ike_dai
2014/8/23 DevLOVE甲子園2014東日本大会

2. 自己紹介
池田 大輔
TIS株式会社 戦略技術センター
@ike_dai
https://www.facebook.com/ikedai
Zabbix,AWS,fluentd,Chef,JobScheduler...
名前
所属
Twitter
Facebook
興味
AWS、VMware監視用プラグイン『HyClops for Zabbix』開発
(http://tech-sketch.github.io/hyclops/jp/)技術評論社HP : http://gihyo.jp/book/2014/978-4-7741-6288-1
Amazon : http://www.amazon.co.jp/dp/4774162884

3. 事前にちょっと

4. 他のツールを
disったり
したいわけではありません

5. あくまで自身の経験に基づき
『フィットしたのはこれです！』
というお話

6. これまで面倒みてきたシステム達
社内SNS

7. 社内SNS
システム構成はよくあるWeb-AP-DBの3層型
Ruby on Railsで作られたサービス
運用系ツール
死活監視
SLAのチェック
等
リソース監視 プロセス監視 アクセス解析
Nagios MRTG Monit AWStats

8. 運用・監視って何？？？
な当時新人だった自分には
各ツールの仕組み・設定方法
勉強だけで頭がパンク！

9. これまで面倒みてきたシステム達
社内向けプライベートクラウドサービス

10. 社内向けプライベートクラウドサービス
開発サーバや開発ツール系の共有サーバを提供
監視にはCactiを利用
システムの特徴
マシンの台数が多い
仮想化プラットフォームも様々
作ったり消したり頻繁に発生

11. 社内向けプライベートクラウドサービス
マシンの追加依頼が来たら
リソース空き状況をCactiのグラフで確認
Excel管理のマシンスペック表を確認
HVのオーバーコミット状況をみて配置先のHVを決定
Excelに追加
構築処理
監視設定を追加
マシン完成報告

12. Excel”方眼紙”ではないですが・・・
仮想マシンとハイパーバイザの関係をドキュメント管理

13. 社内向けプライベートクラウドサービス
マシンの追加依頼が来たら
リソース空き状況をCactiのグラフで確認
Excel管理のマシンスペック表を確認
HVのオーバーコミット状況をみて配置先のHVを決定
Excelに追加
構築処理
監視設定を追加
マシン完成報告

14. 毎回手作業でやるの？？？
1〜2人じゃ回らない。。

15. Excelに書き忘れてた！とか
現状と差異が生じる度に確認作業
毎回手作業でやるの？？？
1〜2人じゃ回らない。。

16. Excelに書き忘れてた！とか
現状と差異が生じる度に確認作業
メンテとかして大幅に配置換えす
ると全部書き換え！？
毎回手作業でやるの？？？
1〜2人じゃ回らない。。

17. いろいろと限界を感じたので
+楽をしたいので

18. Zabbix

19. Zabbixを導入したことで
● 自動登録機能やディスカバリ機能で手作業激減
● これまで見きれなかった細やかな監視を実現
○ 本当に必要な情報の監視を適切に実現
● 監視→視覚化→アクションの一連の流れを
Zabbix1つで管理可能に

20. 自動登録・ディスカバリ機能
NWディスカバリ(ポーリング型) 自動登録(プッシュ型)
Zabbix Server
or
Zabbix Proxy
Target
Server
NW
Device
Target
Server
Target
Server
Zabbix Server
or
Zabbix Proxy
Target
Server
Target
Server
Target
Server
Target
Server
指定したNW宛に定期ポーリング
Zabbix
Agent
Zabbix
Agent
Zabbix
Agent
Zabbix
Agent
■ NWのIPrange指定をしてポーリング
■ 検知条件が豊富
- Zabbix Agent
- SNMP
- ICMP ping
- TCP
- HTTP 等
■ Agent起動時にZabbixServerに通知
→無駄なパケットが発生しない(効率的)
■ 通知時に送付される情報
- Hostname (Agetホスト名)
- ListenIP (Agent稼働IP)
- ListenPort (Agent稼働ポート)
- HostMetadata (Agentに割り当てられたメタ情報 )
起動時にプッシュ通知

21. 自動登録・ディスカバリ機能
監視対象機器新規追加
追加されたことを検知
追加された機器の情報を把握
機器情報を基に適切な監視設定
監視開始
一連の流れを自動化

22. 豊富な監視手法
snmp server
snmp server
SNMP Trap
SNMP
ssh server
ssh server
Zabbix Agent
仮想化HV
Cloud
ODBC
DB
JMX
Java
アプリ
仮想環境API
クラウドAPI
SSH接続による
内部コマンド実行監視
ZabbixAgentによ
る内部監視
(リソースやログ等)
ODBCによるDB監視
Zabbix Java GatewayによるJava監視
外部チェックスクリプト監視機能による API監視
Zabbix Server

23. 監視運用の一連の流れを統合管理
監視処理
状況の視覚化
アクション自動化
■豊富な監視手法
■環境に合わせた監視設定自動化
■グラフの自動生成
■カスタムスクリーンによる運用者への最適な情報の提示
■メール通知・リモートコマンド実行
■エスカレーション機能によるアクションフロー自動実行

24. Zabbixを使うに至るまでに

25. まずは個人的に使ってみる
書籍やブログ記事など机上の話だけではなかなかイメージも難しい

26. コミュニティに参加
インターネット上に転がってない情報もいっぱい

27. ブログにちょっとしたメモ残してみたり
中の人に知ってもらうためにあえて外からアプローチというのも効果的

28. Zabbixも完璧ではない

29. 監視対象の増加に従って
設定自動化できるけど

30. 監視対象の削減に従って
監視設定削除は苦手だったり

31. オープンだからこそ
補い合える

32. こんなものを作ったり

33. AWS・VMware環境
監視自動化プラグイン

34. HyClops機能詳細
OS
Zabbix
VMware
サポート環境
機能
CentOS,Ubutnuで動作確認済み
2.0系、2.2系対応
4.1および5.0、5.1(update1) ESXiで動作確認済(vCenter未対応)
クラウドAPI経由でインスタンス名およびインタフェース情報を取得し Zabbixホスト自動登録
ホスト自動登録
テンプレート自動割当
API経由での情報取得
複数インスタンス一括制御
GateOne連携
ホスト自動登録時に OS種別(LinuxかWindows)に応じて自動テンプレート割当・監視実行可能
AWS |インスタンス情報(AZ,Type,Status等)、課金情報(CloudWatch BillingData)
VMware|HV情報(CPU,Memory,Storageの全体量/割当量/使用量)、VM情報(CPU,Memory,Status等)
起動/停止/再起動を複数インスタンスに一括命令実行可能 (Zabbixグローバルスクリプト機能利用 )
Zabbixに登録したホストのインタフェース情報を使って Webブラウザ上でSSHコンソール接続可能

35. 使える可能性を高めていける

36. ただし！

37. あくまでZabbixは手段

38. 目的ではない

39. Zabbixを使うためにではなく
運用をよくするために活動したい
改めて自戒をこめて。。。

40. 伝えたかったこと

41. 小さく初めて

42. 小さく初めて
少しのオープンな精神とともに

43. 小さく初めて
少しのオープンな精神とともに
目的を見失わず活動を続ける

44. 小さく初めて
少しのオープンな精神とともに
目的を見失わず活動を続ける
堅くて変え辛いところでも
変化を起こせるかも

45. Thank you.
Let’s improve our future together!
@ike_dai
2014/8/23 DevLOVE甲子園2014東日本大会