SoftLayer＋Zabbix＋αで
運⽤用⾃自動化
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

⾃自⼰己紹介
安⽥田 忠弘
Twitter:yasudatadahiro
クリエーションライン株式会社 代表取締役
⼀一般社団法⼈人クラウド利利⽤用促進機構（CUPA） 理理事
Open Compute Project Japan 運営委員
⽇日本SoftLayerユーザ会 運営委員
⽇日本MSP協会 発起⼈人
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

第1回福岡SoftLayer勉強会！
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
初上陸陸

本題に⼊入る前にちょっとだけ
会社の紹介を。。
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

別資料で説明しました
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

SoftLayer＋Zabbix＋α
で運⽤用⾃自動化
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

hp://www.crea,online.com/msp/
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Zabbix as a framework
ソフトウェアフレームワーク（英: software framework）とは、プログ
ラミングにおいて、⼀一般的な機能をもつ共通コードをユーザーが選択的
に上書きしたり特化させたりすることで、ある特定の機能をもたせよう
とする抽象概念念のことである。単にフレームワークとも呼ばれる。
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

アジェンダ
1. クラウドの価値とは？
➡ おさらい
2. 効率率率的な監視の検討
3. SoftLayerを理理解しよう
4. API は⾃自動化の鍵
5. SoftLayer＋Zabbix+α
6. おまけ
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

クラウドの価値とは？1
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

かつてのサーバ追加
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
計
画
発
注
納
品
設
置
設
定
監
視
運⽤用開
始

かつてのサーバ追加
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
計
画
発
注
納
品
設
置
設
定
監
視
運⽤用開
始
実際のフローでは、ここがネックになりがち・・・
数週〜～1ヶ⽉月程度度
few weeks or a month

クラウドでの追加
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
計
画
発
注
納
品
設
置
設
定
監
視
運⽤用開
始
クラウド・コンピューティング基盤
Infrastructure as a Service
１クリック
one click

クラウドでの追加
クラウド・コンピューティング基盤
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
計
画
発注納
品
監
視
運⽤用開
始
Infrastructure as a Service
数分〜～10分
few minutes

クラウドの利利点とは？
n 技術的
➡ サーバの追加や削減が簡単に、今すぐできる
➡ ⾃自動化・省省⼒力力化のためのツールが提供されている
n ビジネス的
➡ 利利⽤用時間単位の課⾦金金なので、
初期コストを抑えることができる
n 背景
➡ ビジネスを取り巻く環境が常に変化する
➡ 周辺技術の進化（スマートフォンの急速な普及）
☞ 「柔軟性」「スケーラビリティ」
» “Flexible”
» “Agile”
☞ 使いやすいWebインターフェース
☞ API やライブラリ群
☞ ⽔水道や電気料料⾦金金のように、
必要な分を使った分だけ課⾦金金となる
» “On demand”
» “Pay as you go”
» “Pay for what you use”
最⼩小コストで最短スタートができ、
サービスに応じてインフラを変化できる
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

クラウド・コンピューティング基盤
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
ところが・・・
計
画
発注納
品
監
視
運⽤用開
始
Infrastructure as a Service
数分〜～10分
few minutes
発注納
品
発注納
品
継続的デリバリー
継続的デプロイ
継続的インテグレーション

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
計
画
発注納
品
監
視
運⽤用開
始
発注納
品
発注納
品
あれ、監視は・・・？
監
視
監
視
クラウドによって環境の準備が迅速になったはず。
しかし、台数の増加やシステム構成の複雑化によって、
クラウドの価値を相殺しているのではないのか？

What is effective operation and monitoring? 2
自動化へのステップ１ 効率的な監視の検討
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

監視に必要な要素
n 運⽤用の⽬目的とは？
➡ サービスやシステム安定稼働（あるべき状態を維持）
➡ 異異常があれば、復復旧する
➡ そのために監視を⾏行行う
n 監視とは？
➡ データを収集する
➡ データの異異常を発⾒見見する
➡ 状況に応じて、適切切な⾏行行動を起こす
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
効率率率的な監視
n 運⽤用前
➡ 監視設定の省省⼒力力化
• 役割に応じた監視の⾃自動設定
• 追加・削除の⾃自動化
n 運⽤用開始後
➡ 迅速な検出とエスカレーション
➡ 適切切に「⼈人間が」状況判断できる仕組みの提供
• トリアージ的な考え⽅方の導⼊入

SoftLayer’s architecture and Network 3
自動化へのステップ２
SoftLayerを理解する
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

SoftLayerとは？
n 仮想化は選択肢の１つ
➡ 仮想サーバ、物理理サーバー(BareMetal)を選択できる
➡ 時間単位の課⾦金金
➡ リソースは、共有と専有を選べる
n 歴史
➡ 2005年年 テキサス州ダラスに設⽴立立
➡ 2011年年 アジア・欧⽶米に展開開始
➡ 2013年年 IBM社に買収
➡ 2014年年 140ヶ国、25000以上の利利⽤用者
東京データセンター開設予定
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

SoftLayerのデータセンター
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

SoftLayerのサポート
n 料料⾦金金
➡ 基本的なサポートは無料料、制限なし
n サポートの種類
➡ チケット
➡ チャット
• リアルタイムで担当者とやりとり
➡ 電話
• 現状は英語のみ
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

SoftLayerが提供するサービス
n サーバ
➡ 仮想サーバ、物理理サーバ(baremetal)
n ストレージ
➡ オブジェクトストレージ、NAS、iSCSI、CDN、バックアップ
n ネットワーク
➡ VLAN、ロードバランサ、ネットワーク・アプライアンス、DNSサービス
n セキュリティ
➡ ファイアウォール、SSL証明書、コンプライアンス
n 開発者向け機能
➡ API、メール配信、メッセージキュー、フォーマット変換、サポート
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

SoftLayerのAPI
n 3種類のプロトコルを選べる
➡ SOAP
☞ Getting Started | SoftLayer
Development Network
http://sldn.softlayer.com/article/
Getting-Started
• SoftLayer API に直接つなぐので最速
• 推奨⾔言語：C#、Perl、PHP、VisualBasic.NET、等
➡ XML-‐‑‒RPC
• 多くの⾔言語に対応するが、主にSOAPしない⾔言語向け
• 推奨⾔言語：PHP、Python
➡ REST
• HTTPプロトコルで簡単にデータを取得できる
• 推奨⾔言語：Ruby等、HTTPプロトコルを扱えるもの
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
REST
n RESTがおすすめの理理由
➡ curlを使って簡単に確認できる
• 冴えるシェル芸
➡ 出⼒力力結果を選択でき、⽤用途に応じて加⼯工しやすい
• テキスト（⽂文字列列）
• XML形式
• JSON形式

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
API Key
n API Keyの特⻑⾧長
➡ アカウント単位なので、権限設定ができる
n 確認⽅方法
➡ 【 Account 】→【 Users 】

SoftLayerの監視
n 標準提供される2種類の監視
➡ BASIC Monitoring
• PING レベルの死活監視（無償）
• メール、チケットでの通知（無償）
• TCP Port レベルの監視オプションあり
• 障害発⽣生時に⾃自動再起動や、データセンタ有⼈人対応
➡ Advance Monitoring
• 分単位のサービス・リソース監視
• Basic は無償
• AdvanceやPlatinumは有償
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

自動へのステップ３
APIは自動化の鍵
An automation for practical operation 4
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

1. 【設定】→【スクリーン】
→【対象スクリーン名】をクリック
2. 対象枠の【変更更】をクリック
3. グラフ名の【選択】ボタンをクリック
4. グループとホストを選び、アイテム選択
5. 必要に応じて列列や⾼高さの調整
6. 保存
7. 必要アイテム・ホスト分2〜～6を繰り返す
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

ZabbixのAPIを使って⾃自動化するシステムのイメージ
現在値を知りたい
監視対象を追加したい・削除したい
グラフやスクリーンを編集したい
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

ZabbixのAPIを使って⾃自動化するシステムのイメージ
プログラム
API リクエスト
JSON
現在値を知りたい
監視対象を追加したい・削除したい
グラフやスクリーンを編集したい
重要な点は、設定時間短縮・⼈人的作業事故を回避
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

自動化へのステップ４
SoftLayer＋Zabbix+α 5
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
□□□□■

SoftLayerとZabbixの連携
n ⾃自動監視
➡ サーバ追加・削除の連動
➡ roleとtagに応じて、グルーピング
➡ オートスケール時に⾃自動適⽤用
n API連携
➡ チケット検出
➡ 利利⽤用料料⾦金金計算
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
環境
manager
192.168.39.3
192.168.39.1(VIP/LVS)
API
(
JSON-­‐RPC
)
node1
192.168.39.11
node2
192.168.39.12
node3
192.168.39.13
node4
192.168.39.14
node5
192.168.39.15
10.0.0.2

Workflow orchestration
serf manager
( cluster )
Zabbix Server
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
serf agent
join to cluster
event:
member-join
call: zabbix-add
role:web
name:web1
JSON Request
LVS Server
ipvsadm
–A –t LVS -s NODE -g
host.create
interfaces, group,
templates
JSON Return
event:
settag
hostid
user
HTTP/HTTPS
zbx-screen-add
screen.get
hsize
screen-update
screen.update
graph-update
graph.get
graphitem.get
graphids
graph-update
graph.update
graphid, gitems

$
serf
agent
–iface=eth1
–discover=serf
–log-­‐level=debug
-­‐-­‐event-­‐handler=/opt/serf-­‐lvs/ADP.pl
$
serf
agent
–iface=eth1
–discover=serf
–log-­‐level=debug
–event-­‐handler=user:seag=/opt/serf/changetag.pl
–tag
role=web
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
serf
manager
serf
node
イベントが発生する度に、この Perl スクリプトを実行。
イベント毎に、ZABBIX Server に対する JSON リクエストや
LVS ( ipvsadm ) を制御します。このとき、処理対象の role
も判断材料に用います。
serf のタグで ‘web’ や ‘db’ など、サーバの役割を明示。
web であれば、HTTP の監視を行い、LVS に追加。
db であれば、MySQL の監視を行うように区別します。

serf agent を起動するだけで、自動的にホスト登録と監視を開始。ZABBIX 画面に一切ログインすること
なく設定を行えます（Serf と連携し、IP アドレスの情報を自動的に渡しています）。
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
HTTP
Template

node2 では ‘web’、node3 は ‘db’ とすると、自動的に設定が開始されます。
なお、障害等でのnode 停止時も、規定時間 ( 初期値24時間 ) ノード情報を持たせておき、その後
ノード削除させることもできます。
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
HTTP
Template
MySQL
Template

単純にホストを追加・削除するだけで無く、スク
リーンのグラフを自動登録させる事も出来ます。
XML 編集の呪縛から解放・・！
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved
その他にも、グループ
分けしたアイテム毎
（Load Average や
CPU idle)に、１つのグ
ラフに動的に追加・削
除させる 事も出来ます。
面倒な処理は、Serf と
連携したフレームワー
クが自動処理します。

今後の拡張アイディア
n 監視設定の完全⾃自動化
➡ Consul, Serf 等と連動
n アラート発⽣生時の⾃自動対応
➡ Consul 等のイベントハンドラ⾃自動実⾏行行
n 他のツールとの連携
➡ Slack
➡ hubot
➡ hue
n docker監視対応
➡ コンテナ環境の監視に応⽤用
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Zabbix as a framework
ソフトウェアフレームワーク（英: software framework）とは、プログラ
ミングにおいて、一般的な機能をもつ共通コードをユーザーが選択的に上
書きしたり特化させたりすることで、ある特定の機能をもたせようとす
る抽象概念のことである。単にフレームワークとも呼ばれる。
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

MSP業務にZabbixを何故導入したのか？
どのように拡張していくのか？ 鍵は API
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

SoftLayerの情報
n 公式
➡ http://www.softlayer.com/
n ⽇日本語情報
➡ SoftLayerユーザ会
http://jslug.jp/
➡ SoftLayer技術⽂文書
https://gg-‐‑‒web.jp/document/ConfigGuide/
➡ クリエーションライン CL-‐‑‒Lab
http://www.creationline.com/lab
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

ネタバレ
今⽇日の資料料は
弊社テクノロジーエバンジェリスト
前佛からのパクリネタでした。。
m(_̲ _̲)m
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

おまけ１
Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved

Copyright ⓒ2014 CREATIONLINE, INC. All Rights Reserved