Zero Touch Provisioning for CloudBuilders

Zero Touch Provisioning
for CloudBuilders
Easy Zero Touch Provisioning with EzZTP
Juniper Networks, K.K
kazubu
Dec, 2015

ZTP(Zero-touch Provisioning)とは
• DCにToRスイッチを新設するオペレーションは簡単だが、大量のスイッチを
展開することを考慮すると手間は膨大
• ZTPとは、スイッチの初期導入時においてJUNOSのバージョンとコンフィグ
を自動でプロビジョニングする機能 (Junos 12.2よりサポート)
• 主に海外のOTT, DC事業者などにおいて広く使われている

ZTPと従来のオペレーションとの比較
Legacy
Ops
ZTP
開梱
開梱
ネットワークに
接続して起動
ZTP サービスイン
起動して
コンソールから
セットアップ
ネットワークに
接続
OSバージョン
アップ・ダウン
初期設定サービスイン
膨大な数のToRを設置しなくてはいけないDC等の場合には、
ZTPによるOPEXの削減効果は絶大！

ZTPのコンポーネント
 ゼロタッチ：装置にコンソールなどでのログインが不要
 電源を入れるだけ!
 用意するのはDHCPサーバとファイルサーバの2つ
 ネットワーク経由で自動的にOSや設定情報を装置に転送し反映
 工場出荷状態で動作するため特別な設定は不要
DHCPサーバ
ファイルサーバ
EX/QFXスイッチ
- 装置にIPアドレスを付与
- TFTPサーバのアドレスを通知
- 取得すべきConfigファイル名を通
知
-Configファイル
-OSファイル

動作シーケンス
 スイッチはシリアルとMACアドレスを含むDHCPリクエストを送信
 DHCP OptionでTFTPサーバのIPアドレスとOS/Configのファイル名を通知
DHCPサーバ
ファイルサーバ
(TFTP/FTP/HTTP)
EX/QFXスイッチ
2. DHCP
Discover/Request
4. File Request
(指定されたファイル名)
5. Download files
1. デフォルト設定で起動
ZTPスタート！
3. DHCP Offer/ACK
(ファイルサーバ+ファイル名)
6. ダウンロードしたファイルで
OSとConfigを書き換えcommit
- 装置にIPアドレスを付与
- TFTPサーバのアドレスを通知
- 取得すべきConfigファイル名を通知
-Configファイル
-OSファイル

JUNOS ZTP の流れ
スイッチはDHCPサーバからIP
アドレス、DGW、FTP/TFTP
Server、Junos Image と
Configのファイル名を受け取る
スイッチが Auto image
installation (AIU) プロセスを開
始する
新しいOSイメージをインストー
ル
NO
新しい設定をCommit
START
YES
スイッチをネットワークに接続
して、電源を投入する (工場出
荷状態のスイッチ)
ブートアップ完了後、スイッチ
がDHCPリクエストをアクティ
ブリンクから送信する
END
指定されたバー
ジョンのOSが
既に入っている
か？
AIUプロセスがJunos Imageと
Config fileをダウンロード
再起動

筐体の識別
筐体のMACアドレス
ddns-update-style none;
option option-66 code 66 = string;
option space NEW_OP;
option NEW_OP.config-file-name code 1 = text;
option NEW_OP-encapsulation code 43 = encapsulate NEW_OP;
subnet 192.168.1.0 netmask 255.255.255.0 {
range 192.168.1.1 192.168.1.200;
default-lease-time 6000;
max-lease-time 7200;
option routers 192.168.1.1;
option subnet-mask 255.255.255.0;
host switch1 {
hardware ethernet 2c:6b:f5:3a:6e:41;
fixed-address 192.168.1.11;
option NEW_OP.config-file-name "switch1.cfg";
option option-66 "192.168.1.100";
}
host switch2 {
hardware ethernet 64:87:88:B7:45:81;
option NEW_OP.config-file-name "switch2.cfg";
option option-66 "192.168.1.100";
}
}
DHCPサーバの設定
筐体背面又は底面のシールに筐体のMACが記載
筐体のMACアドレスに+1したものを設定に記述

option space NEW_OP;
option NEW_OP.image-file-name code 0 = text;
option NEW_OP.config-file-name code 1 = text;
option NEW_OP-encapsulation code 43 = encapsulate NEW_OP;
group {
option tftp-server-name "17.176.31.71";
option log-servers 17.176.31.72;
option ntp-servers 17.176.31.73;
option NEW_OP.image-file-name "/images/jinstall-qfx.tgz";
option NEW_OP.transfer-mode "ftp";
host tor-qfx5100-1 {
hardware ethernet 88:e0:f3:71:a0:82;
option host-name "tor-qfx5100-1";
option NEW_OP.config-file-name “tor-qfx5100-1.config";
}
host tor-qfx5100-1 {
hardware ethernet f8:c0:01:c6:96:81;
option host-name “tor-qfx5100-2";
option NEW_OP.config-file-name “tor-qfx5100-2.config";
}
}
Vendor Specific options
（Auto image upgrade
に必要）
Auto configurationで指
定される設定ファイル
MACアドレスから IPアド
レスおよびシステムのホ
ストネームへのマッピン
グ
Syslog and NTP servers
JUNOS ZTP – DHCP Server Configuration
投入されるOSイメージ
シンボリックリンクを指
定することも可能

可用性一貫性効率
ZTPが提供するもの
導入にかかる
時間を削減
機器故障時の
交換にかかる時間を削減設定ミスの削減
Any EX & QFX Switches Any EX & QFX Switches Any EX & QFX Switches

ZTP + Script
Config
Server
ZTP
Clients
MACアドレス/Serialベースではなく、ネットワークの情報を元にConfigを投入
②LLDP等
Simple Sample: https://github.com/jeremyschulman/jctyztp
Port Y
Switch X
スイッチXのポートYと繋がっている
ポートにはXXXを追加！

ZTPを実用するにあたって
• シリアル番号 or MACアドレスの事前収集
• 筐体毎にConfigファイルを一つ一つ作成する手間
• DHCPサーバ内における、台数分の設定
• DHCPサーバの設定(ファイル名など)とファイルサーバのファイルの整合性
はユーザーが手動で担保する必要がある
• スクリプトを作成するのはあまり手軽ではない
→ ZTP環境のセットアップと維持が結構な手間に…
できるだけ自動化してみると…

解決案
• シリアル番号 or MACアドレスの収集
• DHCPリクエストにはこれらに加えて、型番と管理スイッチのポート番号が含まれてい
るので、これらを使用すれば事前の収集が不要に
• 筐体毎にのConfig作成
• テンプレートエンジンを活用することによって、テンプレートから筐体毎の設定の生成
を自動化することが可能
• DHCPサーバにおける筐体数分の設定
• Configをテンプレートから動的に生成すれば、DHCP設定は共通でOK
• DHCPサーバとファイルサーバのファイルの整合性
• テンプレートからの自動生成とDHCP設定の共通化を組み合わせれば整合性を管理する
必要はナシ

EzZTP
• Juniper SwitchのZTPを手軽に試してみるためのソフト(OSS)
• https://github.com/kazubu/ezztp
• VMware上で動作するOVAパッケージとして提供
• https://github.com/kazubu/ezztp/releases/tag/r77
• Ubuntuベース

EzZTPが提供するもの
• ZTPに必要な要素（DHCP + OS & Configレポジトリ）
• Webブラウザを用いた簡単な設定UI
• MACアドレス、シリアルに加えて、管理スイッチのポート、スイッチの機種名
を元にデバイスを識別
• 識別したデバイスに対して、事前に定義されたテンプレートに基づいて自動的
に生成されたコンフィグと、指定されたJunosのイメージをインストール
• Junos機器からの自動Configバックアップを保存
→ ZTP環境構築の煩雑さをカバーしつつ、+αの機能を提供

コンポーネント
• Web UI (Ruby/Padrino framework)
• 設定画面
• DHCPサーバ (Ruby)
• DHCPリクエストの内容から、URLを生成
例: 10.0.0.1/c?p=dc38e1578381!dc01-row01!ge-0/0/1.0!qfx5100-48s!TA3714171023
• ファイル配信HTTP Endpoint (Ruby/Padrino framework)
• URL内の識別子を元に適切なOS/設定を送信
• FTPサーバ (Ruby)
• Junosから受け取ったConfigをEzZTPのデータベースに格納

管理ネットワーク
• 以下のような環境を想定して作られています。
• プロビジョニング対象: QFXシリーズ、EXシリーズ
• 管理ネットワーク:
• EX3300-VCで構成されたシングルセグメント
• EX3300にてDHCP Snoopingを設定し、クライアントが接続される管理スイッチのポート情
報をDHCPリクエストに付加
EX3300VC（Mgmt Switch）
EzZTP
ge-0/0/0 ge-1/0/47
サービス
ネットワーク
QFX5100等

EzZTPとJUNOS ZTP の流れ
スイッチはDHCPサーバからIPアドレ
ス、DGW、HTTP Server(EzZTP)、
Junos Image と Configのファイル
名を受け取る
スイッチが Auto image
installation (AIU) プロセスを開
始する
新しいOSイメージをインストー
ル
NO
START
YES
スイッチをネットワークに接続
して、電源を投入する (工場出
荷状態のスイッチ)
ブートアップ完了後、スイッチ
がDHCPリクエストをアクティ
ブリンクから送信する
END
指定されたバー
ジョンのOSが
既に入っている
か？
AIUプロセスがJunos Imageと
Config fileをリクエスト
再起動
EzZTPのDHCPサーバーは、
・シリアル番号
・MACアドレス
・Mgmtスイッチの接続ポート
・スイッチの型番
の情報を含むURLを生成し、ス
イッチに送信
EzZTPのHTTPサーバーは、URL
に含まれる
・シリアル番号
・MACアドレス
・Mgmtスイッチの接続ポート
・スイッチの型番
の情報を元に、適切なConfigと
Junos Imageを返答

EzZTPの動作イメージ
EzZTP
・DHCPサーバー
・HTTPサーバー
工場出荷状態のQFX/EXスイッチ
ZTP
Clients
Mgmtスイッチ
（EX3300VC）
DHCP Request DHCP Request
１．JUNOSのZTP機能により、
スイッチが起動した時に
DHCPリクエストを送信
2.Mgmtスイッチがクライアントから
リクエストが届いたポート番号の情報を
リクエストに追加（Option82）して
サーバーに転送
DHCP Request
3. EzZTPは受け取ったDHCPリクエストをもとに、
HTTPのURLを生成しスイッチに返答
この時点では、IPアドレスは仮プールから払い出し
DHCP ACK
HTTP Request
HTTP Reply
4.DHCP ACKの情報から、
OSとConfigをHTTPで
EzZTPにリクエスト
5. EzZTPは受け取ったリクエストと設定※から、
適切なOS、Configの情報を判断しスイッチへ送付
※EzZTPは、MACアドレス、Serial、接続スイッチ
ポート情報、機器の型番、の順番で設定を精査

EzZTPの基本的な使い方
• メイン画面
全般設定
Junos Image
管理
Junos Config
テンプレート
管理スイッチ
(VC)の管理
管理対象機器
(ToR)の管理

Global Configurations
• EzZTPの基本設定やConfig
内に埋め込むグローバルな
値を定義
• DHCPサーバの払い出すア
ドレスなどもここで変更可
能
(設定後要再起動)

Images
• EzZTPから配信する
JunosのImageリポジト
リ
• 機種名とバージョンを入
力し、ファイルをアップ
ロード

Management Switches
• 管理セグメント用のスイッチ
(EX3300-VC)を登録する
• ここでの登録情報を基に、管理
スイッチ毎のIPアドレスプール
を作成し、各スイッチのホスト
名や管理IPアドレスを生成する
• IPアドレス
• Base Addr + Port + FPC *
48
• ホスト名
• Subscriber ID-FPC-Port
例: dc01-row01-0-0
set ethernet-switching-options secure-access-port interface ge-0/1/1.0 dhcp-trusted
set ethernet-switching-options secure-access-port vlan mgmt examine-dhcp
set ethernet-switching-options secure-access-port vlan mgmt dhcp-option82 circuit-id
set ethernet-switching-options secure-access-port vlan mgmt dhcp-option82 remote-id
set ethernet-switching-options secure-access-port vlan mgmt dhcp-option82 vendor-id dc01-row01
ここでマッピング
管理スイッチ毎にプー
ルIPアドレスを指定
VCのメンバーあたり
48 IPアドレスを確保

Configuration Templates
• EzZTPから配信する
Junosの設定テンプレー
ト管理画面
• Configをそのまま貼り付
けるだけでもOK
• テンプレートエンジン
(erb)を組み込んでいるた
め、Configの中にプログ
ラムを埋め込み、動的に
Configを生成することも
可能

Configuration Templates(例)
system {
host-name <%= @hostname %>;
services {
ssh;
netconf {
ssh;
}
}
root-authentication {
encrypted-password "<%= @global[:root_encrypted_password] %>";
}
}
interfaces {
vme {
unit 0{
family inet {
address <%= @management_address %>;
}
}
}
}
routing-options {
static {
route 0.0.0.0/0 {
next-hop <%= @global[:management_default_gateway] %>;
no-readvertise;
}
}
}
ホスト名は管理スイッチのポート情報から生成
root パスワードはGlobal Configurationsを参照
管理IPアドレスは管理スイッチのポート情報から生成
Default GatewayはGlobal Configurationsを参照

Configuration Templates(例)
<% vcp_setting = {
"qfx5100-48s" => [[0,48],[0,49]],
“qfx5100-48t" => [[0,48],[0,49]],
"qfx5100-24q" => [[0,0],[0,1]],
} %>
event-options {
generate-event {
vcf-event time-interval 120;
}
policy vcf {
within 180 {
trigger after 1;
}
events vcf-event;
then {
change-configuration {
commands {
"delete event-options";
}
}
execute-commands {
commands {
"op url http://<%= @global[:ztp_server_address] %>/slax/vcf.slax";
<% vcp_setting.each_key{|leaf_model| vcp_setting[leaf_model].each{|vcport| %>
"op url http://<%= @global[:ztp_server_address] %>/slax/vcp.slax pic <%= vcport[0] %> port <%= vcport[1] %>";
<% }if @model.index(leaf_model.downcase)}%>
"op url http://<%= @global[:ztp_server_address] %>/slax/reboot.slax";
}
}
}
}
}
変数に自動生成するConfigの設定を定義
(VC Portに変換するポートをモデル毎に定義)
定義した情報を元に、Configを動的に生成

Devices
• ZTPによるプロビジョ
ニングを行う機器の管
理画面

Devices
• スイッチを特定するため
の識別子と、そのスイッ
チに適用するConfigと
Junos Imageを選択
• スイッチの識別子として
は以下が使用可能
• MACアドレス
• シリアル番号
• 管理スイッチのポート
(ge-0/0/0.0 等)
• 機種の名前

Devices
• CSVで一括インポート/
エクスポートも可能

Use Case No.1
#Auto Configuration Setup per Hardware
EzZTP
Switches
スイッチの種類毎に適切なOSと必要な設定を投入したい
Mgmtスイッチ
（EX3300VC）
QFX5100-48S
QFX5100-24Q
EX4300-48T
型番を見て必要な設定を自動生成！
仮想化サーバ用ToRの設定
ベアメタルサーバ用ToRの設定
Spineスイッチの設定
VM ToR
BM ToR
Spine
14.1X53-D30
14.1X53-D26
14.1X53-D27

Use Case No.1
#Auto Configuration Setup per Hardware
• 事前にJunos Imageをアッ
プロードしておく
• Configuration Templateを
型番毎に作成する
• Deviceの識別子として
model(型番)を使用し、型
番毎にイメージとコンフィ
グを選択

Use Case No.2
#Per Switch Port Config & OS Version Up
EzZTP
Switches
Mgmtスイッチ
（EX3300VC）
QFX5100-48S
QFX5100-48S
EX4300-48T
ge-0/0/2のスイッチにはJunos 14.1X53-
D30とService A用のConfigを送信！
管理スイッチの接続ポートに応じて、自動的に適切なOSと設定を投入したい
ge-0/0/2
ge-0/0/5
ge-1/0/5
サービスA用の設定
サービスB用の設定
サービスC用の設定
サービスB
サービスC
サービスA

Use Case No.2
• 必要に応じてConfiguration
Templateを作成する
• Devicesにて、”Port”をキーとし
たDeviceを作成し、ポート情報と
Junos バージョン、
Configuration Templateをマッ
ピングする
• キーの指定方法は、
subscriber_id:ポート名
– 例: dc01-row01:ge-0/0/2.0

Use Case No.2
• 設定例

Use Case No.3
#Auto Config Archival & Auto Recovery
EzZTP
ZTP
Clients
Mgmtスイッチ
（EX3300VC）
QFX5100-48S
QFX5100-48S
管理スイッチのポート情報を元に、
自動的に元のOSと最新Configで復旧！
常に最新のConfigを保存しておき、障害時における機器交換の際に自動復旧させたい
ge-0/0/2
RMAによる
機器の入れ替え
①Configの常時Backup
(Junos Commit Archival)
Backup

Use Case No.3
• Auto Config Archivalとは、
• JUNOSにより提供される、自動的に
最新のConfig情報を外部サーバーに
アップロードする機能
• 設定変更（Commit）した場合と、時
間インターバル、2つのオプションか
ら設定ファイルのアップロードタイミ
ングを選択可能
1. To remotely save a copy of a configuration each time you commit:
[edit]
user@Junos# set system archival configuration transfer-on-commit
[edit]
user@Junos# set system archival configuration archive-sites ftp://
loginname:loginpassword@FTP-server-ip/directory
2. To remotely save a copy of a configuration at a specified time interval
(in this example, 1440 minutes):
[edit]
user@Junos# set system archival configuration transfer-interval 1440
[edit]
user@Junos# set system archival configuration archive-sites ftp://
loginname:loginpassword@FTP-server-ip/directory

Use Case No.3
• EzZTPでは、書き込み専用のFTPサー
ビスが動いており、Junosの
Configuration上でEzZTPのホストに
対してFTPでConfigを送信する設定を
行うだけで、自動的にConfigを
Configuration Templatesに保存する
system {
archival {
configuration {
transfer-on-commit;
archive-sites {
ftp://10.128.1.2/;
}
}
}
}

Use Case No.3
• ホスト名がEzZTPによって自動生
成されたものであれば、自動的に
管理スイッチとポート番号を基に
DeviceとConfigurationの紐付け
を行う

Use Case No.4
#Auto VC/VCF member manufacturing
EzZTP
Switches
Mgmtスイッチ
（EX3300VC）
QFX5100-48T
QFX5100-48S
VCFに新たなメンバーを追加するために、
OSは14.1X53-D30をインストールして、
et-0/0/48〜51をVC Portに変換し、
VCモードをVCFモードへ変更！
VC/VCFにメンバーを追加するので自動的にOSの変更、VCP、Modeの変更を行いたい
VC/VCF

Use Case No.4
#Auto VC/VCF member manufacturing
• EzZTPには標準でいくつかの内蔵
SLAXスクリプトがあり、それらを用
いることで、Junosのアップグレード
後に自動でVCの設定を変更できる
– vcp.slax pic X port X
• pic X port XをVCPに変換
– vcf.slax
• VC modeをVCFに変更
– reboot.slax
• 再起動
• 右のような設定を含むConfigを流し込
むことによって、自動でVCFモードに
変更した上でVCPを作成し、再起動す
る事が可能
event-options {
generate-event {
vcf-event time-interval 120;
}
policy vcf {
within 180 {
trigger after 1;
}
events vcf-event;
then {
change-configuration {
commands {
"delete event-options";
}
}
execute-commands {
commands {
"op url http://<%= @global[:ztp_server_address] %>/slax/vcf.slax";
"op url http://<%= @global[:ztp_server_address] %>/slax/vcp.slax pic 0 port 47";
"op url http://<%= @global[:ztp_server_address] %>/slax/vcp.slax pic 0 port 48";
"op url http://<%= @global[:ztp_server_address] %>/slax/reboot.slax";
}
}
}
}
}

EzZTPインストール方法
• EzZTPのOVAファイルをデプロイする
• https://github.com/kazubu/ezztp/releases/tag/r77
• NIC 1にEzZTPにアクセスするPCのセグメント(NAT等)、
NIC 2にZTP管理対象のセグメントを接続する(ブリッジ)
• EzZTPのVMを起動し、ログインする
• 以下のコマンドを実行し、聞かれる質問に答える
$ cd ezztp
$ sudo bash ./config.sh
• 正常に完了したら、VMを再起動する
$ sudo reboot
• OSが起動したら、以下のURLでアクセス可能
http://<EzZTPのIPアドレス>/admin/
$ sudo bash ./config.sh
Checking OS : Running with Linux
Checking Shell : Running with bash.
Checking User : This script running as root.
Checking required files... :
./sysconf/generate-system-configurations.rb is exist.
./sysconf/ezztp_default_config.erb is exist.
./sysconf/interfaces.erb is exist.
OK.
Starting Network Configuration...
~/ezztp/trunk/sysconf ~/ezztp/trunk
Initial Setup for EzZTP
Network Configuration:
Interface mapping: eth0 is Public network. eth1 is ZTP network.
Please ask following questions.
eth0 type? (dhcp/static) : dhcp
Interface mode of eth1 is static only...
eth1 address? (x.x.x.x) : 10.128.0.1
eth1 netmask? (x.x.x.x) : 255.255.0.0
DHCP Temporary pool Start IP? (x.x.x.x) : 10.128.100.1
DHCP Temporary pool End IP? (x.x.x.x) : 10.128.100.254
Default router of ZTP network? (x.x.x.x) : 10.128.255.254
DNS Server of ZTP network? (x.x.x.x) : 10.128.255.254
Configuration auto start related daemons...
Starting EzZTP Initial Configuration...

EX3300-VC（Mgmt Switch）
DHCP Snooping Configuration
ethernet-switching-options {
secure-access-port {
/* ZTP Server portを信頼 */
interface xe-0/1/0.0 {
dhcp-trusted;
}
/* 管理VLANでDHCP Snoopingを有効化 */
vlan mgmt {
examine-dhcp;
dhcp-option82 {
circuit-id;
remote-id;
vendor-id {
/* ここの値で管理スイッチを識別する (max 12文字位) */
dc01-row01;
}
}
}
}
}

まとめ
• ZTPは広範に効率アップを望める、比較的導入しやすい自動化手法
• ‘ゼロタッチ’で‘簡単デプロイ’
• ZTPを実運用するに当たっての課題の整理
• EzZTPを使用する事により、普通に構築するより簡単、そして便利
にJuniperスイッチの自動プロビジョニングが可能に
• Github: http://github.com/kazubu/ezztp

Zero Touch Provisioning for CloudBuilders

Zero Touch Provisioning for CloudBuilders

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Zero Touch Provisioning for CloudBuilders

Similar to Zero Touch Provisioning for CloudBuilders (20)

More from Juniper Networks (日本)

More from Juniper Networks (日本) (20)

Recently uploaded

Recently uploaded (14)

Zero Touch Provisioning for CloudBuilders