201601111 ansible

Ansible + CumulusLinux使用例
Cloud&SDN研究所加藤良輔

自己紹介
2016/11/11 All rights reserved. ©BroadBand Tower, Inc. 2016 2
加藤良輔
2013年11月入社
Cloud&SDN研究所所属
活動内容
2013年～
Cloud&SDN研究所発足のスタートアップメンバとして入社
2014年～
SDN研究所用ASの設計運用、実験系Internet Exchange拠点運用に携わる
2015年～
複数クラウド接続サービスの設計・運用に携わる
2016年～
Interop2016 NOC サーバ担当等々社外活動

Cumulus Linux
Cumulus Linux ＝言わずと知れたWhiteboxスイッチ用のLinux
Linux (Debianベース)
たくさんデプロイを想定スイッチですもの
・・・
構成管理ツールを使わない手はない
素で Linux + sshd 動いている
素で Python 入ってる →
Ansible を使うしかないじゃないか！

Ansibleの仕事
Ansible とは？
サーバ管理の構成管理/自動化ツール
指定された書式の手順書をインベントリに登録されたサーバにて実行
Cumulus Linux + Ansible でできるシナリオ
1. 作業ユーザ追加と管理権限の付与
2. (ライセンス適用)
3. デフォルトユーザ ”Cumulus” の無効化
4. サーバ監視サービス ”Consul” のインストール
5. 管理系サービス (syslog/snmpd) の設定
6. Linux Bridge の初期構成 (モジュールもCumulus対応)
上記操作を一括にて行えます

AnsibleからCumulusの操作
Ansible Module for Cumulus Linux
Ansible で操作をする場合は以下のCumulus提供の操作モジュール
cl_license - Install Cumulus Linux license
cl_bond - Configures a bond port.
cl_bridge - Configures a bridge port.
cl_img_install - Install a different Cumulus Linux version.
cl_interface - Configures a front panel, loopback or management port.
cl_interface_policy - Configure interface enforcement policy.
> This is a Core Module
いつの間にか公式のCoreModuleに登録されてしていました (以前は拡張モジュール扱い)
… 実際のところ、これ以外は完全にLinuxおよび各サービス用モジュール設定になります

モジュールのごく一部分解説 (1)
cl_interface について
/etc/network/interface.d/ 以下に各interfaceの設定を置く
要: /etc/network/interface に source /etc/network/interface.d を記述
Debian GNU/Linux の設定としては筋の通る・・・というか、そのまま
ははーん、このモジュールはUbuntuにも使えますね？

cl_interface について
/etc/network/interface.d/ 以下に各interfaceの設定を置く
要: /etc/network/interface に source /etc/network/interface.d を記述
Debian GNU/Linux の設定としては筋の通る・・・というか、そのまま
ははーん、このモジュールはUbuntuにも使えますね？
→
だめでした orz
cl_interface で呼び出す ifquery に独自の拡張が含まれてる模様

Ubuntu版 ifquery Cumulus版 ifquey
手作業でInterface設定する場合は意識す
る必要はないが、Cumulus内のSystem寄
りコマンドはCumulus内で扱いやすいよう
にカスタマイズされている模様

Cloud&SDN研究所にての試験利用中
デプロイ後の初期設定＋基本設定
サービス監視/一括操作
管理ネットワーク
Whitebox
Switch
Generic
Switch
Generic
SwitchCloud&SDN研究所仮想基盤の
ToRスイッチとして利用

Cumulus は Linux Switch故の
“スイッチ管理もクラウドらしく”
をコンセプトにデプロイ設計ができる

CumulusLinux管理構成
サーバOS (Linux) による
スイッチ筐体の制御
デプロイ (展開) ツールによる
設定の自動化
クラスタ管理ツールによる
ステータスの相互確認
Consul

Ansibleの仕事
同上

Consulの仕事
Consul
Consul とは？
サーバ監視と設定の為の管理エージェント
問題発生時にエージェントからのイベントとアクション
インストール済み端末を一斉操作
Cumulus Linux + Ansible ＋Consul
1. Ansible による初期設定から自動インストール
2. インストール後はConsulサーバへ自分の情報を通知
3. 死活監視と待機
4. (Ansible が利用可能な最新のホスト情報を生成)
5. (インストール済みノードへコマンドを一括投入)

管理されたWhitebox Switch運用のサイクル
1. 電源投入からの自動初期設定
2. 自動によるベースコンフィグ設定
3. ベースコンフィグからの自動クラスタ構成
4. （群体のオペレーションの繰り返し）
5. 故障もしくは経年による入れ替え
6. （１へ戻る）
Consul
Linux的に
自動設定

Ansible Playbook構成
1. 初期設定
1. Cumulus共通の初期設定
2. クラスタ設定
1. Consul登録
3. サービス/スイッチ設定
1. snmpd
2. rsyslogd
3. switchd

Consul管理
クラスタ管理画面
冗長化された管理サーバ
登録されたクライアント一覧
サーバとしての柔軟な操作
一括の設定確認/変更
必要な情報の抽出
※スイッチクラスタ内の “t3048” に一致するスイッチのポート6が学習したMACアドレスを抽出
※管理サーバ3台の冗長構成と4台の試験用仮想スイッチ、および Quanta t3048-ly9

Ansible ＆ Consul の違い
Ansible
手順書を元に全体のモデル化と設定反映
自動構成として利用するツール
初期状態からのデプロイ用として利用
Consul
作業対象の監視と一括操作を行うツール
コマンドを一括でライブに投入が可能
同役割の冗長系スイッチへ同じコマンドを投入可
全機器のステータスの表示
指定のサービスの全停止/再起動
機能不全検知時に指定のコマンドを実行
Consul
=ゼロタッチ的プロビジョニング
=Linuxの一括操作

Cumulus Linux を試す
Cumulus Linux を試したいが手元にない・・・
仮想版の「Cumulus VX」が無償にてダウンロード可能
https://cumulusnetworks.com/cumulus-vx/download/ ※要ユーザ登録
VMware, KVM, Virtualbox にて提供中
今回は Cumulus VX による実行環境を用意
操作感と見えかたはほぼ実機同様
実機を触る前のお試しに

Cumulus Linux 触ってみよう
Linux だこれ

AnsibleでCumulusを操作してみる (1)
cl_interfaceモジュールで swp1, lo の設定を行う
Interface: swp1, IPv4: “169.254.[作業対象スイッチ番号].2/30”
Interface: lo, IPv4: “169.254.0.[作業対象スイッチ番号]/32”
Template(もしくはfile)モジュールでインストール済みの snmpd の設定を行う
Community: ool にてデーモンを立ち上げ外からsnmpwalkを行う
Template (もしくはfile)モジュールでインストール済みの rsyslog の設定を行う
UDP:172.17.51.111:512 宛に syslog を飛ばす
Template (もしくはfile)モジュールでインストール済みの quagga の設定を行う
次の図を元にBGPの経路を設定する
これだけで基本的なL3スイッチとしては動きます
各モジュール使い方の参照:
http://docs.ansible.com/ansible/modules_by_category.html

VX01 VX02 VX03 VX09
VX00
AS番号: 65000
AS番号: 65001 AS番号: 65002 AS番号: 65003 AS番号: 65009
swp1swp1 swp1 swp1Neighbor:169.254.3.1
RouterID=loのIP RouterID=loのIP RouterID=loのIP RouterID=loのIP
• BGP設定
• AS番号
• Router-id設定
• Neighbor設定
• Quaggaサンプル
router bgp 6500x
bgp router-id 169.254.0.x
neighbor EBGP peer-group
neighbor EBGP remote-as external
neighbor 169.254.x.1 peer-group EBGP
!
address-family ipv4 unicast
neighbor 169.254.x.1 soft-reconfiguration inbound
exit-address-family
・・・
ピアが張れてAS65000から経路を受けられればOK

VX11 VX12 VX13 VX19
VX10
AS番号: 65010
• BGP設定
• AS番号
• Router-id設定
• Neighbor設定
router bgp 6500x
!
exit-address-family
・・・

VX21 VX22 VX23 VX29
VX20
• BGP設定
• AS番号
• Router-id設定
• Neighbor設定
router bgp 6500x
!
exit-address-family
・・・
AS番号: 65020

持ち帰り
Cumulus のデモ環境
https://github.com/slaffer-au/vx_vagrant_one_stop_demo
Vagrant + Ansible を使って Cumulus をの環境を手元にデプロイ
L2スイッチから L3IP-Fablic までのplaybookが使用可能
Ansible の簡易サンプル
https://toe.bbtower.co.jp/20161110/1218/
Vagrant+Ansible を使った開発環境の紹介

201601111 ansible

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 201601111 ansible

Similar to 201601111 ansible (20)

201601111 ansible