【HinemosWorld2014】B2-2_ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～ONIE・ZTP・Chef with Pica8～

ビジネス競争力に勝てるネットワーク基盤構築
～Hinemos仮想ネットワーク管理オプション～
～ONIE/ZTP/Chef with Pica8～
NCL Communications
エヌ・シー・エル・コミュニケーション株式会社
基盤ソリューション事業部佐藤浩

会社紹介
NCL Communications
Copyright© 2014 NCL Communications

NCLコミュニケーション会社案内
NCL Communications
社名：エヌ・シー・エル・コミュニケーション株式会社
(英文名) NCL Communications
設立：１９８６年３月１３日(昭和６１年)
資本金：１億１,６２０万円
役員：代表取締役関根尚
取締役長正三
取締役千代毅
従業員数：２７名(平成２６年５月現在)
所在地：〒１５０－６０２７
東京都渋谷区恵比寿４-２０-３恵比寿ガーデンプレイスタワー２７Ｆ
０３-５４４７-８５１１ (代表)
主要事業内容： IT製品の輸入・販売・保守・プロダクトインテグレーション
ならびにシステムインテグレーション
主要取引先： (順不同、敬称略)
グループ会社一覧
テクマトリックス株式会社(TechMatrix Corporation)
東証1部上場
(株)インターネットイニシアティブ, (株)アクシオ, (株)NTT データ,
伊藤忠テクノソリューションズ(株),ウチダエスコ(株),
NECフィールディング(株), NTT コミュニケーションズ(株),
(株)NTT データシステムズ,東日本電信電話(株), (株)大塚商会,
(株)沖電気カスタマアドテック,沖電気工業(株),
(株)JALインフォテック, SCSK(株), セコムトラストシステムズ(株),
ソニーマーケティング(株), ソフトバンクBB(株), ダイワボウ情報システム(株),ディーアイエスソリューション(株), 東京大学,
東芝情報機器(株), 日商エレクトロニクス(株), 日本IBM(株), ネットワンシステムズ(株), パナソニック(株), (株)日立国際電気,
富士ソフトサービスビューロ(株), 富士通(株), 三井情報(株), 三菱電機(株), 三菱電機インフォメーションシステムズ(株),
ユニファイドコミュニケーションズ(株), テクマトリックス(株), クロス・ヘッド(株), 他
クロス・ヘッド株式会社
沖縄クロス・ヘッド株式会社(Okinawa CROSS HEAD Co.Ltd)
GIX沖縄株式会社
2014/12/16 Copyright© 2014 NCL Communications 3

アジェンダ
NCL Communications
ネットワークの構築・運用から見える課題
Hinemos仮想ネットワーク管理オプションによる解決
ONIE/ZTP/Chef with Pica8による解決
SDNのロードマップ

ネットワーク構築・運用から見える課題
NCL Communications

ネットワーク構築から見える主な課題
NCL Communications
設計
構築
テスト
導入
Spine #1 Spine #2 Spine #3
1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6
1 2 3 1 2 3 1 2 3
1 2 3 1 2 3
Leaf #5(ACT) 47 47
Leaf #5(SBY) Leaf #6(ACT) Leaf #6(SBY)
48 48 48 48 48 48
40 30 40 30
47 47
30 30
サーバ #1 サーバ #2
1 2 3
Leaf #4(ACT) 47
Leaf #4(SBY)
10
47
10
ルータ #1 ルータ #2 L2SW
作業PC
1G UTP
100M UTP
LAG
 スイッチ毎の仕様・性能を考慮し慎重に検討する必要がある
 導入機器が多くなればその分、構築に時間が掛かる
 機器の調達コストが掛かる

ネットワーク運用から見える主な課題
NCL Communications
管理の側面
ネットワークの最適化
セキュリティ
構成変更
 各スイッチのパスワード変更
 SNMP、NTP、Syslog等のサーバ変更
 定期監視
 OSPF,BGP等のタイマー系変更
 QoS、帯域制御の変更
 アクセスコントロールリストの変更
 ポートセキュリティの変更
 セグメント追加・変更・削除
 ルーティング追加・変更・削除
 基本的には各機器にログインして個別に設定する必要がある
 ネットワーク構成の最新状態を把握していなければならない
 作業の為に工数が掛かる（コストが掛かる）

課題と現状
NCL Communications
ネットワーク機器
への依存
マニュアル操作マニュアル管理
 機器毎に仕様（設定方
法）が異なる
 機器毎に手動で設定する システム全体で一貫性
を保つ必要がある
初期コスト増大運用コスト増大リリース遅延
早くサービスインを行いたいが、
ネットワークが足枷となってしまっている。。

あるべき姿
NCL Communications
CAPEX OPEX AGILITY
初期コスト削減運用コスト削減即時・拡張性
ビジネスの競争力に勝つ必要がある
ネットワークに対する迅速性・自動化・効率化が必要

仮想ネットワーク管理オプションによる解決
NCL Communications

仮想ネットワーク管理オプションとは
NCL Communications
仮想ネットワーク管理オプション
 仮想ネットワーク、仮想マシンを自動的に作成することが可能です。
 仮想化環境を共通的なハードウェア構成上に構成することが可能です。
 仮想面・物理面を統合管理運用することが可能です。
仮想ネットワーク管理
オプション
SDNコントローラ
仮想ネットワークを実現する手段として、
OpenFlow※を活用しています。
OpenFlow
スイッチ
Open vSwitch
※OpenFlowはネットワーク機能をソフトウェアで集中管理する事
が出来る技術。
業界団体のOpen Networking Foundationによって標準仕様の
策定が行われている。

自由度の高いネットワーク環境を提供できます
NCL Communications
Open vSwitch
物理・論理の両面を管理でき、思い通
りのネットワーク、通信制御が可能！
Open vSwitch
仮想化環境の一元管理
OpenFlow
迅速なネットワーク提供
必要な時に必要なリソース、ネット
ワークを迅速に提供！
テナント定義
リソースの共有スイッチ
ネットワーク、ストレージ、サーバリ
ソースをマルチテナントで共有！

サーバ仮想化技術・ネットワーク仮想化技術の制御
NCL Communications
Hinemos
クライアント
（管理コンソール）
Open vSwitch
Open vSwitch
テナント定義などの登録論理ネットワークの制御
Hinemos
マネージャ
SDN
コントローラ
OpenFlow
スイッチ
OpenFlowによる
トラフィック経路制御
既存の
ネットワーク網
仮想マシンの制御
サーバ仮想化技術
ネットワーク仮想化技術

仮想ネットワーク管理オプションのコンポーネント
NCL Communications
操作PC
Hinemosクライアント
OF NW
M-Plane
ハイパーバイザ
D-Plane
VM VM OpenFlowスイッチ
VM
Hinemosマネージャサーバ
Hinemosマネージャ
Hinemosエージェント
OpenFlowコントローラサーバ
Hinemos仮想ネットワー
ク管理オプション
M-Plane
OpenFlowプロトコルよって各スイッチを制御
するネットワーク
D-Plane
実際のデータが流れるネットワーク

仮想ネットワーク管理オプションの主な機能
NCL Communications
仮想ネットワーク管理オプションの主な機能
コントローラサーバのHA構成のサポート
Hop-by-hop方式、Overlay方式混在環境に対応した経路制御
North Bound API・ユーザ拡張プラグイン開発APIの提供
OpenFlowによるファイアウォール、ロードバランサのエミュレーション
経路コストによるFlow単位での転送経路のカスタマイズ
等コストパスにおける通信のバランシング
ハイパーバイザVmware vSpher5.5 及びKernel-based virtual
Machine(KVM)のサポート

ネットワークの可視化（物理トポロジ）
NCL Communications
物理スイッチ（OFS)のトポロジ情報を自動表示
経路表示を視覚的に表示

ネットワークの可視化（論理トポロジ）
NCL Communications
アイコンを配置し、ネットワークを容易に作成
複数の異なるネットワークを管理する事が可能

監視・管理（監視イメージ）
NCL Communications
Hinemos基本機能と連動し、OFSの状態を監
視させる事が可能

監視・管理（性能イメージ）
NCL Communications
コントローラの性能情報やネットワーク情報を細
やかに収集可能
SNMP等を利用し、OpenFlowネットワークのトラ
フィック情報をモニタリング可能

例えば、機器交換も容易です
NCL Communications
OF NW
M-Plane
①機器障害
OpenFlowスイッチ
D-Plane
②障害を検出
③代替機を結線
するだけで復旧
詳細な設定は不要

例えば、帯域の増設も容易です
NCL Communications
OF NW
M-Plane
①帯域が圧迫
OpenFlowスイッチ
D-Plane
②帯域不足を検出
③LANケーブルを
結線のみ
LAG等の設定は不要
sFlowやHinemosマネージャ

例えば、ネットワークの変更も容易です
NCL Communications
システムA 仮想ネットワーク
システムB
専用GUIからの操作
システムC
OF NW
物理ネットワーク
物理面の状態や他
システムの状態を考
慮せず変更可能アプライアンスサーバ
など接続する場合、物
理的制約を考慮せず
接続可能

ONIE/ZTP/Chef with Pica8による解決
NCL Communications

３つのキーワードで課題解決と効率化を図る
NCL Communications
Pica8
ONIE ZTP Chef
1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6
1 2 3 1 2 3 1 2 3
1 2 3 1 2 3
Leaf #5(ACT) 47 47
48 48 48 48 48 48
40 30 40 30
47 47
30 30
1 2 3
Leaf #4(ACT) 47
Leaf #4(SBY)
10
47
10
作業PC
1G UTP
100M UTP
LAG
既存技術を生かしつつ、容易にSDNの要素を取り入れる

ONIEとは
NCL Communications
Open Network Install Environment
Created by Cumulus Networks, Inc. in 2012, the Open Network Install Environment (ONIE) Project is a small
operating system, pre-installed as firmware on bare metal network switches, that provides an environment for
automated operating system provisioning.
Incubated and adopted by the Open Compute Project in 2013, the ONIE project enables a bare metal network
switch ecosystem where end users can choose among different network operating systems. ONIE enables switch
hardware suppliers to manage their operations based on a small number of hardware SKUs. This in turn creates
economies of scale in manufacturing and distribution enabling a thriving ecosystem of both network hardware and
operating system alternatives.
引用http://www.opencompute.org/wiki/Networking/ONIE
2012年Cumulus Networksによって作成されたONIEはベアメタルスイッチ上にプリインストールしており、ネットワークOSを自
動的にインストールする事を可能とします。
2013年OCPプロジェクトに採択され、ユーザは異なるベンダーのベアメタルスイッチ・ネットワークOSを選択し、エコシステム
の構築を可能とする。ONIEはわずかなハードウェア単位で供給する事ができる。
安いハードウェアを調達し、ネットワークOSを利用者が選択する事で、エ
コシステムの構築を加速する大きな役割を果たす機能

ONIEの概要
NCL Communications
ONIE対応ネットワークOS
ONIEに対応したベアメタルスイッチとNetworkOS(スイッチ用OS)により、
エンドユーザでも簡単にインストールができる環境を提供します。
ONIE OS
Bootloader
Bare metal switch with ONIE
Cumulus
Linux
SwitchLight
OS
Delta Celestica
Alpha
Network OS
Network H/W

ONIEによるPicOSインストールの流れ
NCL Communications
Bootloader
（H/W内臓）
ONIE OS
（H/W内臓）
OSインストーラー
（OSベンダーより提供）
OS起動
1. ONIE対応ベアメタルスイッチは、
Boot loaderによりONIEへブートします。
2. ONIEはNetworkOSのイメージファイルを探します。
（DHCP, DNS service discovery, Multicast, IPv6 neighbor discovery)
3. 見つけたURLを経由し、NetworkOSをダウンロードします。
4. NetoworkOSの整合性を検証し、インストールを行います。
（インストール完了後、OSに対応した環境変数がBoot loaderに
書き込まれます）
5. インストールされたOSを起動します。

NCL Communications
Pica8
ONIE ZTP Chef
1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6
1 2 3 1 2 3 1 2 3
1 2 3 1 2 3
Leaf #5(ACT) 47 47
48 48 48 48 48 48
40 30 40 30
47 47
30 30
1 2 3
Leaf #4(ACT) 47
Leaf #4(SBY)
10
47
10
作業PC
1G UTP
100M UTP
LAG

Pica8 ZTP※の概要※Zero Touch Provisioning
NCL Communications
 DHCP/TFTPサーバを利用する事で、スイッチのアップデートやスイッチの
コンフィグレーション、アプリケーションのインストールが自動的に行えます。
 スイッチのマネージメントインターフェースとDHCP/TFTPサーバを接続さ
せ、電源を起動するのみ。
 後述するPica8 ZTP のAPIを利用してプロビジョニングスクリプトをカスタ
マイズする事で柔軟な制御が可能となります。

ZTPの活用例
NCL Communications
TFTP/DHCPサーバ
・管理セグメントへケーブル接続、スイッチ電源起動
・アップデート、設定含めて自動的に利用可能状態へ
ラック1 ラック2 ラック3
新設ラック
■アップデートシーケンス
1 DHCP Discover
DHCP Offer
2 DHCP request
DHCP Ack with Option 66,67,7
3 Get shell script
Shell script
4 Execute shell script
5 Download PicOS image
PicOS image
6 Update configuration
7 Download packages/launch applications

【参考】Pica8 ZTP API
NCL Communications
1) ztp_disable
meaning: disable ZTP auto-run when switch boot up
parameter: No
return value: 0 when succeed, 1 when failed
2) ztp_enable
meaning: enable ZTP auto-run when switch boot up
parameter: No
3) add_remote_syslog_server <ip-address>
meaning: add remote syslog server
parameter : the IP address of remote syslog server
4) remove_remote_syslog_server
meaning: remove remote syslog server
parameter : No
5) picos_config <Number> <ip-address> <gateway-ip>
meaning: set the configuration for PicOS service
parameter 1: the server selected, 1 for PicOS L2/L3, 2 for OVS, 3 for none service
parameter 2: a static IP and netmask for the switch (e.g. 128.0.0.10/24) when parameter 1 is set to 2
parameter 3: the gateway IP (e.g. 172.168.1.2) when parameter 1 is set to 2
6) picos_start_stop <action>
meaning: the action of PicOS service
parameter 1: start: start the PicOS service
stop: stop the PicOS service
restart: restart the PicOS service
status: get the status of PicOS service
7) picos_l2l3_start
meaning: start PicOS L2/L3
parameter: No
8) picos_l2l3_restart
meaning: restart PicOS L2/L3
parameter: No
9) picos_l2l3_stop
meaning: stop PicOS L2/L3
parameter: No
10) picos_ovs_start <ip‐address> <gateway‐ip>
meaning: start PicOS OVS, parameters are needed if PicOS is not set in OVS mode.
parameter 1: eth0 ip address and netmask, 192.168.0.2/24
parameter 2:gataway ip
11) picos_ovs_restart <ip‐address> <gateway‐ip>
meaning: restart PicOS OVS, parameters are needed if PicOS is not set in OVS mode.
parameter 1: eth0 ip address and netmask, 192.168.0.2/24
parameter 2:gataway ip
12) picos_ovs_stop
meaning: stop PicOS L2/L3
parameter:No
13) tftp_get_file <file‐name> <file‐name> <ip‐address>
meaning: get file from TFTP server
parameter 1: file name in TFTP server
parameter 2: file name with path in local;
parameter 3: TFTP server IP address
14) tftp_get_l2l3_config_file <file‐name> <ip‐address>
meaning: get PicOS L2/L3 configuration from TFTP server
parameter 1: configuration file name with path on TFTP sever
parameter 2: sever ip address, if this is not set, it will use the TFTP server IP address got from DHCP
server by DHCP client
15) tftp_get_ovs_config_file <file‐name> <ip‐address>
meaning: get PicOS OVS configuration file
16) tftp_get_picos_config_file <file‐name> <ip‐address>
meaning: get PicOS configuration file from TFTP server

【参考】Pica8 ZTP API
NCL Communications
17) tftp_get_picos_image <file‐name> <ip‐address>
meaning: get PicOS image from TFTP server
parameter 1: image file name with path on TFTP sever
18) tftp_get_pica_image <file‐name> <ip‐address>
meaning: get Pica Image from TFTP server
parameter 1: image file name with path on TFTP sever
19) l2l3_cmd_shell <commands>
meaning: run an CLI command of PicOS L2/L3
parameter 1: the command
20) l2l3_load_config <file‐name> <ip‐address>
meaning: get a file with PicOS L2/L3 CLI commands list, and execute these commands.
parameter 1: command file name with path on TFTP sever
21) ovs_cmd_shell <commands>
meaning: run an OVS command
parameter 1: the command
22) ovs_load_config <ip‐address> <gateway‐ip> <file‐name> <ip‐address>
meaning: get a file with PicOS OVS commands list , and execute these commands.
parameter 1: if PicOS is not set to OVS, then it should be eth0 ip address and netmask, 192.168.0.2/24,
otherwise “ ”
parameter 2: if PicOS is not set to OVS, then gateway IP, otherwise “ ”
parameter 3: file name with path on TFTP server

NCL Communications
Pica8
ONIE ZTP Chef
1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6
1 2 3 1 2 3 1 2 3
1 2 3 1 2 3
Leaf #5(ACT) 47 47
48 48 48 48 48 48
40 30 40 30
47 47
30 30
1 2 3
Leaf #4(ACT) 47
Leaf #4(SBY)
10
47
10
作業PC
1G UTP
100M UTP
LAG

Chefとは
NCL Communications
 米Opscode社が提供するサーバ設定を自動化することに特化した、
オープンソースのシステム統合フレームワーク
 構築しようとしているシステムのサーバ台数に関わらず、Chefを
利用することで必要なサーバやアプリケーションを自動的に構築
および調整できる
 インフラの構成管理をコード(Ruby)によって行える
Chef Server：インフラ構成情報を保存
(Cookbook,Recipe,etc)
Chef Node：Chefの管理下におかれるサーバ群
Chef Workstation：Knifeプラグインがイ
ンストールされている端末

ChefとPica8
NCL Communications
 Chefはサーバ設定ツールであり複数のOS(WindowsやLinux、Mac OS X)に対応
 DebianベースのOSを持つ「Pica8スイッチ」もChefの管理下における
 Rubyの内部DSLを利用できる
Pica8スイッチも１つのサーバとして扱える
Chef Client Chef Client Chef Client

ChefからPica8の制御は容易です
NCL Communications
 例えばPica8の1番ポートにVLAN 10を設定します。
Chef Client
1. CookBook作成
2. レシピ作成
3. レシピをサーバへアップロード
4. レシピとノードを紐付ける
レシピの抜粋
require 'pty'
require 'expect'
require 'fileutils'
PTY.spawn("/pica/bin/pica_sh") do |i, o|
o.sync = true
begin
i.expect(/> /, 10) do
cmd = "configure"
o.puts cmd
i.gets
end
i.expect(/# /, 10) do
cmd = "set interface gigabit-ethernet ge-1/1/1 family ethernet-switching
native-vlan-id 10"
o.puts cmd
i.gets
end
レシピを読込VLAN設定が行われる

ネットワーク構築の自動化
NCL Communications
 OSインストール、アプリインストール、設定投入がすべて自動化
ハードウェアのみの製品
ホワイトボックス
ベアメタルスイッチ
Chef client
スイッチ設定
Chef client
ONIE
ZTP
Chef
OSが異なっていたとしても設定を抽象化出来るので問題なし

ネットワーク構築の自動化
NCL Communications
ネットワークの設計をコード化
インプットしたパラメータを基に、
ネットワークの規模に依らず、
自動的にネットワークの構築が可能
Spine Spine Spine
Leaf Leaf Leaf Leaf Leaf
L3 L3
ToR ToR
小規模ネットワーク中～大規模ネットワーク

ネットワーク運用の自動化
NCL Communications
Chefサーバから構成情報をアウ
トプット（設計書・設定書）
【管理】
パスワードの変更
Syslogサーバの変更
コンフィグのバックアップetc
【カスタマイズ】
BGP/OSPF Timer
QoS etc
【セキュリティ】
ACL
【構成変更】
セグメント追加
ルーティング追加etc
Spine Spine Spine
Leaf Leaf Leaf Leaf Leaf
各機器の構成管理を一元化し、
Chefサーバから集中制御
L3 L3
ToR ToR
小規模ネットワーク中～大規模ネットワーク

WEB アプリとの連携
NCL Communications
WEBサーバ
構成情報の管理
トポロジ情報の出力
画面上からの設定変更
バックアップetc..
イメージ

今後の展開
NCL Communications

サーバ仮想化とネットワーク仮想化の今後
NCL Communications
Vendor独自、
シャーシー1U Ethernet Switch または、1U Bare Metal Switch & Switch OS
時間軸
現状Phase 1 Phase 2-a Phase 2-b Phase 3
現在
Ethernet
Switch
H/W
Switch OS 独自・一体型標準Linux Base、マルチプロセス、API、L2/L3、OpenFlow
トラフィック南北東西（データセンター内）
NWトポロジサイロ型IPファブリック（Clos Network) メッシュ型
NWプロトコ
ルL2 L3（OSPF/BGP, ECMP）
OpenFlow
仮想化L2 VLAN L2 VXLAN over L3
L2セグメント
数4,000 16,000,000
制限なし
Vmotion 同一VLAN内同一VXLAN内
Control
マニュアル
Chef,
Puppet,
Ansible,
Hinemos
OpenStack
OpenStack &
Openflow アプリ
Neutron(ML2) Overlay
Controller

Hinemosによる管理
NCL Communications
VM管理オプション
仮想マシンＡ
Hinemosマネージャ
（運用管理）
仮想マシンＢ
仮想
アプライアンス
仮想
仮想マシンＡ
仮想マシンＢ
仮想ネットワーク管理オプション
VMの接続
アプライアンス
仮想物理
SDNコントローラ
論理ネットワークの
トラフィック制御
（構築・構成変更）

Chef/Puppet/Ansibleによる管理
NCL Communications
 DevOpsツールを利用してサーバサイド、
ネットワークサイドの両面を管理
ネットワーク
サーバ

Neutron(ML2プラグイン)による管理
NCL Communications
OpenStackコンポーネント
Nova Cinder Glance Neutron
ML2プラグインAPI拡張
VXLAN,GRE,VLAN Pica8,etc
 ML2プラグイン（Pica8プラグイン）と
Pica8スイッチを接続
 Neutron経由にてPica8スイッチを制御し
オーバーレイを構成

オーバーレイコントローラによる管理
NCL Communications
OpenStackコンポーネント
Nova Cinder Glance Neutron
NSXコン
トローラ
OVSDB
NSX プラグイン
 オーバーレイコントローラ(NSX)を想定
 NSX専用プラグインとNSXコントローラ
を接続
 NSXコントローラとNSX vSwitch、及び
Pica8は、OVSDBで接続

さらなる先には
NCL Communications
 SDN技術(OpenFlow)を利用した、超スケールアウト可能なファブリックネットワーク
 Fabric内は仮想MACによる転送とロケーション管理
 OpenStack/OpenFlowコントローラと連携し真のSDN化

NCL Communications
エヌ・シー・エル・コミュニケーション株式会社
〒１５０－６０２７
東京都渋谷区恵比寿４丁目２０番３号
恵比寿ガーデンプレイスタワー２７階
基盤ソリューション事業部
TEL： 03-5447-8513、eMail： cloud-sales@nclc.co.jp

【HinemosWorld2014】B2-2_ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～ONIE・ZTP・Chef with Pica8～

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (12)

Similar to 【HinemosWorld2014】B2-2_ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～ONIE・ZTP・Chef with Pica8～

Similar to 【HinemosWorld2014】B2-2_ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～ONIE・ZTP・Chef with Pica8～ (20)

More from Hinemos

More from Hinemos (20)

Recently uploaded

Recently uploaded (7)

【HinemosWorld2014】B2-2_ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～ONIE・ZTP・Chef with Pica8～