QFabric for Cloud Builders

Copyright © 2015 Juniper Networks, Inc.1
QFabric for Cloud Builders
June, 2015
Juniper Networks, K.K.

Copyright © 2015 Juniper Networks, Inc.2 Copyright © 2015 Juniper Networks, Inc.2
Legal Disclaimer
本資料料に記載されている機能や構成、ロードマップ情報などは、
資料料作成時点におけるジュニパーネットワークスの仕様や予定を⽰示したもの
であり、事前の通告無しに内容が変更更されることがあります。
本資料料は技術情報の提供を⽬目的としたものであり、機器、機器の機能、
サービスなどに関して保証を⾏行行うものではありませんので、ご注意ください。

Copyright © 2015 Juniper Networks, Inc.3 Copyright © 2015 Juniper Networks, Inc.3
Agenda
ジュニパーのイーサネット・ファブリック
QFabricとは？
QFabric Tech Tips

データセンターが抱える今の課題
§  サーバーNICの1GE から 10GE への移⾏行行
§  低いアプリケーションパフォーマンス
§  規模、サービス、アプリケーションを追加する際の迅速な対応
§  複数のネットワークを管理理
§  ⼤大量量のネットワーク機器を個別に管理理
§  リンクと帯域の無駄遣い
1
2
レガシーなネットワークパフォーマンス/アーキテクチャからの脱却
レガシーなネットワーク管理理⼿手法からの脱却

技術⾰革新によるデータセンター内トラフィックの変化と
新たなネットワークの課題
アプリケーション
の進化
Web
2.0
SOA
SAAS
かつてのクライアント-‐‑‒サーバー
アーキテクチャ
クラウド時代のサービス指向
アーキテクチャ（SOA）
Server
Server
Server
Server
Server
Server
95%
25%
Client
A
D
CB
DB
A
D
C
B
DB
75%
近年年のデータセンターネットワークは、トラフィック量量が増⼤大しただけでなく
増⼤大したトラフィックがデータセンター内のネットワークで分散処理理される傾向へと変化

サービスの需要増⼤大に対する従来型の対応⽅方法＝ “ボックスの追加”
レイヤー3
コアスイッチ
レイヤー2
アグリゲーション・スイッチ
レイヤー1
トップ・オブ・ラック・アクセス・スイッチ
複雑さコスト遅延リスク
これまでのデータセンターLANの構成⽅方法

レガシーデータセンターにおけるネットワークの問題点
低いパフォーマンス
・階層化ネットワークは東⻄西⽅方向のトラフィックが増⼤大する
　仮想化サーバー環境やSOAアプリケーションに悪影響
・STPやVRRPは有効な帯域を半減させる
困難なスケールアウト
・物理理サーバの数が増えると、さらなる階層を必要とし、
　ネットワークが複雑化する
複雑な管理理
・すべてのネットワーク機器を個別に管理理する必要があるため、
　装置の数が増えると⾶飛躍的に管理理コストが上昇
レガシーネットワークは⾮非効率率率, 複雑, そして煩雑な管理理を要し、スケールアウトには不不向き
Ñ Ñ
Ñ
Access
Aggregation
Core
サーバー間通信⻄西東

ジュニパーのイーサネット・ファブリックによるソリューション
物理理的・論論理理的に
シンプルに
運⽤用を
シンプルに
すべてをシンプルにすることでネットワークのパフォーマンスを経済的に向上し、
データセンターにおける新しい課題に迅速に対応する

Virtual Chassis Fabric
(up to 32 linecards)
Spine
1 Spine
2 Spine
3 Spine
4
Optimized for 1/10/40GbE environments
EX4300, QFX3500, QFX3600
and QFX5100 members
EX4300, QFX3500, QFX3600
or QFX5100 members
Virtual Chassis
Optimized for 1/10GbE environments
QFabric
QFX3500, QFX3600 or QFX5100 Nodes
Optimized for 10/40GbE environments
ジュニパーは規模の違う3種類のイーサネットファブリックを提供
Juniper Fabric ARCHITECURES
Managed as a Single L2/L3 Switch
※本資料料では主にQfabricについて
詳細な解説を提供します。

QFabric とは？

ジュニパーの解決策：
ソフトウェアの⼒力力で仮想的にシャーシ型スイッチをエミュレート
レガシーな
シャーシ型スイッチ
ネットワーク管理理者
仮想シャーシ型スイッチ
（イーサネット・ファブリック）
Devices to Manage
= 1 !!!L2/L3 Local Switching !!!
L2/L3 Protocol HA
& ISSU !!!ルーティング・エンジン
スイッチング・ファブリック
シャーシ型スイッチをソフトウェアでエミュレートすることで
ボックス型スイッチにシャーシ型スイッチと同等のメリットを付与し、
さらに物理理的な制約を受けない仮想シャーシならではのメリットを提供

規模に応じた3種類の仮想シャーシ＝イーサネットファブリック：
… 最⼤大
10台
最⼤大10スロットの仮想シャーシ
“Virtual Chassis”
… 最⼤大
32台
“Virtual Chassis Fabric”
…
最⼤大
128台
“QFabric”
ユーザーは⽬目指したい最⼤大規模に応じて、
好きなアーキテクチャを選択することが可能です
（最⼤大時の規模以外は同様のコンセプトをどのファブリックでも提供）
New
MasterRE BackupRE
MasterRE BackupRE
MasterRE BackupRE

データセンターネットワークの理理想的なデザイン
Any-‐‑‒to-‐‑‒AnyのOne Network
・1台のスイッチ；管理理性の格段の向上
・階層のないフラットネットワーク；パフォーマンス↑・遅延↓ 　　　　　　　　　　　　　　　　　　　　　　　　　　
Switch Fabric
1台のスイッチをネットワーク
全体に拡張したアーキテクチャ

QFabricとは？
QFabricは、1台のスイッチのスイッチファブリックとラインカードを拡張し、　　　　　　　　　　
データセンター全体にスケールアウト可能な、真のデータセンターファブリック。
最⼤大128台のラインカードを持つスイッチ1台として運⽤用管理理。
Ñ
Access
Aggregation
Core
InterConnect 　　　
(スイッチファブリック)
Node 　　　　　
(ラインカード)
STP VRRP TRILL
Director 　　　　
(ルーティングエンジン)

ラインカード上はローカルス
イッチで遅延＜ 0.6μSec
⼀一般的に、スケールの拡張に伴い、ボトルネックや　
パフォーマンスが落落ちるが、QFabriccは最⼤大スケール
でも劣劣化しないアーキテクチャ。
ファブリックまたぎのスイッチン
グはラインカードの設置位置に依
存せず、遅延＜ 3.5μSec
QFabricのパフォーマンス
どれだけスケールアウトしても、ファ
ブリック帯域／パフォーマンスは、
QFabric全体で変化しない。
スケール
Latency
Bandwidth
従来型の
NWデザイン
ジュニパーQFabric
>100 µSec
100:1 OS
<3.5 µSec
3:1 OS
ジュニパーQFabric
従来型の
NWデザイン
スケール

QFabric；シンプルな設定・ステート管理理
Aggregation
Switches
Core
Switch
Edgeʻ‘
Switch
…
Qfabric@DCネットワーク
ジュニパー QFabric
QFabricは、MasterREが全ての設定情報(Conﬁg) やステートを管理理。管
理理者はMasterREにログインするのみでQfabricの全システムを管理理可能
従来のDCネットワーク
運⽤用管理理
チャレンジ
それぞれの機器へログインし、個別の設定Conﬁg管理理
ステータス・トラフィック管理理も各機器にログイン必要
煩雑な設定&
ステート管理理
運⽤用管理理
QFabric; 最⼤大128スロットの仮想シャーシ
MasterRE
BackupRE

QFabric；シンプルなOS管理理
Aggregation
Switches
Core
Switch
Edgeʻ‘
Switch
…
従来のDCネットワーク
ソフトウエア管理理
NXO
5.0
NXO
5.0
ｘOS
12.4
xOS
12.4
NXO
5.0
IOS
12.3
xOS
12.4
xOS
12.4
xOS
12.4
チャレンジ
それぞれの機器のOSバージョンの管理理や、バグ情報管理理
煩雑なOS管理理
Qfabric@DCネットワーク
ジュニパー QFabric
Junosは、MasterRE上のみで動作。管理理者はMasterREに対して、
バージョンアップを実⾏行行するだけ。
ソフトウエア管理理
MasterRE
BackupRE
12.3

QFabricのハードウエア・ネットワーク構成
RACK 1 RACK 128...........
Switch
to manage
ネットワーク構成ハードウエア構成
QFabric “QFX3000-‐‑‒G”；
320Gbps(40G x4)
ファブリックプレーン
InterConnect(スイッチファブリック)は最⼩小2台から最⼤大4台、
Node(ラインカード)は最⼤大128台
1 128
QFX3100
QF Director
(ルーティング・エンジン)
MasterRE
BackupRE
QFX3008
QF Interconnect 　
QFX5100-‐‑‒48S/48T/24Q
QF Node

QFabric；ファブリックバックプレーン(データプレーン)
QF Interconnect 　
(スイッチファブリック) QF Node
QFX3008
QFX5100-‐‑‒24Qモジュール x 最⼤大8枚
40Gbps(QSFP) x 16 ポート/モジュール
QFX5100-‐‑‒48T
QFX5100-‐‑‒48S
InterConnectとNode間(ファブリックバックプレーン)は40G xN(最⼤大)で接続
QFX5100-‐‑‒48S/48Tは最⼤大40G x4ポート、QFX5100-‐‑‒24Qは最⼤大40Gx16ポート。
40G(QSFP) ポート
のうち最⼤大4ポート
40G(QSFP) ポート
40G(QSFP) ポート

QFabric；コントロールプレーン
QF Node
QFX3008
背⾯面
QFX5100-‐‑‒24Q背⾯面
QFX5100-‐‑‒48T背⾯面
QFX5100-‐‑‒48S背⾯面
Director/InterConnect/Node間コントロールプレーン接続
Cupper(RJ-‐‑‒45)かSFPの選択が可能
QF Director(2重化) 　
(ルーティングエンジン)
QFX3100
QF CPE (2重化) (コントロールプレーン)
EX4200 Virtual Chassis
QF Interconnect(2 or 4) 　
C1C0
C1C0
C1
C2
C0
EX4200 Virtual Chassis
C1C0
C1C0

QFabric ネットワーク構成
DirectorはQFabricのルーティングエンジン(RE)であり、巨⼤大なファブ
リックを1台のスイッチとして運⽤用管理理(Conﬁg、OS、ログetc)。
Interconnectは、スケールにより2台／4台構成が可能。
RACK 1 RACK 64
1 64
...........
MasterRE
BackupRE
RACK 1 RACK 128
1 128
...........
MasterRE
BackupRE
コントロールプレーンコントロールプレーン
データプレーンデータプレーン
運⽤用管理理

QFabricを構成する3つのNodeグループ
各Nodeグループの役割
Server Node Group(SNG)
§  サーバ等のホストを接続する　　　
Nodeグループ
§  ノード間の冗⻑⾧長性はなし
§  1台のノードのLAG接続
§  RSNGと同様の機能
Network Node Group（NNG)
・ネットワーク機器を接続するNodeグループ
・OSPF/BGP等のルーティングプロトコルが
　動作し、Layer2/Layer3を同時処理理
・最⼤大8台のノードでNNGを構成
・サーバ等も接続可能
QFabric Director
Redundant Server
Node Group(RSNG)
§  サーバ等のホストを接続する　　　
Nodeグループ
§  2台のノードで1つのRSNG
グループを形成する
§  RSNGでサーバ等のマルチホーミン
グやLAGが可能。

QFabric；Nodeグループの役割
各Nodeグループの構成
…
MasterRE
BackupRE
…
NNG

Node#1
Node#2
Node#3
Node#8
Node#9
Node#10
Node#11
Node#12
Node#13

RSNG-‐‑‒1
RSNG-‐‑‒2
SNG-‐‑‒1

■Network Node Group(NNG)
・最⼤大8台でNNGを形成
・ネットワーク機器を接続。サーバ等も接続可能
・ダイナミックルーティングプロトコルが動作可能
■ Redundant Server Node Group(RSNG)
§  最⼤大2台でRSNGを形成
§  サーバ等のホストを接続。LAG/Multiホーミング。
§  LACPやLLDPなどのホストプロトコルが動作可能
■ SNG
§  1台がSNGで動作
§  サーバ等ホスト
§  LACPやLLDPなど

QFabric；Nodeグループの役割
…
MasterRE
BackupRE
…
NNG
RSNG-‐‑‒1
RSNG-‐‑‒2
SNG-‐‑‒1

Node#1
Node#2
Node#3
Node#8
Node#9
Node#10
Node#11
Node#12
Node#13

各Nodeグループへの機器接続例例

QFabricのバージョンアップ
Non Stop Software Upgrade(NSSU)により、コマンドでシステム全体の
バージョンアップを実⾏行行可能。システムダウンタイムは約1秒以内の想定※
MasterRE
BackupRE
…
NNG

Node#1
Node#2
Node#3
Node#8
Node#9
Node#10

ネットワーク管理理者
request system software
non-‐‑‒stop-‐‑‒upgrade !!!
管理理者によるUpgradeコマンドの発呼後、Nodeグループのラインカードは順次再起動して新OSを反映するため、
ラインカード跨ぎのインターフェイスの保護構成を取ることでOSアップグレード時の影響を最⼩小化することが可能
※すべての環境で1秒以内のダウンタイムを保証するものではありません。環境に応じた事前の検証をお勧めします。
Reboot

1st
Reboot

2nd
Reboot

3rd
Reboot

8th
Nodeグループ毎に実⾏行行 or 複数グループ同時実⾏行行が可能

Reboot

1st
Reboot

2nd
RSNG

まとめ；QFabric導⼊入によるデータセンターの⾰革新
ü  最⼤大128台のラインカードまで拡張可能なスケーラビリティ　
かつ、1台のスイッチで動作する運⽤用管理理性の向上(約6000ポート)
ü  スケールUPによるパフォーマンスダウンやボトルネック無し。
ü  またConﬁg／OS／Log管理理等、運⽤用管理理の複雑化が起こらない
ü  L2ファブリックではなく、Layer2/Layer3ファブリック
最⼤大
128台
MasterRE
BackupRE

QFabric Tech Tips

QFabric;マネージメントシステム
QFabricは、Director(ルーティングエンジン)がQFabricのシステム　
全体を管理理。Directorは2重化されており、MasterRE/BackupRE 　　　
関係を形成します。REへは、MasterRE/BackupRE間で共有する　　
VIPにログインします(実IPへもログイン可能)
また、Directorには“aliases”名を付与可能です。
root@meiji> show fabric administration inventory director-group status
Director Group Status Thu May 28 17:50:50 JST 2015
Member Status Role Mgmt Address CPU Free Memory VMs Up Time
------ ------ -------- ----------------------------------------------------- --- ----------- --- -------------
dg0 online master 172.27.115.171 21% 17449400k 3 63 days, 02:02 hrs
dg1 online backup 172.27.115.172 0% 13239704k 4 63 days, 02:01 hrs
MasterRE
BackupRE
# set fabric aliases director-device 0281092011000012 Director-0;
# set fabric aliases director-device 0281092011000014 Director-1;
root@meiji> show fabric administration inventory
Item Identifier Connection Configuration
：
Director group
Director-1 0281062012000016 Connected

QFabric；機器構成管理理
QFabricを構成する際、システムのスケールUPと容易易な
運⽤用管理理を実現するため、各Node(ラインカード)に名称
を付与できます。
・Fabric resource ；Node Groupの名称
・Fabric aliases ；Nodeの名称
Nodeのほか、Director/Interconnectへも付与可能
シリアル#
P1986-‐‑‒C
シリアル#
P5950-‐‑‒C
シリアル#
BBAK1217
シリアル#
BBAM7571
シリアル#
P4766-‐‑‒C
set fabric resources node-group NW-NG-0 network-domain
set fabric resources node-group NW-NG-0 node-device NNG-1
set fabric resources node-group NW-NG-0 node-device NNG-2
set fabric resources node-group RSNG-0 node-device RSNG0-0
set fabric resources node-group RSNG-0 node-device RSNG0-1
set fabric resources node-group SNG-1 node-device SNG0-1
set fabric aliases node-device P1986-C NNG-1
set fabric aliases node-device P5950-C NNG-2
set fabric aliases node-device BBAK1217 RSNG1-0
set fabric aliases node-device BBAM7571 RSNG1-1
set fabric aliases node-device P4766-C SNG0-1
set fabric aliases interconnect-device IC-P4829-C IC00
set fabric aliases interconnect-device IC-P4833-C IC01
NNG-‐‑‒1 NNG-‐‑‒2 RSNG0-‐‑‒0 RSNG0-‐‑‒1 SNG0-‐‑‒1
NW-‐‑‒NG-‐‑‒0 RSNG-‐‑‒0 SNG0-‐‑‒1Nodeグループ名
Node名
シリアル#
IC-‐‑‒P4829-‐‑‒C
シリアル#
IC-‐‑‒P4833-‐‑‒C
Node名 IC00
IC01

QFabric；システムの管理理
Fabric resources/Fabric aliasは、下記のように確認できます。ま
た、Director、Interconnect、各Nodeとの接続状況など、QFabric
のシステム全体はMasterREのCLIから容易易に確認可能です。
root@meiji# run show fabric administration inventory
Item Identifier Connection Configuration
Node group
NW-NG-0 Connected Configured
RSNG1-0 BBAK1217 Connected
RSNG1-1 BBAM7571 Connected
P1986-C Connected Configured
NNG1 P1986-C Connected
RSNG-0 Connected Configured
RSNG0-0 P5950-C Connected
RSNG0-1 P4766-C Connected
RSNG-2 Connected Configured
RSNG2-0 TR0215030089 Connected
Interconnect device
IC00 IC-P4829-C Connected Configured
P4829-C/RE0 Connected
IC01 IC-P4833-C Connected Configured
P4833-C/RE0 Connected
;
Director group
MasterRE
BackupRE

QFabric；Nodeインターフェース
QFabricは、最⼤大128台(約6000 port)のNodeまでスケールUP可能な
DCファブリックです。システム構成が⼤大規模でも、シャーシ型スイッ
チ同様、各Nodeをラインカードとして認識識することで設定・管理理を
容易易にします。
root@meiji> show interfaces terse
NNG-1:xe-0/0/0 up up
NNG-1:xe-0/0/0.0 up up eth-switch
:
RSNG0-0:xe-0/0/0 up up
RSNG0-0:xe-0/0/0.0 up up eth-switch
RSNG0-0:xe-0/0/1 up up
RSNG0-0:xe-0/0/1.0 up up eth-switch
RSNG0-0:xe-0/0/2 up down
RSNG0-0:xe-0/0/3 up down
MasterRE
BackupRE
NW-‐‑‒NG-‐‑‒0 RSNG-‐‑‒0 SNG0-‐‑‒1
Node”RSNG0-‐‑‒0”の
インターフェース
Node”NNG-‐‑‒1”の
Node”NNG-‐‑‒2”の

QFabric；Nodeの追加⽅方法
Nodeの追加は容易易です。13.2以前では、 CLIで“device-‐‑‒
mode”をStandaloneモードから“node-‐‑‒device” に設定し
ます。設定変更更後、Node-‐‑‒Interconnect間のファブリック
プレーン(40G)と、コントロールプレーンを接続するのみ
で⾃自動認識識します。Junosバージョンは、Directorから⾃自動
的にダウンロードされます。
13.2以降降では、FabricモードのJunosにアップグレード後、
QFabricに接続します。
※13.2以前のJunos
MasterRE
BackupRE
NW-‐‑‒NG-‐‑‒0 RSNG-‐‑‒0 SNG0-‐‑‒1
root@lab> request chassis device-mode ?
Possible completions:
node-device Set device to be in node-device mode
standalone Set device to be in standalone mode
root@meiji> request chassis device-mode node-device
Node追加時

QFabric；バージョンアップ⽅方法
バージョンアップは、NSSU(NonStopSoftwareUpgrade)により、
ダウンタイムを最⼩小にしたアップグレードが可能です。
NSSUでは、Director毎、Interconnect毎、Nodeグループ毎の
アップグレードをサポートしています。Nodeグループは複数グルー
プを同時にアップグレード可能です。
MasterRE
BackupRE
NW-‐‑‒NG-‐‑‒0 RSNG-‐‑‒0 SNG0-‐‑‒1
> request system software nonstop-upgrade director-group <package-name>
２、Directorグループをアップグレード

１、Conﬁgファイルを保存する

> request system software configuration-backup ftp://xxx/
qfab.conf
> request system software nonstop-upgrade fabric <package-name>
３、Interconnectをアップグレード

> request system software nonstop-upgrade node-group [ NW-NG-0 RSNG-0 ]　<package-name>　
４、Nodeグループをアップグレード

2,BackupREをアップグレード
後、MasterREをアップグレード
3,Directorアップグレード完
了了後、Interconnectを　１
台ずつアップグレード
４, Interconnectアップグレード
完了了後、各Nodeグループのメン
バーを１台ずつアップグレード

QFabric；コントロールプレーンの接続⽅方法
QFabricは、データプレーンとコントロールプレーンを分割し
たファブリックソリューションです。コントロールプレーンは
各機器のマネージメントインターフェースを、EX4200VCを介
してDirectorと接続します。接続は、RJ-‐‑‒45またはSFPで構成
可能です。
Director/Interconnect/Node間接続はすべて2重化され、　　　
信頼性の⾼高いファブリックを提供します。
QF Director
(ルーティング・エンジン)
QF Interconnect 　　　
QF Node
QF CPE
(コントロールプレーン集約)

QFabric；データプレーンの接続⽅方法
Interconnect – Node間は、各機器の40Gインターフェースを使⽤用して
QSFPトランシーバで接続します。
・使⽤用トランシーバ；

40GBASE-‐‑‒SR4 (QFX-‐‑‒QSFP-‐‑‒40G-‐‑‒SR4)
40GBASE-‐‑‒LX4 (JNP-‐‑‒QSFP-‐‑‒40G-‐‑‒LX4)
40GBASE-‐‑‒LX4を利利⽤用することで、10GbEと同じMMF(2芯LCコネクタ
OM3/OM4)で、40GbEを提供することが可能になります。
たとえば、ラックまたぎはパッチ接続の場合も既存のパッチを　　　　　　　　
そのまま活⽤用してラック跨ぎでQFabricを構成可能です。 NNG-‐‑‒1 NNG-‐‑‒2 RSNG0-‐‑‒0 RSNG0-‐‑‒1 SNG0-‐‑‒1
40GBASE-‐‑‒SR4 　　　
(QFX-‐‑‒QSFP-‐‑‒40G-‐‑‒SR4)
MPOケーブル
40GBASE-‐‑‒LX4 　　　　　　　　　　　
(JNP-‐‑‒QSFP-‐‑‒40G-‐‑‒LX4) LC2芯MMF(OM3/OM4)

Thanks!!!
Your ideas. Connected.

Reference Links
h0p://www.spirent.com/go/Juniper

h0p://www.slideshare.net/junipernetworks/a-‐whole-‐lot-‐of-‐ports-‐juniper-‐networks-‐
qfabric-‐system-‐assessment

h0ps://www.youtube.com/watch?v=qGCiKgUQ1h0

h0ps://www.youtube.com/watch?v=d1XkpSQWQ4Y

Qfabric＠Max Scale
QFX3000-‐‑‒G “Qfabric” system with 128 Linecards

QFabric for Cloud Builders

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to QFabric for Cloud Builders

Similar to QFabric for Cloud Builders (20)

More from Juniper Networks (日本)

More from Juniper Networks (日本) (20)

Recently uploaded

Recently uploaded (12)

QFabric for Cloud Builders