More Related Content Similar to 2015-ShowNet-報告資料 (20) More from Interop Tokyo ShowNet NOC Team (20) 2015-ShowNet-報告資料1. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
Interop Tokyo 2015
ShowNet報告書
- テクニカル編 -
ShowNet 2015 NOCチームメンバー
2. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
目次(スライド番号)
・ShowNetについて ・・・3
・L2/L3 ・・・11
・SDN/NFV ・・・14
・External ・・・23
・RPKI ・・・32
・SDN IX / Box Switch ・・・37
・InterCloud / Server ・・・52
・Wireless ・・・75
・データセンタ ファシリティ ・・・98
・セキュリティ ・・・110
・PTP相互接続実証実験 ・・・122
・Management / Console ・・・133
・モニタリング / データ解析 ・・・139
・検証・測定 ・・・153
・IoT ・・・160
・その他運用ツール ・・・166
・クレジット ・・・172
4. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNetについて
ShowNetとは?
• 皆様が使われているインターネット接続です
• ただし。。。大きな特徴があります
– 最新の機材と最新の技術
– それを「動かし」ユーザが「使う」ネットワークを構
築する
– 近未来のネットワークを実現
– “I know it works because I saw it at Interop.”
• この言葉が ShowNet のプライドです
5. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNet2015の取り組み
2015年度のコンセプト
2年目となる今年は、昨年のテーマをさらに深化させ、
「Scratch & Re-build the Internet Phase.2 – ULTIMATE BALANCE - 」
というコンセプトでShowNetを構築しました。
簡潔性(simplicity)と柔軟性(flexibility)、高信頼性(reliability)といった一見
相反する要素をバランスよく実現した近未来のネットワーク、今年のShowNetはそれを
具体化しました。
Scratch & Re-build the Internet Phase2
ULTIMATE BALANCE
~簡潔性、柔軟性、高信頼性のバランスが
奏でる次のインターネットのカタチ~
6. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
2015年度の注力9カテゴリー
1. ネットワーク
2. クラウド・サーバ
3. セキュリティ
4. データセンターファシリティ
5. 無線
6. 運用監視
7. 測定・検証
8. STM(技術者育成プログラム)
9. IoT
ShowNet2015の取り組み
7. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
Fact Sheet
1. 参加エンジニア数:409名
2. 参加企業・団体:91社
3. 提供機器、製品、サービス総額:74億円(前年72億)
4. 国内、世界初披露製品数:4社
ShowNet2015の取り組み
8. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNet2015の取り組み
世界初!日本初!
日本初!PTP相互接続実証実験
日本初!商用網でのRPKIによる経路検証とトラフィック制御
日本初! VXLANをデータプレーンとしたEVPN相互接続検証
日本初! EVPN for VXLAN相互接続検証
12. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
AS290バックボーン
L2L3バックボーン
コアルータ兼
ルートリフレクタ
出展社収容(NFV) 出展社収容(CGN)
AS290コアルータ
100G/10Gで対外ルータに接続し、
フルルートのルートリフレクタとして動作
L2ブリッジングにより出展社向けに100G伝送
パスを提供
出展社収容バックボーン
CGN, NFVの2種類の出展社収容ネットワーク
を構築
Global, CGNによるPrivate、NFVによるPrivate
の3種類の接続性を提供
13. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
AS290アクセス網
L2L3バックボーン
AS290アクセス収容ルータ
今年は出展社、会議棟、DC・サーバ、生活線の
ネットワークをL3で収容
出展社収容ネットワーク
アクセス収容ルータと一体化した、スイッチ
ポートとして動作する多ポート機器をPod IOT
下の出展社の収容機器として採用
その他の収容はL2ネットワークで構成
L2冗長構成の実現のため、複数の筐体を1台の
スイッチとしてあつかえるStack機能や、複数の
リンクをまとめるLink Aggregation機能を例年
通り採用
15. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
今年のSDN/NFVの取り組み
• スケールアウトするNFV
• バックボーンにおいて、
• サーバを追加すればするほど、
ネットワーク全体の転送量の
上がるNFV
• 容易なリソースの追加投入
• できるだけVMの構成を一元化
• コピーするだけでVM/サーバを
追加投入
SDN/NFV
16. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 16
SDN/NFV@ShowNet 2015
• スケールアウトできるNFV
1. 同一機能を複数のVAで構成
2. OpenFlowを用いた
複数VA間のロードバランス
3. 様々な高速化手法の利用に
よる性能の向上
SDN/NFV
17. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 17
Traffic analysis
VM-300
Firewall
CSR1000V
DDoSミチゲーション
Thunder 6435-TPS
vCPE (NAT/ToS)
vSRX
SDN/NFV概要
• ユーザごとにサービスチェインを選択
• vCPEでパケットにマーキング
• 各サービスをToSの各bitに埋め込む
1. OpenFlowでサービスを適用するか判断
• ToSの特定bitをチェック
• 1ならVNFへ、0なら迂回
2. 1つのサービスを構成する複数VAへ分散
• 送信元アドレスをハッシュしてパケットを
転送するVAを決定
• OpenFlowで決定したVAへOutput
OpenFlow Switch
OpenFlow Switch
OpenFlow Switch
OpenFlow Switch
SDN/NFV
18. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 18
Web画面からサービスを選択
• Webポータル画面から、
ユーザごとにチェイン
したいサービスを選択
• クリックすると、
コントローラがvCPEへ
ToSへのマークを指示
SDN/NFV
19. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 19
サーバとVAの段階的追加による性能拡張
• OpenFlowスイッチでトラフィックを複数のVAに分散
• 同一設定のVAをコピー、またはサーバを追加投入していく
ことで、トラフィックをバランスしてスケールアウトでき
る
• どうしても変更が必要な部分には様々な自動化技術で対応
・・・VNF n
スケールアウト
ユーザトラフィック
Controller
OpenFlow Switch
SDN/NFV
20. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 20
Traffic analysis
VM-300
Firewall
CSR1000V
DDoSミチゲーション
Thunder 6435-TPS
vCPE (NAT/ToS)
vSRX
SAMURAI連携
• DDoSの検知と防御
1. SAMURAIでShowNetに来るDDoSを検知
2. SAMURAIからの検知通知メールを受信
3. NOCが対象ユーザのDDoSサービスをON
4. Flowがミチゲーション装置経由に
5. A10 Th6435-TPSでDDoSを軽減
OpenFlow Switch
OpenFlow Switch
OpenFlow Switch
OpenFlow Switch
DDoS
SAMURAI
SDN/NFV
21. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 21
まとめ
• スケールアウトするNFV
• 通るべきサービスの識別子をパケットに埋め込み、
• パケットI/O高速化技術を用いつつ、
• なるべく多くの同じVMを並べて性能を
スケールアウトする
Openflow
Switch
Openflow
Switch
Openflow
Switch
Openflow
Switch
SDN/NFV
22. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 22
御協力ありがとうございました
SDN/NFV
24. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 24
ShowNet 2015の対外接続図
対外接続
専用線
インターネット・トランジット(ISP)
インターネット・エクスチェンジ(IX)
複数の拠点と100Gおよび10G専用線により
合計230Gbpsで接続
5ISPからIPv4/IPv6フルルートを受信
クラウドASでもフルルート接続を実施
5つの国内大手IXの全てに接続
国内・国外のべ114の事業者とPeerを実施
25. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 25
エクスターナル
対外接続
• キャリアとクラウドを模した2つのASを構築
• 大手町・幕張をまたぐSDN-IXで自在なパスの設定
• 100G接続による対外8K伝送の実現
26. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 26
対外接続のコントリビューター
対外接続
トランジットの提供
AS番号 会社・組織名 サービス名
2516 KDDI株式会社 KDDIインター
ネットゲートウェイ
2914
NTTコミュニケーションズ
株式会社 Global IP Network
4713
NTTコミュニケーションズ
株式会社 OCN
17676
ソフトバンクモバイル
株式会社 ULTINA Internet
2497
株式会社インターネット
イニシアティブ
インターネット
接続サービス
IX接続ポートの提供
会社・組織名 IX名 サービス名
WIDE Project DIX-IE DIX-IE
WIDE Project NSPIXP23 NSPIXP23
日本インターネット
エクスチェンジ株式会社
JPIX IXポートサービス
インターネット
マルチフィード株式会社
JPNAP
JPNAP東京Ⅰ
サービス
BBIX株式会社 BBIX
IXコネクト
サービス
27. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 27
回線のコントリビューター
対外接続
回線の提供
会社・組織名 サービス名
NTTコミュニケーションズ株式会社 Global IP Network
NTTコミュニケーションズ株式会社 Arcstar Universal One イーサネット専用線 10Gbps
アルテリア・ネットワークス株式会社 ダイナイーサ 100G
BBIX株式会社 IXコネクトサービス
28. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 28
Interop Tokyo 2015 Peerのご協力
対外接続
DIX-IE&NSPIXP23 接続ネットワーク
AS番号 会社名 サービス名
2500 WIDE Project WIDE
7671 NTTスマートコネクト株式会社 MCNET
7503 株式会社エアネット AIRnet
18125 農林水産省研究ネットワーク MAFFIN
7660
アジア太平洋高度ネットワーク
日本協議会(APAN-JP)
Asia-Pacific
Advanced
Network(APAN)
JPNAP東京Ⅰ 接続ネットワーク
AS番号 会社名 サービス名
9595
株式会社エヌ・ティ・ティ
エムイー
XePhion/WAKW
AK
2514
(株)NTTPCコミュニ
ケーションズ
InfoSphere
2510 富士通株式会社 INFOWEB
2518 ビッグローブ株式会社 ビッグローブ
15169 Google Inc. Google
RouteFEEDサービスでの接続: 74 ネットワーク
29. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 29
Interop Tokyo 2015 Peerのご協力
対外接続
JPIX 接続ネットワーク (1/3)
AS番号 会社・組織名 サービス名
17961 ミテネインターネット MITENE
2907 国立情報学研究所 SINET
7522 株式会社STNet STCN
4675 ユニアデックス株式会社 U-netSURF
18070 株式会社グローバルネットコア N-plus
7529 株式会社ネットアイアールディー NETIRDインター
ネットサービス
18150 株式会社佐賀新聞社 佐賀新聞・長崎新聞イ
ンターネット(S.N.I)
9354
㈱コミュニティネットワークセン
ター CNCI
23780 CTBメディア株式会社 CTB
18282 Tonami Transportation Co., Ltd. CoralNet
17534 株式会社ネスク NSKNET
JPIX 接続ネットワーク (2/3)
AS番
号
会社・組織名 サービス名
10000 株式会社長崎ケーブルメディア NCM-NET
9595 株式会社エヌ・ティ・ティ エムイー XePhion/WAKW
AK
2514 (株)NTTPCコミュニケーションズ InfoSphere
2515
一般社団法人日本ネットワークイン
フォメーションセンター JPNIC
7679 九州通信ネットワーク株式会社 QCN
9370 さくらインターネット株式会社 SAKURA-B
23620 株式会社DMM.comラボ DooGA
18126 中部テレコミュニケーション株式会社
コミュファ光
/CTC EtherLINK
9355 国立研究開発法人 情報通信研究機構 NICT
2518 ビッグローブ株式会社 ビッグローブ
30. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 30
Interop Tokyo 2015 Peerのご協力
対外接続
BBIX 接続ネットワーク
AS番号 会社名 サービス名
17686 アクセリア株式会社 Accelia
23780 CTBメディア株式会社 CTB
17707 テコラス株式会社 DATAHOTEL
17941 株式会社ビットアイル BIT-ISLE
18150 株式会社佐賀新聞社
佐賀新聞インターネッ
ト新聞・長崎 (S.N.I)
23820 楽天株式会社 楽天市場
2518 ビッグローブ株式会社 ビッグローブ
JPIX 接続ネットワーク (3/3)
AS番号 会社・組織名 サービス名
4678 キヤノンITソリューションズ株式会社 FINE
38043 ソフィア総合研究所株式会社 SRINET
31. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
伝送装置
伝送装置
100G伝送
AS290の100Gバックボーンに採用
小型トランシーバCFP4を採用した本邦初公開機器
やデジタルコヒーレント技術による1波400G伝送に
対応した”Beyond 100G”機器も登場
10G伝送
出展社および生活線のアクセス収容部に採用
DC向け大容量・多回線収容機器の登場
100G伝送
10G伝送
33. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
RPKI相互接続実証実験 概要
RPKI相互接続実証実験
➤ 各ベンダ機器での個々のValidation挙動の差異の検証
➤ マルチベンダ間でのValidation結果の伝搬の相互運用性を確認
➤ Validation結果に基づくトラフィックエンジニアリングの実証実験を実施
➤ 国内初となるISPサービス提供ネットワークでのRPKIの完全適用を実現
➤ 不正な経路広告(経路ハイジャック)の影響をを受けないための仕組み
➤ BGPで受信した経路に対して、正当なアドレスの所有者のASからの経路広
告かどうかを判定する(Origin Validation)
RPKIとOrigin Validationとは?
ShowNetでのRPKI
34. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
RPKI相互接続実証実験 検証項目
1. ROA CacheサーバとのRTRセッション確立
2. Validationの正常性
3. Invalid経路の破棄(Drop)
4. Invalid経路の広告(Advertise)
5. Validation結果に基づくCommunityおよびLP操作の有効性
1. LPの変更
2. LPの加算
6. Validation結果に基づくStandard Communityの付加
7. iBGP広告経路へのOrigin Validation Extended Communityの付加
8. eBGP広告経路へのOrigin Validation Extended Communityの付加(標準外)
9. Extended CommunityによるValidation結果のiBGP伝搬の相互接続性
10.Validationをdisableしたときの経路の評価
11.RTRセッションが全断したときの経路の評価
RPKI相互接続実証実験
35. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
Cisco
CRS4/S
ShowNetでのRPKI相互接続実証実験
RPKI相互接続実証実験
AS131154 AS290
RPKI対応
eBGPルータ
ROA
キャッシュサーバ
Huawei
NE5000E
Cisco
ASR9900
Juniper
MX480
Mis-Origin経路
広告ルータ不正な強い経路
AS18131
ShowNet JPNIC
MF
Validation結果に基づくトラフィックエンジニアリングの実証実験を実施
正しい経路
Validな経路の
優先的選択(LP)
iBGPのCommunityによる
Validation結果の伝搬
36. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
全対外接続点でOrigin Validation実施
RPKI相互接続実証実験
RPKI対応
eBGPルータ
Huawei
NE5000E
Cisco
ASR9900
Juniper
MX480
ルートリフレクタ
Cisco
CRS4/S
KDDI JPIX DIXIE WIDE OCN ntt.netIIJ
NTTCom
JGN
JPNAP
Cloud AS
AS18131
AS290
37. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
SDNを活用した
"次世代のIX” (Internet eXchange)
38. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 38
SDN 技術のIXにおける活用
• Software Defined Networking (SDN) 技術
• OpenFlowに代表されるソフトウェアを用い
たネットワーク機能制御・管理技術
• SDN技術をIXの基盤に利用
• 細かな経路制御 (GRANULARITY)
• 柔軟なパス交換 (FLEXIBILITY)
• セキュリティ機能 (SECURITY)
SDN IX
39. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 39
ShowNet 2015での挑戦
SDN IX
• IXにおけるDoS/DDoS ミティゲーション機能
• 攻撃流入ポートでのミティゲーションを実施
• 攻撃トラフィックによる被害ASーIX間の帯域
圧迫を回避
• 分散IX
• 大手町・幕張にOpenFlowスイッチを分散配置
• パス冗長化
• コントローラ冗長化
40. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 40
SDN IXの構成
• 大手町・幕張にスイッチと
コントローラを分散配置
• ShowNet AS間/対外組織
を接続
大手町
幕張
ShowNet
NEC
PF5240
NEC
PF5240
O3Project
Lagopus
O3Project
Lagopus
Dell
PowerEdgeFX
SDN IX
41. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 41
AS間レイヤ2パス構築
• 事業者間を跨ぐレイヤ2パスを
OpenFlowを用いて自動でIX上
に構築
• 用途
クラウド事業者間や通信事業者
間での顧客ネットワークの接続
SDN IX
42. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 42
IXにおけるセキュリティ課題
SDN IX
• 課題:DDoS攻撃によるIXと接続事業者間の帯域逼迫
• 現在:被害事業者内でのフィルタ
→IXと事業者間の帯域逼迫を解消できない
IXとの帯域を圧迫
被害事業者
43. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 43
SDN IXでのDDoS防御
• 被害事業者の運用者がコント
ローラを介してフィルタ設定
• 攻撃トラフィックを流入口
で破棄
• IXと被害事業者間の帯域逼迫
を回避
• TestCenterとSAMURAIを用い
たデモを実施 被害事業者
SDN IX
44. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 44
DDoS防御デモ (cont’d)
SDN IX
②sFlowデータ収集
(pf5240-1, pf5240-2, ne5k)
③sFlowデータ解析 SAMURAI
④検知情報の通知
(担当NOC宛にメー
ル)
テスタ
TestCenter
①擬似攻撃トラフィッ
クをShow Net内部に送
信 (SYN Flood, DNS
Amp)
AS290 運用者
ShowNet NOCSynFlood 0.5Gbps
DNS Amp 1.0Gbps
45. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 45
DDoS防御デモ
SDN IX
テスタ
TestCenterSDN IXの流入口で攻撃トラ
フィックを破棄し、IXと
ShowNet間の帯域逼迫を回避
⑤フィルタ設定要求
⑤フィルタ設定投入
OpenFlowを利用
IX コントローラ
46. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 46
ShowNet2015での成果
SDN IX
• 対外組織とShowNetを相互に接続
• 3 IX, 1 Transitを大手町にて収容
• 開催期間中安定した接続性を提供
• DDoS防御デモ
• TestCenterとSAMURAIを用いてSDN IX上での
DDoS防御機能をデモ
• 分散IXを実現
• 4台のOpenFlowスイッチを用いた分散IXを構築
• PF5240, Lagopus合計4台を利用
47. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 47
御協力ありがとうございました
SDN IX
49. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 49
ShowNet2015を支える様々な場所で使用
マネージメントネットワーク
会議棟
生活ネットワーク
プレスルーム
パビリオン収容
無線収容
POD収容
・
・
・
各技術収容
50. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 50
ShowNetを支えるうえで必要不可欠
BOX型スイッチ
多くのコントリビューションを頂きました
皆様にご提供頂き、無事にShowNet構築と安定運用
が実現できました。
誠にありがとうございました。
来年もよろしくお願いいたします!!
51. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 51
Special Thanks!
BOXスイッチ
CIOプラス 10 HUAWEI 5
CISCO 1 HP 15
DELL 23 NEC 41
Extreme 2 日本ソルテッ
ク
1
FXC 10 NOC 16
計:124台
53. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
今年の主な取り組み
2種類のクラウド基盤
VMware によるマネージド・クラウド環境
OpenStack を用いたセルフサービス仮想マシン環境
クラウド間連携
クラウド間のオープンな閉域網接続を目指す Multi Cloud Fablic
広域負荷分散
マルチクラウドxマルチベンダーで実現するGSLB BCP/DR・スケールア
ウトソリューション
オーバーレイ
マルチキャストプロトコルを使わないVXLAN相互接続検証
InterCloud / Server
55. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
マネージド・クラウド環境
• AS290にて出展社向け、来場者向けのコアサービスを提供
• ShowNetの構築・運用、およびインターネット接続に必要なサービスを提供
Vmware
VSAN
DELL
Compllent
DELL
C6220
Cisco
UCS
NetOne
EVO:RAIL
DNS
MODEL
DHCP
MODEL
Moniter
MODEL
WLC
MODEL
InterCloud / Server
56. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
セルフサービス型クラウド
• AS131154にて、OpenStackを使ったIaaSクラウドを構築
• セルフサービスによる仮想マシンのプロビジョニング
InterCloud / Server
57. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
用途に応じた複数のストレージ
• パフォーマンス重視
• SSD,HDDを組み合わせた階層型ストレージ
• APIアクセス用
• OpenStack Cinderから直接操作
• 分散ストレージ
• ブロックストレージ、オブジェクトストレージとしてCephを実験的に使用
HDD
SSD
InterCloud / Server
58. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
使用機器・ソリューション
マネージド・クラウド Dell PowerEdge c6220 サーバ
Compellent ストレージ
Cisco 5108 Blade Chassis サーバ
Net One Systems EVO:RAIL 仮想化インフラ
VMware vSphere 仮想化インフラ
セルフサービス型
クラウド
Dell PowerEdge c6220 サーバ
EqualLogic PS6010E Cinderストレージ
Uniadex Big Cloud Fabric Neutronネットワーク
Red Hat RHEL OpenStack Platform OpenStack
Red Hat Ceph Storge Cinder/Glance/Swift用
分散ストレージ
東陽テクニカ Load DynamiX Swiftパフォーマンス計測
InterCloud / Server
59. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
クラウド基盤を支えるネットワーク
構成管理ツールを用い、イベントネットワークで求められる構築の効率化、及び運用の自動化を訴求
UCS5108
UCS6248UP S4810-ON S4810-ON S3048-ON
S4810
UCSマネージャー
で一括管理
“Cumulus Linux 搭載
スイッチ” +
“Ansible” で
設定の自動化
storage
SX1012
SX1024
ストレージプールには
高帯域で接続
InterCloud / Server
61. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
インタークラウド / マルチクラウド
様々なネットワークが接続可能なオープンな
プライベートコネクトプラットフォームを目指して
Multi Cloud Fabric
オンプレミス
クラウド
モバイル
エンター
プライズ
コンテンツ
プロバイダ
InterCloud / Server
62. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNet 2015マルチクラウド構成InterCloud / Server
63. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNet内の構成
BBIX
Private Connect
ボーダ(ASBR)
コア(P)
エッジ(PE)
Cisco Nexus7706
Juniper QFX10002
Huawei CE12800
Juniper MX240
古河電工
FITELnet FX1
サーバファーム
AS131154
Red Hat Enterprise Linux
OpenStack Platform
InterCloud / Server
64. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
マルチクラウドオーケストレーション
ワークロードの監視、スケーリング、負荷分散の自動化
クラウドB
クラウドA
Multi Cloud Fabric
GSLB
インターネット
www.interop.jp
オーケストレータ
スケーリング
InterCloud / Server
65. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
広域負荷分散(www.interop.jp)InterCloud / Server
67. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
今年の取り組み
RFCに則り、マルチキャストプロトコルを用いた
VXLAN相互接続検証を実施
導入障壁と考えられるマルチキャストプロトコルを
排したVXLAN相互接続検証を実施
2014年
2015年
VXLANの導入を検討する多くのオペレータが思う事
マルチキャストの運用が不安…
InterCloud / Server
68. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
3種類の構成モデル
• マルチキャストプロトコルを使わず、VXLANが導入可能な3種類
の構成モデルを構築
• モデル別に、マルチベンダ間の相互接続性を確認
EVPN連携 OVSDB連携 Static
ネクストホップ
の解決方法
EVPN OVSDB
(NSX controller)
設定投入
BUM(※1)の
処理方法
Ingress
replication
NSX
Service Node
replication
Ingress
replication
マルチキャストに
頼っていた部分を
別方式で解決 (※1) Broadcast, Multicast, Unknown Unicast パケット
InterCloud / Server
69. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
構成機器一覧
EVPN連携
Cisco Nexus 9504
Cisco Nexus 9508
Cisco Nexus 9396PX
Cisco Nexus 9372TX
Juniper MX80
Juniper QFX5100
NTT Communications GoBGP
OVSDB連携
VMware NSX (Multi Hypervisor) / ESXi
Juniper MX240
Juniper QFX5100
DELL S6000-ON
Linux KVM Open vSwitch
Static mode
Alaxala AX4630S
A10 TH930
InterCloud / Server
70. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
EVPN連携VXLAN構成モデル
N9508N9504MX80
RR RR RR
N9396pxN9372tx QFX5100 QFX5100 GoBGP GoBGP
VTEP VTEP VTEP VTEP VTEP VTEP
BUMトラフィック
EVPN BGP Peer【ネクストホップ解決】
自身が保持する収容ホスト
MACアドレスをEVPN NLRI
で他VTEPに通知
EVPN NLRI を受信した
他VTEPは その情報を元に
転送テーブルを作成
【BUMの処理】
ホストからきたBUMは、
複製して他VTEPに転送
(転送が必要なVTEPは、EVPN
NLRI で学習)
InterCloud / Server
71. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
OVSDB連携VXLAN構成モデル
コントローラーと連携する集中管理型
コントローラーとVTEP間でOVSDBプロトコ
ルを使用
コントローラーはVMware NSX を使用
関連ドキュメント
ー[RFC7407] The Open vSwitch Database Management Protocol
https://tools.ietf.org/html/rfc7047
InterCloud / Server
72. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
OVSDB連携VXLAN構成モデル
MX240
NSX Service Node
S6000-ON
NSX Control Cluster
BUMトラフィック
OVSDB Message
【ネクストホップ解
決】
コントローラーから
他VTEPの情報を学習
その情報を元に転送
テーブルを作成
【BUMの処理】
ホストからきたBUMは
Service Nodeに転送
Service Node が複製して
他VTEPに転送
VTEP VTEP
VTEP
ESXi
VTEP
QFX5100
VTEP
NSX vSwitch
Open vSwitch
Linux KVM
InterCloud / Server
73. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
Static mode VXLAN構成モデル
AX4630S
BUMトラフィック
【ネクストホップ解決】
予め対向VTEPを静的設定し、
転送テーブルを作成
【BUMの処理】
ホストからきたBUMは
複製して他VTEPに転送
TH930
VTEP
VTEP
InterCloud / Server
74. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ご協力企業様
多大なるご協力を賜り誠にありがとうございました。
InterCloud / Server
76. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
一般的なイベント会場での電波環境
無線(Wireless)
AP
AP
AP
APAP
AP
デバイス数とカバーエリアをメインに設計
AP AP
AP
AP
AP
AP
APAP
AP
AP AP
AP
持ち込まれたデバイスと会場設置APの電波で、
通信に使える周波数帯が限られる
77. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNetでの電波環境
無線(Wireless)
AP
AP
AP
APAP
AP
AP
AP
AP
AP
AP
1. ノイズ対策のためAP間隔をあけて余裕を持たせる
2. サービス提供したい場所には特殊アンテナを設置してより良い無線LAN環境を作る
AP AP
AP
AP
ShowNetの無線LAN設計一般的な無線LAN設計
78. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNetでの電波環境
無線(Wireless)
3. サービス提供したい場所では特殊アンテナの特性を利用してカバレッジにメリハリをつける
AP
AP
AP
AP
AP
AP
AP
AP
AP
AP
AP
AP
本番環境事前設計
79. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNet2015における
新たなSolution
無線(Wireless)
• 特殊アンテナ
LCX(漏洩同軸)ケーブル
アクセスコーナー
各ホールバルコニー
スタジアムアンテナ
Hall 4-6 CatWalk
• 無線環境の調査
QoE測定
ノイズ源の調査
←スタジアムアンテナ(表)
←
スタジアム
アンテナ(裏)
↑LCX(漏洩同軸)ケーブル
↑無線環境の調査画面
80. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
今後の展望
無線(Wireless)
• 混雑した環境で利用す
るための新しい規格
• さらなるスループット
の高速化
IEEE802.11ac
phase 1:1.3Gbps
phase 2:3Gbps超
IEEE802.11ad
:
1995 2000 2005 2010 2015
801.1
1
11b
.11a
.11g
.11n
.11a
d
.11ac
.11ax
100G
10G
1G
100M
10M
1M
81. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 81
クライアント数
無線(Wireless)
SSID 用途 6月10日 6月11日 6月12日
2015ShowNet 会場内Wi-Fiサービス
1,472 1,954 1,805
2015ShowNet-L 会場内Wi-Fiサービス
(LCX) 24 67 63
2015ShowNet-S 会場内Wi-Fiサービス(ス
タジアムAP) 136 275 233
Total 1,632 2,296 2,101
NOC-Life-E NOC/STM/Contributor
向けWi-Fiサービス 183 235 227
82. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 82
無線LAN測定結果
無線(Wireless)
1. Ping練り歩き
試験内容
SSID:2015ShowNetに接続しPCから8.8.8.8にPingしながらHall4-7, 2F, 会議棟を練り歩き
試験目的
通信品質の悪い場所の特定、スループット測定ポイントの決定
2. Hall4-7でのスループット測定
試験内容
SSID:2015ShowNetに接続し、ホール4-7の計16箇所で速度計測サイト(http://www.musen-
lan.com/speed/) にアクセス
試験目的
一番混雑する来場者向けサービスの正常性確認、チューニング
83. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 83
3. Active Monitoring(IXIA IxChariot Pro)
試験内容
会場内にHW Probe(IxChariot Pro Basic/XR2000)を設置し、以下4項目に対する調査を実施。
• RSSI(シグナリングの計測)
• HTTP response time (Latency)
• ICMP テスト/ ジッター(Jitter)
• TCP Throughputテスト
試験目的
無線環境における来場者QoE測定
無線LAN測定結果(Con’t)
無線(Wireless)
IxChariot Pro Basic XR2000
Assoc
(TCP Throughput測定用の対地)
84. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 84
4. Rogue AP検知(DELL Airwave)
• 試験内容
• 会場内に設置したモニタリング専用APを用いて、Rougue APを検知
• 試験目的
• 持ち込まれたデバイスや会場設置APの調査
5. Wi-Fi以外のノイズ源の検出(DELL Airwave)
• 試験内容
• 会場内に設置したモニタリング専用APを用いて、Non Wi-Fiによる干渉(周波数帯)を検出
• 試験目的
• 2.4G帯の品質評価
無線LAN測定結果(Con’t)
無線(Wireless)
85. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 85
測定1:Ping練り歩きの結果
無線(Wireless)
Hall4-6 Hall7 Acces
s
2F Conf Life
6/10
10:00
○ ○ ○ ○ ○ ○
6/10
15:00
△ △ ○ ○ ○ △
6/11
10:00
○ ○ ○ ○ ○ ○
6/11
15:00
△ ○ ○ ○ ○ △
6/12
10:00
○ ○ ○ ○ ○ ○
6/12
15:00
△ ○ ○ ○ ○ ○
○: 問題なし
△: 一部不安定
×: 通信不可
86. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 86
4B11
南口6 南口5 南口4
電気室
商談コーナー4
WC 男WC 女
商談コーナー5
WC 女 WC 男
電気室電気室
WC 女 WC 男
商談コーナー6
北口6
電気室
WC 女 WC 男
会議室6 M
多目的室6
主催者室6
WC 男 WC 男WC 女 WC 女
電気室
会議室5
多目的室5
主催者室5 主催者室4
電気室
会議室4 M北口5 北口4
EV
EV
June 10-12 , 2015 Makuhari Messe (Chiba Japan)
As of MAY 1 2015
ShowNet
NOC
4A01
(64.3)
4B14
4B17
4J11
12x6(8)
Sky
4J16
9x6(6)
Check
Point
McAfee
4H21
15x9(15)
4H27
10x9(10)
Hitachi
Metals
Lounge
4G32
12x12(16)
Soliton
4U32
9x15(15)
Fujitsu
5D32
12x18(24)
Nissho
4N27
9x12(12)
Otsuka
4N21
14x8(12)
A10
Networks
4U27
8x18(16)
Fortinet
5D27
9x18(18)
Marubun
4T21
6x9(6)
4T24
5A21
6x6(4)
Toyo
5D21
6x6(4)
Logic
Vein
5B24
5H21
6x9(6)
5H24
6x9(6)
Sky
4N11
24x12(32)
4U17
IBC
5B17
6x12(8)
Mitsui
KnowledgeMacnica
5H17
6x9(6)
Artiza
5J14
6x6(4)
Networld
5J11
6x6(4)
ZTE
5J07
YAMAHA/
SCSK
5G04
6x12(8)
SCSK
5C04
6x6(4)
Toyo
4Z04
6x6(4)
ShowNet
NOC
4N04
12x21(28)
Furuno
4Z07
6x6(4)5B07
4U10
6x12(8)
PacificNet
5F07
INTEROP
Pavilion
ShowNet NOC
4P01
Bitrieve/Main Technology
5F01
5N04
9x6(6)
5N08
9x6(6)
FKII
FKII
Mellanox/
Altima
5N12
9x6(6)
Alaxala
5N16
9x12(12)
Citrix
5U16
9x9(9)
NEC
5N21
7.2x18.75(15)
SHARP
5S07
6x6(4)
5S10
15x12(20)
Connect
Free
6A15
10x9(10)
NEDO
GUTP
6A11
9x6(6)
6A07
9x9(9)
Comworth
5W04
6x6(4)
ATEN
6B04
6x6(4)
Macnica
6F16
9x15(15)
NICT
6H12
9x9(9)
NICT
6F12
9x4(4)
6F07
12x6(8)
NTT-AT
6J08
9x6(6)
6F04
6x6(4)
Plat'
Home
Zabbix
6J04
9x6(6)
Comsquare
6F01
ZOHO
4P01
IoT World
AristaBrocade
5Z21
9x12(12)
6F21
9x12(15)
5N25
15x54(90
SDI ShowCase
HP
5N32
11x21(25.6)
Cisco
5Z32
12x21+9x9(37)
VMWare
6N32
10x15(16)
Lounge
6W32
12x5(6.6)
Huawei
6N21
27x12.34(37)
6U21
11x7(8.5)
Lounge
Huawei
Huawei
Huawei
Huawei
Huawei
Palo Alto
6N16
9x15(15)
Seiko
Solutins
6N12
9x6(6)
DLink
6N08
9x6(6)
DIT
6N05
6x12(8)
O'reilly
6P01
6x9(6)
6U05
6S12
6S08
6W12
( )
Hall6 Hall5 Hall4
6W16
4N32
12x12(16)
NOC
Storage
4A11
18x5(10)
4T25
4W24
4W255B25
5D24
5D25
5B085F08
5K07
5J09
6W05
6T08
6S10
6T12
6S14
Class
RoomB
OpenStage
4F10
9x6(6)
DELL
Class
RoomA
4B21
18x15+9x14(44)4Y21
Napatech
4F17
6x6(4)
4U18
4Z17
Extreme
4B13
4B15
4B16
4B18
Academic
Pavilion
4W17
Anritsu
AimEle
Huawei JPRS
6W17
Denso Fluke
HARADADYDEN
DataControls
5B10
5B115F11
5F10
4G31
15x8(13.3)
JAIST
Fiber26
5J08
5G07
IBsol
Raritan
FXC
5G15
5F13
5F14
5B13
5B145C14
4U15
4U134W13
4Y14
4U24
Orizon
4Y25
SunEle
5F25
Jupiter
6W08
CoreConputance
5G14
TokyoUniv
KanagawaUniv
NAIST
CANON
SAS
4F14
6x6(4)
Niscom
Computer
Education
Quanta ViaScope
5G08
TOMEN
5C10
FIT
QNAP
GetIT
KEIO Univ
Sonet
Business
Panduit
Flextronics
IoT Pavilion
IoT Pavilion
FujiFilm
NVC
5F24
WaveEle
JOHO KOBO
6T10
FFRI
DAIWA Technical
5C15
ShowNet
APPS Japan
7C32
(76)
Hall7
APPS
Pavilion
7B28
9x9+7x7(14.3)
7P22
12x6(8)
Class
RoomD
PDC 7F18
6x6(4)
SONY
7F157G15
7G13
Broad
Caster's
Innovation
7F13
7P017U01
7P04
12x6(8)
Socionext
Fanfactory
7P09
9x6(6)
7P17
9x6(6)
Imagenics/
Videotron
Class
RoomC
Digital Signage Japan
DSJ
Pavilion
7T25
15x12(20)
Positioning Tech
ShowCase
7G22
9x15(15) 7B22
7J28
6x6+6x3(6)
APPS Pavilion
7J26
Google
Newphoria 7G29 7B29
7B32
7H32
6x12(8)
KDDI/
YOSHIDUMI/
UNIXON
NTT
7K047L04
7K06
7P137R13
7R15
7J277R27
7J29
南口7
電気室
商談コーナー7
WC 男WC 女
電気室
南口8
ーナー8
WC 男WC 女
北口7
電気室
WC 男WC 女
多目的室7
主催者室7会議室7M
北口8
電気室
WC 男WC 女
室8
者室8 会議室8
7G01
RS
8K Signage
Theater
7D04
9x12(12)
7K08
12x6(8)
7J13
9x9(9)
7J17
9x8(8)
7T13
7B09
7F08
7F10
7G11
Location Business Japan
7B24
LBJ Pavilion
7B26
Japan
material
7T19
15x12(20)
7T15
9x12(12)
7T09
7Y11
Mitsubishi
Electric
7F22
7F23
7F24
7F267G267H26
CHIEF
Artesyn
ADTech
ComnetSDS
Nextep
Platease
Cybernetec
7G14
7G16
ITAccess
Dynacom
Limelight
LancerLink
KOBUNDO
TOUCHPANEL
Intel
Musashi
HIBINO
A-CUBE
Sofnet
7Y04
SanTek
SKNet
7H10
7G10
ASTRO
7U05
Yasukawa
7W01
Lacima
HAYAMI
TSUDUKI
7Y12
7Y13
7H09
7G08
7T04
7T07
7Y03
Connected Media Tokyo
7U04
7U07
7T117U11
7Y07
7K29
Will Smart
ELIVISION
Micro
Display
7R01
TOSHINAER
7Y09
eVision
Kyoei
Micro AD
DSC7U12
ESRI
AS-LOCAS
DT Resarch
Nexway
7U08
Ngen
測定2:スループット測定
無線(Wireless)
1
2
3
4
5
6
7
8
9
10
11
13
12
14
15
acc
ess
スループット測定実施ポイント
87. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 87
測定2:スループット測定(6/10 15:00)
無線(Wireless)
測定場所 スループット
(bps)
測定場所 スループット
(bps)
1 12M/9M 9 8M/8M
2 5M/7M 10 14M/12M
3 6M/6M 11 10M/14M
4 15M/18M 12 7M/5M
5 2M/3M 13 8M/6M
6 6M/7M 14 3M/4M
7 21M/18M 15 7M/6M
8 11M/9M Access 9M/11M
コメント
No.5のホール6の中央やや北と、No14のホール7の中央東で
動画再生時に画像が乱れることがある
88. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 88
測定2:スループット測定(6/11 15:00)
無線(Wireless)
測定場所 スループット
(bps)
測定場所 スループット
(bps)
1 10M/8M 9 6M/5M
2 7M/8M 10 10M/11M
3 6M/7M 11 10M/8M
4 14M/13M 12 7M/7M
5 6M/5M 13 8M/7M
6 2M/1M 14 6M/7M
7 12M/14M 15 8M/6M
8 9M/10M Access 8M/9M
コメント
No.6ホール5中央南で動画再生は厳しい、通常のWEBブラウジングでも遅い
89. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 89
測定2:スループット測定(6/12 15:00)
無線(Wireless)
測定場所 スループット
(bps)
測定場所 スループット
(bps)
1 8M/8M 9 7M/8M
2 5M/6M 10 9M/9M
3 5M/7M 11 8M/7M
4 2M/3M 12 7M/5M
5 5M/6M 13 8M/8M
6 6M/6M 14 6M/5M
7 11M/9M 15 7M/8M
8 8M/7M Access 8M/7M
コメント
No.4のホール6の出口前で動画再生時に画像が乱れることがある
90. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 90
測定3:Active Monitoring
無線(Wireless)
• RSSI(シグナリングの計測)
dB値として-60を前後している様子を観測
シグナリングの品質としては安定していると考えられる
91. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 91
測定3:Active Monitoring
無線(Wireless)
• HTTP response time (Latency), ICMP テスト / ジッター(Jitter)
外部サイト(www.interop.jp, www.ixia.com など)に対し、計測を実施
11〜15時をピークにレイテンシ、ジッターが上昇する様子を観測
HTTP response time (Latency)
ICMP テスト / ジッター(Jitter)
92. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 92
測定3:Active Monitoring
無線(Wireless)
• TCP Throughputテスト
無線<->有線間でTCP Bidirectional Throughputを測定(パケットサイズ:1M)
外部サイトを利用した測定(前項)とほぼ同様の傾向となった
93. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 93
測定4:Rogue AP検知(ホール)
無線(Wireless)
94. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 94
測定4:Rogue AP検知(2F)
無線(Wireless)
95. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 95
測定4:Rogue AP検知(会議棟)
無線(Wireless)
96. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 96
測定5:Wi-Fi以外のノイズ源の検出結果
無線(Wireless)
• 検出した主なノイズ源(2.4GHz only)
• Bluetoothデバイス
• コードレス電話/トランシーバ
• 電子レンジなどで使われている
Microwaveインバータ
97. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 97
ご協力企業様
無線(Wireless)
多大なるご協力をいただき有り難うございました!
99. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 99
ShowNetでのファシリティ課題
データセンタ・ファシリティ
• ShowNetはイベントネットワークであり
“見せるラック搭載”が必要となる
→エアフロー方向や電源構成が複雑になる
熱溜ま
り!エアフロー
方向
各ラック前面
下部から冷却中
エアフロー方
向が複雑な
ラック
100. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 100
今年のキーワード:”監視・解析・制御”
• ラック内温度の監視
• 使用電力の監視
• 実環境での熱量解析
• ラック内熱溜まり箇所での気流制御
データセンタ・ファシリティ
101. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 101
温湿度・電流監視
温湿度
センサー
温度
センサー
電流
センサー
ご提供
ATEN JAPAN様
明京電機様
ニスコム様
Seiko Solutions様
Zabbix Japan様
• ラック内の温度情報や消費電力をNOCより遠隔監視
• 温度急変等の異常発生時は緊急送風、電源振替等の対応
温湿監視画面
データセンタ・ファシリティ
102. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 102
気流解析・制御
ラックの隙間を埋める
気流制御パネル
ラックの隙間を埋める
気流制御パネル
現地データを基に発熱量を
シミュレーション
• 現地データを基に発熱箇所をシミュレーションし可視化
• 気流制御パネルをラック内に配置し、冷気・暖気を分離
ご提供:Tileflow Japan様
データセンタ・ファシリティ
103. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 103
縁の下の力持ち
ラックマウントタイプPDU
ATENジャパン様
明京電機様
ニスコム様
抜け防止電源ケーブル エイム電子様
プラガブル光トランシーバ
(SFP/SFP+/SFP-T)
エイム電子様
ネットワーク/サーバラック
ゲットイット様
シュナイダーエレクトリック様
センターピア様
摂津金属様
ケーブルテスター
Fluke Networks様
原田産業様
サーバーリフター 都築テクノサービス様
コマザワくん
(ケージナット取付/取外用治具)
センターピア様
データセンタ・ファシリティ
104. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 104
interface (Backbone及び、各エリア間接続機器)
SMF
39%
MMF
43%
Copper
18%
Cable Type
100G-LR4
4%
10G-LR
35%
40G-SR4
19%
10G-SR
24%
40G-DAC
1%
1000T
13%
10G-T
4%
Media Type
データセンタ・ファシリティ
105. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 105
interface (Backbone及び、各エリア間接続機器)
100G-
LR4
25%
10G-
LR
61%
10G-
SR
14%
backbone
10G-
LR
59%
1000T
41%
Life
10G-
LR
97%
1000T
3% Hall/会議棟
10G-
LR
69%
10G-
SR
22%
40G-
DAC
9%
NFV
10G-
LR
11%
40G-
SR4
11%
10G-
SR
51%
10G-T
27%
AS290 Server 10G-
LR
5%
40G-
SR4
45%
10G-
SR
27%
1000T
23%
vfes
10G-
LR
40%1000T
60%
inter cloud
データセンタ・ファシリティ
106. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 106
interface (Backbone及び、各エリア間接続機器)
SMF
86%
MMF
14%
backbone
SMF
59%
Copp
er
41%
Life
SMF
97%
Coppe
r
3%
Hall/会議棟
SMF
63%
MMF
29%
Coppe
r
8%
NFV
SMF
11%
MMF
62%
Coppe
r
27%
AS290 Server SMF
4%
MMF
73%
Coppe
r
23%
vfes
SMF
40%
MMF
0%
Coppe
r
60%
intercloud
データセンタ・ファシリティ
107. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 107
interface (Backbone及び、各エリア間接続機器)
• ここ数年10G-SR/40G-SR4などの、MMFの採用ケースが増加傾向
• 100G-LR4の採用増加
昨年比 減少 増加
Cable Type 2014 2015 Interface Type 2014 2015
SMF 45.8% 38.5% 100G-LR4 1.8% 4.0%
MMF 33.8% 43.1% 40G-LR4 0.0% 0.0%
Copper 20.4% 18.4% 10G-LR 42.3% 34.6%
1000-LX 2.8% 0.0%
100G-SR10 3.9% 0.0%
40G-SR4 13.4% 18.7%
10G-SR 16.2% 23.2%
40G-DAC - 1.1%
1000-SX 0.7% 0.0%
1000T 10.9% 13.0%
10G-T 9.5% 4.2%
データセンタ・ファシリティ
108. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 108
電源関連
データセンタ・ファシリティ
100V回路数(回路)
開催年 場所 回路数 合計 対前年増減 対前年比
2011年
4NOC 51
92 30 148%DC NOC(ShowNet) 17
DC NOC(VDC) 24
2012年
NOC_BB 72
98 6 107%NOC_DC1 15
NOC_DC2 11
2013年
NOC#01-10 62
124 26 127%
NOC#11-20 62
2014年 NOC#01-15 88 88 -36 71%
2015年 NOC#01-16 97 97 9 110%
200V回路数(回路)
開催年 場所 回路数 合計 対前年増減 対前年比
2011年
4NOC 7
16 -2 89%DC NOC(ShowNet) 2
DC NOC(VDC) 7
2012年
NOC_BB 9
14 -2 88%NOC_DC1 3
NOC_DC2 2
2013年
NOC#01-10 8
15 1 107%
NOC#11-20 7
2014年 NOC#01-15,NCS 22 22 7 147%
2015年 NOC#01-16 16 16 -6 73%
消費電力(VA)
開催年 場所 VA 合計 対前年増減 対前年比
2011年
4NOC 36,560
64,890 10,960 120%DC NOC(ShowNet) 9,540
DC NOC(VDC) 18,790
2012年
NOC_BB 42,530
59,160 -5,730 91%NOC_DC1 9,580
NOC_DC2 7,050
2013年
NOC#01-10 41,350
79,560 20,400 134%
NOC#11-20 38,210
2014年 NOC#01-15,NCS 61,480 61,480 -18,080 77%
2015年 NOC#01-16 62,120 62,120 640 101%
NOCラック コンセント数
5-15:440個
5-20:8個
L6-20:34個
L6-30:5個
C-13 :4個
109. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 109
ラック/機器台数
データセンタ・ファシリティ
NOCラック本数(本)
開催年 場所 本数 合計 対前年増減 対前年比
2011年
4NOC 12
21 2 111%DC NOC(ShowNet) 3
DC NOC(VDC) 6
2012年
NOC_BB 14
20 -1 95%NOC_DC1 3
NOC_DC2 3
2013年
NOC#01-10 10
20 0 100%
NOC#11-20 10
2014年 NOC#01-15 15 15 -5 75%
2015年 NOC#01-16 16 16 1 107%
機器台数
開催年 場所 合計 対前年増減 対前年比
2012年 NOC_BB、NOC_DC 270 - -
2013年 NOC_BB 320 50 119%
2014年 NOC#01-15,NCS 230 -90 72%
2015年 NOC#01-16 301 71 131%
NOCラック 使用オプション
棚板 :23組
112. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
サイバーキルチェーンの断絶
セキュリティ(運用によるサイバーキルチェーンの断絶)
(1)計画立案 (2)攻撃準備 (3)初期潜入 (4)基盤構築 (5)内部浸入・
調査
(6)目的遂行 (7)再浸入
攻撃目標設定
事前調査
C&Cサーバ
標的型メール
の作成
水飲み場攻撃
標的型メール
の送信
バックドア構築
ボットネットへ
の参加
データの外部送
信や破壊活動
業務妨害
内部拡散
共有サーバへの
浸入
バックドアから
の再浸入
情報の再搾取
※IPAより抜粋 (https://www.ipa.go.jp/security/vuln/newattack.html)
• 活動フェーズのどこかで対策を打つことで、それ以降の活動を遮断
• 更に、早い段階で対策を打てば、被害拡大を防ぐことが可能
113. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
ShowNet2015 セキュリティのポイント
セキュリティ
ファイア
ウォールTAP
Layer1
Aggregation
IPS/IDS
ファイア
ウォール
Sandbox
Sandbox
Mail Srv
Email
Sandbox
DDoS防御
TAP
フォレンジック
SIE
M
2014年→2015年
• インライン
• 多層防御
• フォレンジック
• SIEMの運用
114. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
構築からIRまで適用範囲を拡大
セキュリティ
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 8
サイバー攻撃対策
The Internet5タプル制御
浸⼊⼊防
御
やアプリ
ケーション制御
サンドボックス
アンチウイルス
• 昨年年に
引
き続き多層防御を実装
• 既知の脅威向け
• ファイアウォール
• IPS
• 未知の脅威向け
• サンドボックス
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 10
サイバー攻撃対策
• 出⼝⼝対
策
としてサンドボックス
• ⼊⼊⼝
⼝
対
策
と
してのサンドボックスで 、
コールバックや悪意あるサイトへの
アクセスを検知
• サンドボックスでの解析結果や各社
のインテリジェンスで登録されてい
るサイトへのアクセスを検知
Sandbox
各社の
インテリジェンス
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 13
SIEMによる相関分析
ソリューション
IDS/IPS SandboxFirewall • SIEMに各種セキュリティ
装置のログを集約
• ログの相関分析により、個
別のログの関係性を解析・
検知
• マルウェアの異異な
る
フェー
ズを捉えて検知
SIEM ※SIEM: Security Information & Event Management
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 14
ソリューション
• インターネット向けのパ
ケットを収集・保存してお
くことで、
• MD5解析などで同じマル
ウェアへの感染や同じサイト
へのアクセスの有無を確認
• 検体を再構成することで、更更
なる解析やシグネチャ⽣⽣成
へ
の活⽤⽤
サイバーキルチェーンを
断絶する、
セキュリティ
オーケストレーション
116. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 116
DDoS対策機能の最適分散配置
セキュリティ(DDoS対策)
課題:インターネット基盤を揺るがす大規模DDoS攻撃
対策:IX, トランジット, 自AS内での対策機能を分散配置
2. SDN IX
IX攻撃流入口での攻撃トラフィック破棄
1. 緩和サービス
BGP経路操作による攻撃緩和装置への
誘導・破棄
3. BGP Flowspec
網内緩和装置への誘導攻撃トラフィック
の制限・破棄自組織
IX
トランジット
117. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 117
ISP Free
Mitigation
SDN-
IX
BGP Flowspec
+ 緩和装置
NF
V
118. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
トランジットと連携したDDoS防御
セキュリティ(トランジット連携防御)
サーバA life/来場者端末等 出展社
Transit
xFlowサンプル
ShowNet
External コレクタ
攻撃者
Dest IP:サーバA
Source IP: B
Dest port : 80
Source port :1900
1.攻撃判定
3.攻撃防御
正常者
Dest IP:サーバA
Source IP: B
Dest port : 80
Source port :2345 連携装置
防御指示
2.防御連携
防御指示
119. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
IXにおけるセキュリティ課題
セキュリティ(SDN IX)
• 課題:DDoS攻撃によるIXと接続事業者間の帯域逼迫
• 現在:被害事業者内でのフィルタ
→IXと事業者間の帯域逼迫を解消できない
IXとの帯域を圧迫
被害事業者
120. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 120
SDN IXでのDDoS防御
セキュリティ(SDN IX)
• 被害事業者の運用者がコント
ローラを介してフィルタ設定
• 攻撃トラフィックを流入口
で破棄
• IXと被害事業者間の帯域逼迫
を回避
被害事業者
121. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
2015年もありがとうございました ※順不同
セキュリティ
122. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
PTP相互接続実証実験
PTP(Precision Time Protocol)
123. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 123
高精度な時刻を得るための手段と課題
PTP(Precision Time Protocol)
• 高精度な時刻を得るための手段
• 高精度な時刻ソース:GNSS(GPS,GLONASSなどの衛星)
• GNSSから時刻を得るための手段
• 専用アンテナをオープンスカイ(見晴らしのよい)な場所に
設置する
• アンテナと機器間は同軸ケーブル(10D-FBなど)で接続する
• 課題
• モバイルLTE-Aの普及により、時刻同期を実施しなければならない
デバイスの数の増加
• 時刻同期のためには、GNSSから直接時刻を得るため専用アンテナ
〜同軸ケーブルを敷設する必要がありコスト増加
124. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 124
課題解決手法
PTP(Precision Time Protocol)
• GNSSアンテナ敷設数が多い=運用、メンテナン
スコスト高
• 敷設数を減らすための技術手法
• 同軸分配器の利用
• 同軸分配器の分配数分の機器収容となるた
め、数に限りがあり柔軟性に欠ける
• IP/イーサネットワーク経由で高精度な時刻を
配信する=PTPの利用
125. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 125
IP/イーサ上でのマイクロ秒オーダ同期技術の実現
PTP(Precision Time Protocol)
•IEEE 1588:Precision Time Protocol (PTP)
•IEEE1588-2008(v2)
•NTPと同様パケットベースのプロトコル
•NTPはミリオーダー
•時刻源はGNSSを想定
•同期精度
•マイクロ秒以下のオーダ
•誤差の主要因である伝送遅延の影響を排除
•PTP機器はパケットが物理層を通過した時刻を打刻
•図のPHY部
•NW機器全てがPTP対応(L2/L3スイッチ)を想定
•パケット送受信頻度を上げ統計情報処理精度UP
•STPなどで、ループを除去してあることを想定
ネット
ワーク
PTP
UDP
IP
MAC
PHY
Slave Clock
Grand Master
Clock
PTP
UDP
IP
MAC
PHY
AA
B
A:プロトコルスタックにおける遅延・
ジッター
B:ネットワークにおける遅延・ジッタ
遅延:計測可能なデータ転送の流れ
ジッタ:遅延のばらつき
126. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 126
新しい分野へ適応が期待される
標準化技術
PTP(Precision Time Protocol)
• Cisco Systems : ASR901(B), ME1200(B)
• Extreme Networks : Summit-x670-DC(B)
• Huawei Technologies : NE20E-S2E(B)
• Ixia Communications : Anue3500(A)
• Juniper Networks : ACX500(G) /
ACX2100(B)
• Marubun
• S350(G) / PTP Translator(S) / TCG-02-
G(S) / Sentinel(A) / Paragon-x(A)
• Seiko Solutions : TS-2950(G)
Default Profile
• Cisco Systems : ASR901(B)
• Huawei Technologies : NE20E-S2E(S)
• Ixia Communications : Anue3500(A)
• Juniper Networks
• ACX500(G) / ACX2100(B) / MX480(B)
• Marubun
• TP2700(G) / PTP Translator(S) / TCG-02-
G(S) / Sentinel(A) / Paragon-x(A)
• Seiko Solutions : TS-2910(G)
Telecom Profile
凡例:G:Grand Master Clock, B:Boundary Clock , S:Slave Clock, A:Analyzer
Bitrieve : Exalink Fusion(Low Latency Media Converter)
テレコムに特化した時刻同期
標準化技術
127. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 127
相互接続実験概要
PTP(Precision Time Protocol)
Grand Master Clock
(GMC)
Boundary Clock
(BC)
Slave Clock
(Slave)
Global Positioning
System(GPS)
確認ポイント
GMC-BC-Slaveのプロトコル接続性
→GMC/BC/Slave側で確認
GMCとBCの時刻精度の差分
→Analyzer側で確認
GMCとSlaveの時刻精度の差分
→Analyzer側で確認
同軸ケーブル
Analyzer
PTP EVC
Freq. link
Time/Phase link
今後想定される様々な業界へのPTP適用=PTP NWのマルチベンダー化
の加速を見据え、複数のGMC / Slave製品と主要なネットワーク製品
(BC) の相互接続を実施
• Default Profileでは、新しい分野での応用のための実験を実施
• Telecom Profileでは、テレコムモバイルでの適応領域の実験を実施
128. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 128
PTPによってもたらされる恩恵
PTP(Precision Time Protocol)
• PTPが様々な業界に適応されていくための
Interoperability実験を実施しています。
129. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 129
会期構成1:Telecom Profile
PTP(Precision Time Protocol)
(Boundary Clock)
mx480
A10
A12
xe1/0/0 /192.168.1.2
xe1/0/1 /192.168.2.1
A2
ge 1 /192.168.2.2
ge 1 /192.168.1.1
ge 1 /192.168.1.2
ge 1 /192.168.1.1構成1 (Telecom)
ge 1
ge 2
B7
ge 1 /192.168.2.2
ge 2 /192.168.2.1
1PPS Out
1PPS In
GNSS In
GNSS In
GNSS In
GNSS
同軸
分配器
GNSS Out
GNSS Out
GNSS Out
GNSS InGNSS Out
1PPS In
1PPS Out
1PPS Out
1PPS In
(Grand Master Clock)
ts-2910
(Analyze)
ixia3500
(L1SW)
exalink-fusion
(Slave Clock)
qulser-1
(Slave Clock)
qulser-2
(Boundary Clock)
tp2700
(Grand Master Clock)
acx-500-ac
1step
1step
1step
1step
1step
130. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 130
会期構成2:Default Profile
PTP(Precision Time Protocol)
ge 3 /192.168.3.1
ge 1
ge 2
ge 1 /192.168.5.2
ge 1 /192.168.1.1構成2(Default)
ge 1 /192.168.1.2
ge 2 /192.168.2.1
ge 2 /192.168.2.2
GNSS In
GNSS
同軸
分配器
GNSS Out
1PPS In
1PPS Out
1PPS Out
1PPS In
(Boundary Clock)
NE20E
(Boundary Clock)
ASR901
ge 2 /192.168.4.1
ge 1 /192.168.3.2(Boundary Clock)
ME1200
1step
ge 1/0/1 /192.168.5.1
ge 1/0/0 /192.168.4.2(Boundary Clock)
ACX2100
1step
(Analyze)
Paragon-X
(Slave Clock)
tcg-02-g
(Grand Master Clock)
ts-2950
1step
1step
1step
131. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
会期構成3:Default Profile
PTP(Precision Time Protocol)
GNSS
同軸
分配器
ge 1 /192.168.1.1
ge 1 /192.168.1.2
GNSS In
GNSS Out
1PPS In
1PPS Out
(Grand Master Clock)
s350
(Slave Clock)
ptp-translator
2step
132. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 132
ご協力企業様
PTP(Precision Time Protocol)
多大なるご協力をいただき有り難うございました!
134. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 134
Management & Console Concept
Management & Console
Loop Free Management
• ループフリーなL2フラットネットワークを早期に構築する
Management Network Management
• マネジメントネットワークを構成する機器から始まり、コンソールサーバ、マネジメン
トに属する機器全ての死活監視を行う
Console Management
• コンソールサーバ全20台の接続機器管理とオペレーション一元化のため集約サーバを導
入する
135. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
Loop Free Management
Management & Console
Head SW(2set)に、HP IRF (Intelligent
Resilient Framework) を採用し、運用の効率化
にチャレンジ。
全SWのBUMフレーム (※1) の転送レートリ
ミットを「10Mbps」に指定し、Loop発生時の
影響を最小限に。
•(※1) Broadcast, Unknown unicast, Multicast Frame
By 日本ヒューレット・パッカード、デル、シーアイオープラス(順不同)
136. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 136
Management Network Management
Management & Console
マネジメントネットワークを構成するマ
ネジメントスイッチとコンソールサーバ
• 機器単体毎に監視
各ネットワークセグメント(例:
172.16.0.X:Core Router群)に属す
る機器
• 監視対象数が多いため、各機器の応答回数などに閾
値を設けて監視
By 富士通九州ネットワークテクノロジーズ
137. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 137
Console Management
Management & Console
By セイコーソリューションズ
・・・
ShowNet機器のコンソールポートを
コンソールサーバで集約
コンソールサーバ集約サーバで、
複数のコンソールサーバを集約し
てアクセスを提供
コンソールサーバ
集約サーバ
コンソールサーバ
138. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 138
ご協力企業様
Management & Console
多大なるご協力をいただき有り難うございました!
140. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 140
Monitoring Issue
運用監視(Monitoring)
• Layer別監視元年
• 今年はLayer1からLayer3に注力した監視を実施
• Layer 1
• 多層化するインフラ
• 熱・電源をはじめとした物理層との乖離
• Layer 2-3
• 論理構成におけるState変化を把握しきれていない
• 繰り返される通知における危機意識の低下
141. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 141
Layer 1
運用監視(Monitoring)
• 課題
• 多層化するインフラ
• 熱・電源をはじめとした物理層との乖離
• 解決策
• 熱・電源センサーを多数配備し、空調が完全では
ないイベントネットワークにおけるL1監視に改め
てチャレンジ
• 詳細はファシリティ報告をご参照のこと
142. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 142
Layer 2-3
運用監視(Monitoring)
• ShowNetを運用監視する際の課題
• 複数製品を短期間で運用フェーズに載せる難しさ
• 特にその時のShowNetに必要充分な、NW運用要件の
設定が重要ポイント
• 解決策
• 成熟技術であるSNMP MIBとSyslogベースの監視ツー
ルを用いて、基盤となる運用監視環境を短期間で構築
• ShowNetサービス構築直後に明確になるNW構築サイ
ドの監視項目が、早期適用できるための手法を準備
143. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 143
運用要件の早期適用例(1)
運用監視(Monitoring)/L2-3
FB
イメージ画面(System
AnswerG2)
Google
KDDI
NTT 巡回監視
時期:ネットワーク構築中
事象:グローバルアクセス障害が頻発
監視要件:グローバルサイト(FaceBook, Google, KDDI, NTT)への
IPv4/v6, ICMP/HTTPアクセス可否を簡単に確認したい(NOCリクエスト)
対応:FB→ Google→ KDDI→ NTTを自動的に巡回監視するウィンドウ機能
の追加(コントリビュータ様にてご対応)
作業期間:1時間(追加リクエスト〜リリースまで)
課題解決:ShowNet構築時のトラ
ブル早期検知に利活用
144. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 144
運用要件の早期適用例(2)
運用監視(Monitoring)/L2-3
イメージ画面(Zabbix)
時期:ネットワーク構築中
事象:複数機器のCPU利用率の向上
監視要件:ShowNet全機器のCPU使用率の可視化(NOCリクエスト)
対応:同じカテゴライズの機器のCPU使用率を見える化(コントリビュータ様に
てご対応)※カテゴライズ毎:1.Core Router, 2.Core Switch のイメージ
作業期間:3時間(追加リクエスト〜リリースまで)
課題解決:ShowNet構築時のトラ
ブル早期検知に利活用同じカテゴライズ機器のCPU使用率
(まとめて表示)
145. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 145
Syslog監視
運用監視(Monitoring)/ Syslog監視
• Syslogを用いた状況把握
• L2ストーム検知
• ネットワークトラブル検知
• Syslogを用いたトラブル分析
• ログの急増による機器異常分析
• ログ種別による機器状態の分析
146. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 146
Syslog監視(L2ストーム検知)
運用監視(Monitoring)/ Syslog監視
L2ストーム
の検知
147. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 147
Syslog監視(ネットワークトラブル検知)
運用監視(Monitoring)/ Syslog監視
BGP&OSPF down
の検知
148. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 148
Syslog監視(ログの急増による機器の異常)
運用監視(Monitoring)/ Syslog監視
特定機器の
Interface異常
によるログの急増
149. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 149
Syslog監視(ログの種別)
運用監視(Monitoring)/ Syslog監視
ログ種別による
異常の分析
150. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 150
トラブルシュート
運用監視(Monitoring)
• ポータブルなパケットキャプチャ装置の利用
• 10G(LR,SR)/10G(Copper/3speed,SX,LX)
ダッシュボードで
キャプチャ情報を可視化
151. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 151
コンフィグ管理
運用監視(Monitoring)
コンフィグ取得
可否の可視化
コンフィグ変更
有無の可視化
コンフィグ取得
状況の一覧表示
152. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 152
ご協力企業様
運用監視(Monitoring)
多大なるご協力をいただき有り難うございました!
154. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 154
Shownetの検証・測定箇所
検証・測定
VxLAN相互接続
仮想マシンによる機能試験
HTTP2.0
新プロトコルの動作試
験
NFV
仮想マシンによる
負荷試験
セキュリティ
マルウェア検知試験
SDNIX&100Gバックボーン
スループット測定・負荷試験
BGP Flowspec
動作試験
155. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 155
負荷試験・パケット転送性能計測
検証・測定
• SDNIX/バックボーンにて負荷試験、
パケットロス率計測等を実施
• Shownetのバックボーン安定化に貢献
IXIA XGS12-HSIXIA XGS12-HS
SDNIX
10Gbpsでのスループット測定
100Gバックボーン
負荷試験
IXIA XGS12-HS
156. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 156
最新技術の検証
検証・測定
• BGP Flowspecの動作検証を実施
• 経路広告、トラフィック生成の両方に
テスターを使用
東陽テクニカ
Spirent Testcenter
経路広告
Huawei
NE5000-X16B
Cisco
ASR9904
Juniper
MX480 東陽テクニカ
Spirent Testcenter
東陽テクニカ
Spirent Testcenter
157. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 157
テスターによる特殊な状況の再現と検証
検証・測定
• マルウェアの動作をテスターによって再現
• Shownetでは実環境投入前に検知性能を測定
マルウェアの再現トラフィック
IXIA XGS12-HSIXIA XGS12-HS
東陽テクニカ
AvalancheNEXT
東陽テクニカ
AvalancheNEXT
DELL Super Massive 9800
Fortinet FortiGate-3700D
Cisco ASA 5585-X
Palo Alto PA-5060 Aeroflex
TeraVM
Aeroflex
TeraVM
IXIA XGS12-HSIXIA XGS12-HS
158. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 158
仮想マシン型のテスターを実戦投入
検証・測定
• VxLAN/NFVの検証
• 実際の仮想化環境を想定した計測を実施
• 物理配線等を簡略化したテストが可能に
IXIA IXVM IXIA IXVM IXIA IXVM
VxLANノード(VTEP)を
経由するトラフィックを生成
フラグメント処理・MACラーニング数を計測 富士通九州
ネットワークテクノロ
ジーズ
NXS VG/X
NFV負荷試験
仮想マシン型テスター
159. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 159
ご協力企業様
検証・測定
• 多大なるご協力を賜り
誠にありがとうございました
160. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
IoT(Internet of Things)
161. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 161
IoTの世界を取り巻く現状
IoT(Internet of Things)
1. デバイスによる情報収集
• センサー
• スマートフォン
2. ゲートウェイによる
情報集約と送信
• Wi-Fi
• 3G/LTE SIM
3. クラウドを利用した
ソリューション
• 遠隔監視
• データマイニング
スマートフォン
センサーデバイス
IoT
ゲートウェイ
クラウドからの
遠隔監視
データ通信SIM
162. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 162
ShowNetにおける実証実験機器
IoT(Internet of Things)
• デバイス
• IoTスマートゴミ箱(富士通九州ネットワークソリューショ
ンズ様)
• ゲートウェイ
• OpenBlocks IoT(ぷらっとホーム株式会社様)
• M2M-GW(富士通九州ネットワークソリューションズ様)
• 3G/LTE SIM
• IIJ mio SIM(株式会社インターネットイニシアティブ様)
• OCNモバイルOne for Business(NTTコミュニケーション
ズ様)
163. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 163
今後の課題
IoT(Internet of Things)
センサー数と送信データ量の増大
デバイスとGatewayのセキュリティ
データ処理/マイニングコスト
164. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 164
IoTからIoEの世界へ
IoT(Internet of Things)
1. デバイスの進化
• IoE(Internet of Everything)
• エナジーハーベスト(環境発電)
2. ゲートウェイの進化
• データ量のシェーピング
• デバイス/ゲートウェイ
セキュリティの実現
3. クラウド
• ストリーミング処理
• 高速なビックデータ処理
全てのものがインターネットへ接続
シェーピングによる
データ送信量の制御/
端末とGatewayの
セキュリティの実現
エナジーハーベスト
(環境発電)
クラウドによる高速な処理
165. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 165
ご協力企業様
IoT(Internet of Things)
多大なるご協力をいただき有り難うございました!
167. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 167
運用ツールとして活用
コラボレーションツール
• HotStage、会期中のNOC、コントリビュー
タ、STM、事務局のコミュニケーションツー
ルとして活用
• MCU機能をクラウド上で提供いただくことに
よる、web会議を活用しNSCカウンターでの
円滑なサービスを実現
来年もよろしくお願いいたします!!
168. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 168
エンドポイント端末の配置 モデル 台数
MX300 2
MX80 5
MX70 7
SX80 1
NOCルーム STMルーム
コントリビュータ
ルーム
事務局
会議棟
NSCカウンター
STMルームの様子
ディスパッチャそれぞれに1台
STMルームから
NOCルームの様子
STMディスパッチャとNSCカウンター
クラウドで同時接続
169. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 169
その他運用ツール
スマートフォンやタブレット端末にインストールした「InteropTokyo公式ア
プリ」を通じて、ラックに展示されたShowNetの機器にまつわるガイド、見
どころ情報などを配信しました。
• ラックやステージ、2F通路のShowNetツアーカウンターなど、ShowNetの
みどころの近くに、BLE(Bluetooth LowEnergy)の技術を利用したビー
コンを設置
• ビーコンに近づくとアプリにラックの見どころメッセージをプッシュ通知
プッシュ型情報配信サービス・来場者向け特別企画
「ShowNetナビ」
Special Thanks
170. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 170
その他運用ツール
プッシュ型情報配信サービスの特別企画
「ShowNetナビ」
ラック横に設置した
ビーコンに近づくと
ビーコンから来場者の
タブレット/スマホにプッシュ通知
見どころ解説
171. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 171
その他運用ツール
IP無線「Aldio」
WiFiや3G/LTE回線を用いたトランシーバアプリ
STMがメンバ間やディスパッチャとの連絡として活用
距離等の問題で従来のトランシーバでは難のあった会議棟との
円滑なコミュニケーションを実現
STM/NOCのコミュニケーションツールとして活用
Special Thanksスクリーンショット
173. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
クレジット
各分科会お問い合わせ
Facility & Facility Management: interop15-noc-facility@f2ff.jp
Wireless / Mobile Cloud Computing : interop15-noc-wireless@f2ff.jp
Tester / Debugging / Hardening : interop15-noc-tester@f2ff.jp
Console / Monitoring / Logging : interop15-noc-mon@f2ff.jp
HyperVisor / Server / Cloud / Display /
PC-Tablet-Mobile : interop15-noc-server@f2ff.jp
Entertainment / Show Up / Application :interop15-noc-app@f2ff.jp
Human Resource / Education / Training :interop15-noc-ctm@f2ff.jp
Others : interop15-noc-zin@f2ff.jp
176. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
クレジット
Special Thanks
【特別協力】
株式会社IDCフロンティア
アルテリア・ネットワークス株式会社
株式会社IIJイノベーションインスティテュート
インターネットマルチフィード株式会社
NTTセキュアプラットフォーム研究所
NTT西日本
倉敷芸術科学大学
国立情報学研究所
さくらインターネット株式会社
株式会社Xenlon
摂津金属工業株式会社
センターピア株式会社
テコラス株式会社
株式会社デジタルハーツ
トランスコスモス株式会社
日本インターネットエクスチェンジ株式会社
有限会社HUG
BBIX株式会社
ブルーコートシステムズ合同会社
株式会社ミクシィ モンストスタジオ
理想科学工業株式会社
レッドハット株式会社
WIDE/NECOMA Project
177. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
クレジット
本資料について
Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
記載されている各社の社名、商品名は各社の登録商標又は商標です。
本資料の文章・画像の無断転載・複製を禁止します。
本資料に関するお問い合わせ先
Interop Tokyo ShowNet 運営事務局
株式会社ナノオプト・メディア
ShowNet担当:鈴木、小野村、大嶋
Tel: 03-6431-7803 Email: shownet@f2ff.jp