データセンタ内で発展した仮想化技術は、効率化によるコスト削減だけでなく、インフラ構築の俊敏性・柔軟性向上に貢献 仮想化やソフト分離の手法はネットワークの転送領域や光伝送領域にも広がり、OCP・TIPを通してエコシステムが形成されてきている NTTはOSS技術とデジタルコヒーレントを強みとして、TIPに対して光伝送装置のハードとソフトを分離するオープンIF”TAI”とそのアーキテクチャを提案し、グローバルパートナーと共に実装を進めている 今後は、Open Transportを推進して運用自動化によるOPEX削減を実証し、国内・国外オペレータと協力して検証を進めていく

1. Telecom Infra Projectの取り組み
-光伝送におけるハードとソフトの分離-
2019年12月18日
NTT未来ねっと研究所 フォトニックトランスポートネットワーク研究部
西沢 秀樹

2. 2
本日のアジェンダ
• データセンタで起きた技術革新
• ネットワークのオープン化
– オープンネットワーキングの黎明期
– Open Compute Project
– Telecom Infra Project
• NTTグループの取り組み
• 今後の取り組み

3. 3
データセンタで起きた技術革新
• 急激に増大しているSNSや画像配信サービスのトラフィックを効率的に
処理するため、データセンタ内ではハードウェアとソフトウェアを分
離する新しい技術の実装が進んだ
サーバ仮想化技術：
1台の高性能なハードウェアを仮想化によって
分割し効率よく使用する
ストレージ仮想化技術：
複数のサーバーハードウェアを一つのコンピュータ
に見立てて容量や耐障害性を向上させる
出所：https://www.oakis.co.jp/virtualization/ 出所：https://www.fujitsu.com/jp/products/computing/storage/lib-
f/tech/virtual/v2/
• 効率化によるコスト削減だけでなく、仮想化技術により
➢ 短期間にシステムを構築できる（迅速性・俊敏性）
➢ 高信頼かつ柔軟にシステムを拡張できる（柔軟性、冗長性）

4. 4
ネットワークのオープン化
1. 柔軟で俊敏なネットワークの実現に向け、コンピューティングの研究者が中心と
なってGENIを牽引し、ネットワーク機能の分離を推進してきた
2. FacebookやMicrosoft等のBig ICPやベンダがOCPなどを通してマーケットを成熟させ
た結果、Whitebox Switchが2018年にスイッチ市場の約２割まで拡大した
3. 2016年より伝送領域のWhitebox化が始まり、キャリアも積極的に参加
2007 2009 2011 2013 2015 2017 2019
GENI設立（将来のインターネット）
OpenFlow発表
OCP設立（DC内）
TIP設立
TAI発表
(NTT)
SAI発表(Microsoft)
SONiC発表
(Microsoft)
ONF設立（SDN推進）
OpenFlow V1.1
dNOS発表
(AT&T)
転送領域
伝送領域
（光・無線）
Cassini発表
(Edgecore)
サーバ仮想化
Vmware vShpere Hypervisor (2002)
ストレージ仮想化
Vmware Virtual SAN (2014)
Open ROADM
MSA設立
3社100G相互接続
ONF: Open Networking Foundation
OCP: Open Compute Project
SAI: Switch Abstraction Interface
SONiC: Software for Open Networking in the Cloud
TIP: Telecom Infra Project
TAI: Transponder Abstraction Interface
Wedge発表
(Facebook)
Voyager発表
(Facebook)
Minipack発表
(Facebook)

5. 5
１．オープンネットワーキングの黎明期
• Global Environment for Network Innovations (GENI)
– 新しいネットワーク・アーキテクチャや要素技術を開発するためのテストベッド
– プログラマブル・ルータと呼ばれるノードを適用
• スタンフォード大学 Clean Slate Program
– 白紙の状態からインターネットの再構築を目指すスタンフォード大のプログラム
– スコープ「仮想化・プログラム可能なインフラ(Computing, Storage, Net)」
– GENI 3rd at HP labにて、OpenFlowスイッチの動態デモを実施
Source: https://www.cs.uaf.edu/2011/spring/cs641/proj1/dpkline/
• それまでのネットワーク機器は、制御機能と転送
機能が共存していた
• OpenFlowは、制御部と転送部を分離したアーキ
テクチャを採用
➢ ネットワーク管理者は、コントローラを自ら設
計・実装することで、必要な制御機能を自由に
実現することができる

6. 6
２．Open Compute Project (OCP)
目的 スケーラブルなコンピューティングにとって最も効率の良いサーバー／
ストレージ／データセンターなどのハードウェアを設計し提供していく
こと
活動内容 高効率を実現するデータセンターファシリティーの要素（サーバ、空調、
電力等） のシステム仕様を検証し、そのナレッジをオープン化
メンバ オペレータ、ハードウェアベンダー、ソフトウェアベンダー等
ボードメンバ：Facebook, Intel, Goldman Sachs, Microsoft, ARISTA,
Rackspace
アウトプット 仕様書、ユースケース、ファームウェア、ハードウェアデザイン、試験
結果等
Facebookが開発したToR Switch,
Wedge
Facebookが創設して以来８年がたつが、予算規模は今も年１２０％で拡大している

7. 7
OCPで水平分業が進むWhitebox Switch
Source: https://www.design-reuse.com/articles/44519/switch-abstraction-interface-sai.html
• Switch Abstraction Interfaceは、各社Switch ASICに対して共通のAPIを定義
➢ 開発期間の大幅短縮、新規参入の促進
➢ オペレータは好みのSwitch Platform・NOSを選択できる

8. 8
Microsoftが主導するOpen NOS “SONiC”
• Microsoft, Linkedin, Alibaba等のハイパースケールデータセンタにて実運
用されている
• 上記オペレータに加え、Mellanox*, Dell, Barefoot等多数のベンダが開発
に参画
• OCP 2019プレワークショップにて、Ciscoがハイエ
ンドルータNexus 9000のハードウェアにCisco IOS
でなくSONiCを載せ、ONIEでインストール可能にし
た取り組みを報告。（CiscoのプロプラASICとその
SDK上）
• エキシビションでは、Juniperが同じく自社ハイエン
ドルータにSONiCを実装し、JUNOSでコントロール
できるようにした動体デモを実施。ONIEインス
トールも対応。
*Nvidiaが買収
OCP 2019キーノートより

9. 9
３．Telecom Infra Project
目的 新興国から先進国まで、テレコムネットワークインフラを構築・開発す
るための新技術を各社が協力して生み出すこと
メンバ オペレータ、ハードウェアベンダー、ソフトウェアベンダー等
ボードメンバ：DT, Facebook, Intel, Telefonica, Nokia, Vodafone, BT
Source: https://www.eyerys.com/articles/news/facebooks-telecom-infra-project-its-race-build-5g-networks-and-more-users

10. 10
各国キャリアの抱える問題と参加の動機
垂直統合
トレーニング
システム開発
North API
South API
• Performance Monitoring
• Boot loading
• Version up
• Configuration
• Design tool
• Provisioning tool
etc.
• 光伝送装置は垂直統合モデルであり、ベンダごとにトレーニング
コストやシステム開発コストがかかっている
Network
Equipment H/W
Operating
System
S/W for
Equipment
Operating
experts
Network
Equipment H/W
Operating
System
S/W for
Equipment
Operating
experts
Vendor A Vendor B
• オペレーション共通化のため、共通APIを定義したりインハウスの
アプリを実装することが難しい

11. • TIPの中で「光とIPネットワークにおけるイノベーション加速」を目指す
プロジェクト
• グループごとに分担し、ユースケース・Whitebox機器の仕様策定やAPI
定義、相互接続検証・トライアルなどを行っている
11
TIP Open Optical & Packet Transport
Led by
NEL America, PaIC
NTT、Telefonica
ADVA、Infinera、Acacia
Juniper、Cisco
Vodafone、NTT、TeliaVodafone、
Facebook
Chaired by
Facebook, Telefonica
Source: https://telecominfraproject.com/oopt/

12. 12
最初のWhitebox Packet Transponder
• Facebookは2016年11月の第一回TIP Summitにおいて、最初のWhitebox
Packet Transponderである”Voyagerを発表”
Source: https://engineering.fb.com/connectivity/an-open-approach-for-switching-routing-and-transport/

13. • 従来オペレータは、ベンダがそれぞれに開発した光伝送路設計と最適化ツールを活用
しており、共通した手法やIFが確立されていなかった
• GNPyは、光伝送路設計と最適化のための世界初のオープンソースのライブラリ
– OSNRやファイバ非線形光学効果等の物理現象を踏まえて、光伝送機能のネットワークモデルとそ
のパラメータを定義するエンド‐エンドのシミュレーション環境を提供
• Microsoft等のオペレータが実環境でテストを実施し、十分な精度が得られたと報告
13
光伝送路設計と最適化ツール”GNPy”
Source: https://telecominfraproject.com/oopt/

14. 14
本日のアジェンダ
• データセンタで起きた技術革新
• ネットワークのオープン化
– オープンネットワーキングの黎明期
– Open Compute Project
– Telecom Infra Project
• NTTグループの取り組み
• 今後の取り組み

15. Whitebox Packet Transponder
NTTグループの取り組み
• NTTのコア技術であるOSS技術とデジタルコヒーレント技術を強みに、業界のトップベン
ダやFacebook等と連携
• 既存キャリアコア網でなく、Cloud運用者の多いデータセンタ間通信（DCI）への導入を
想定してニーズ・方針を整理し、従来のアーキテクチャを抜本的に見直し
• オープンなAPIを定義してハードとソフトを分離、新規パートナ参加・OSS導入を推進
ニーズ 方針
低価格
ベンダロックイン
回避
OSS利用
短い製品サイクル
への対応
マルチベンダ対応
シンプルな運用
オープンハード
ウェアの活用
OTNなし
イーサのみ
ハードソフト分離
Linuxベース
モジュラー構成
独自仕様隠蔽
Open Transport and TAI
分散・偏波変動の補償、
誤り訂正、多値変調
ライブラリ
起動時には数百に及ぶ
レジスタアクセスが発生
Coherent
DSP
SONiC,ONL, Docker等のOSS
をベースとしたオープンNOS
Transport
Manager
Coherent DSP
世界初のトランスポンダ
コンポーネントの標準IF
15

16. 参考：データセンタ間通信の興隆
• クラウドサービスの拡大に伴い、データセンタ間をダークファイバで接続する
データセンタ間通信の需要が高まっている
➢ ＷＤＭ伝送におけるＤＣＩの割合は急速に増加、２０２３年には４割に達
する見通し
16
[$m}
-
2,000
4,000
6,000
8,000
10,000
12,000
14,000
16,000
18,000
20,000
2015 2016 2017 2018 2019 2020 2021 2022 2023
DCI application
Other WDM applications
31%
40%
CAGR
=12%
CAGR
=3%
全ＷＤＭ伝送におけるＤＣＩの割合（Ovum）
Source: OVUM

17. 17
Whitebox Packet Transponder “Cassini”
AS8700-24X
Coherent
Optical Module
Coherent
Optical Module
Tomahawk+
AS7716-24XC
Coherent
Optical module
Coherent
Optical Module
QSFP28 port
• Broadcom Tomahawk+ ASIC (3.2T
throughput)
• 冗長化ファン 60mm (3+1)
• 冗長化電源 (1+1 PSU)
CFP2-ACO
200G Coherent DSP
(ExaSPEED 200)Champion one,
Finisar, FOC,
Lumentum,
Oclaro, etc.
• 16x100Gbit/s QSFP28ポートと8x200Gbit/sのコヒーレント光モジュール、初
期バージョンは最大８ポートまでのモジュラーデザインにNTT Electronics
ExaSPEED 200 コヒーレントDSPを採用
• 1.5RU 19” ラック搭載可能
写真：Edgecore社提供

18. 18
「オープントランスポート」のためのアーキテクチャ
Open Transport
Manager
Realtime OS
Transport Chassis
: ベンダー独自
Line
card
Card API
Open H/WFPGA FPGA
DSP DSP
Switch
ASIC
X86
Open Kernel
Switch SDK Transport SDK
SAI TAI
Open Switch
Manager
Transport Manager
SDN
Controller
: オープンS/W H/W
North API North API
South API
Netconf/Yang
Open
Controller
Any
Missing parts
South API
• OSSをサポート: サーバベースのアーキテクチャ、
コンテナオーケストレーションのようなアプリを
用いて柔軟な実装を可能に
• オープントランスポート API: デバイスへのアク
セスを可能に
Conventional Transponder Whitebox Packet Transponder
(Line side)

19. 19
Transponder Abstraction Interface
• NTTはホワイトボックスパケットトランスポンダのハードとソフトを分離するため、
グローバルパートナと協力しTransponder Abstraction Interface (TAI)を推進
Libtai.so
(for vendor A)
Libtai.so
(for vendor B gen1)
Libtai.so
(for vendor B gen2)
TAI Open interface on Github
provided by each vendor
✓ フォームファクタの違いや複雑さを隠蔽
✓ モジュールのマルチベンダ対応
✓ メジャーなNOSが採用
✓ 開発コスト削減
✓ ベンダ独自オプション可
• TAIは、ベンダが独自機能を実装できる余地を残しつつ、ベンダ間に残る開発の冗長
性を取り除く

20. 20
モジュールマルチベンダ
• GoldstoneとTAIをCassiniに実装し、TIP summit 2018, OFC 2019にて、世
界初のACO/DCOモジュールのマルチベンダデモを実施

21. 21
参考：TIP summit 2019 相互接続デモ
NOS Goldstone
(OSS)
NOS-F
(Fujitsu)
OcNOS
(IPinfusion)
Hardware Galileo
(Wistron)
Cassini
(Edgecore)
Cassini
(Edgecore)

22. 22
Goldstone Open NOS（開発中）
• NELが2019年11月にTIPにコントリビュート
• SAI, SONiC, ONL等のOSSを活用した、Whitebox Packet Transponderを制御
するためのオープンなNOS
• コンテナ・アーキテクチャを採用
• CassiniとGoldstoneの組み合わせで、mixiが2019年8月より商用利用開始

23. 23
非圧縮映像伝送実験
• PTPをほぼ精度を劣化させることなく4K非圧縮映像を伝送可能であることを確認
• 編集前の素材映像を放送局等に伝送するリモートプロダクションへの適用が可能で
あることが確認できた

24. 24
Whitebox Packet Transponder “Galileo”
• サーバODM大手のWiwynnの親会社であるWistronがネットワーク分野に
参入
• Cassiniより少し小さい容量のWhiteboxをデザインし、TIPにコントリ
ビュート
• BMCを搭載し、よりサーバに近いデザインに仕上がっている
• 今後業界内で価格競争が進む見通し
写真：Wistron社提供

25. 25
本日のアジェンダ
• データセンタで起きた技術革新
• ネットワークのオープン化
– オープンネットワーキングの黎明期
– Open Compute Project
– Telecom Infra Project
• NTTグループの取り組み
• 今後の取り組み

26. 26
Open Transportによるイノベーション
• DSPのモニタ機能、Whitebox Packet TransponderのX86プロセッサ、
LinuxベースのプラットフォームとGNPy設計ツールを活用し、新たな価値
を創出
➢ Whitebox化によるCAPEX削減だけでなく、自動化によるOPEX削減

27. まとめ
• データセンタ内で発展した仮想化技術は、効率化によるコスト
削減だけでなく、インフラ構築の俊敏性・柔軟性向上に貢献
• 仮想化やソフト分離の手法はネットワークの転送領域や光伝送
領域にも広がり、OCP・TIPを通してエコシステムが形成されて
きている
• NTTはOSS技術とデジタルコヒーレントを強みとして、TIPに対
して光伝送装置のハードとソフトを分離するオープンIF”TAI”とそ
のアーキテクチャを提案し、グローバルパートナーと共に実装
を進めている
• 今後は、Open Transportを推進して運用自動化によるOPEX削減
を実証し、国内・国外オペレータと協力して検証を進めていく
27