© J-Stream Inc. All Rights Reserved.
2017年11月9日
鍋島公章
株式会社Jストリーム
CDNのトラフィック
エンジニアリング
～CDNの現状とSDNの可能性～
第 42 回インターネット技術第 163 委員会研究会

2© J-Stream Inc. All Rights Reserved.
自己紹介
 鍋島 公章（なべしま まさあき）
 株式会社Jストリーム＋個人コンサルティング
 略歴
 1992年：NTT入社、Internet関連の研究開発を開始
 1995年：NTT研究所＠シリコンバレーでCDN関連研究を開始
 Internet 2、APAN
 2000年：NTT退社、さまざまな配信関連サービスに関わる
 ビデオチャット～映画本編、固定網～モバイル網
 2015年：(株)Jストリームで国産CDN(CDNext)を開始
 サービス企画

3© J-Stream Inc. All Rights Reserved.
はじめに：CDNの現在
 Internetトラフィックの8割程度はCDN技術により配信
 一般CDN(Akamai、Cloudfront、Cloudflare…):2割程度
 自社CDN(巨大OTT：Netflix、Youtube):6割
 自社CDNによる配信(北米2016下期)
 固定網： 56.94%
(マルチCDN利用も含むと61.74%）
 モバイル網： 24.59%
(マルチCDN利用も含むと41.58%）
固定:56.94% モバイル:24.59%
Netflix 35.15 % Youtube 20.87 %
Youtube 17.53 % Facebook 13.97 %
Amazon Video 4.26 % HTTP - Other 9.36 %
HTTP - Other 4.19 % SSL - Other 6.85 %
iTunes 2.91 % Instagram 6.66 %
Hulu 2.68 % Snapchat 5.17 %
SSL - Other 2.53 % Netflix 3.72 %
Xbox One 2.18 % iTunes 3.02 %
Facebook 1.89 % Google Cloud 2.87 %
BitTorrent 1.73 % MPEG - Other 2.37 %
北米サービス別トラフィック出典：Sandvine Global Internet Phenomena
https://www.sandvine.com/trends/global-internet-phenomena/

4© J-Stream Inc. All Rights Reserved.
はじめに：InternetとCDN
 2016現在のInternetは、CDNとその接続(Feeder)ネットワー
クであり、偏在的なEnd to Endネットワークではない
 Geoff Huston @ APNIC チーフサイエンティスト
 Desperately Seeking Default
 End to End通信は「ほころび」つつある？
 ISPの対応
 対CDN通信は厳重管理
 マイナーなEnd to End通信障害は放置
 理由
 経路増加
 メディアおよびSNSの重要性が拡大

5© J-Stream Inc. All Rights Reserved.
はじめに：CDNによるInternetの単純化
 CDN配信サーバのスペック
 配信キャパシティ：1台で数十～100Gbps
 SSDとメモリの塊←高価
 配信サーバの配置
 一定規模以上のISPのみ
 中小ISPは切り捨て

6© J-Stream Inc. All Rights Reserved.
はじめに：Internetの今後
 CDNを中心としたシンプルなネットワーク構造に
 CDNサーバを置いてもらえないISPは大手に吸収される
 BGPでコントロールされるトラフィックはさらに減少、
AS内CDNサーバからユーザへの直接配信率がより高まる

7© J-Stream Inc. All Rights Reserved.
はじめに：CDNビジネス
 セグメント別状況
セグメント 市場状況 ビジネス状況
大規模
配信
強烈な価格
競争
原価割れ（総合的サー
ビス提供で収支合わせ)
中小規模
配信
裾野の拡大
適切な利益(新規ユーザ
開拓は大変)
セキュリティ
(WAF、DDoS)
売り手市場 ドル箱
206 197 188 196 187 179 183
316 327 345
367 369 376 381
81 87 95 102 110 115 121
0
50
100
150
200
250
300
350
400
450
Media Delivery Performance and Security
Cloud Security
Akamai社ソリューション別売上げ

8© J-Stream Inc. All Rights Reserved.
配信者視点の経路制御
 好ましい場所から、好ましい回線でコンテンツを配信したい
 安い、早い、空いている、安定している
 AS間の経路制御/レイヤー3：ダメ、使えない！
 BGP（基本：受信ポリシーの伝播）
 配信ポリシーの実現：BGPでは考慮されない
 ソースルーティング(配信側が経由するポイントを任意に指定）
 セキュリティ上危険ということで無効化

9© J-Stream Inc. All Rights Reserved.
背景：BGPの基本
 経路テーブル(受信ポリシーの集大成)
１、それぞれのネットワークが経路情報（＋ポリシー）を外部に広報
 受け取りたい：経路広報
 受け取りたくない：PATHプリペンド（ダミーパス追加）
２、それぞれは（1が正しいと信じて）経路テーブルを作成
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路
テーブル
経路
テーブル
経路
テーブル
経路
テーブル

10© J-Stream Inc. All Rights Reserved.
背景：BGPの特徴
 受信トラフィック
 Internet全体に対するある程度のコントロールが可能
 ポリシーは伝播される
 受信ポリシーの広報
 分散協調システムにおける「ある1つのネットワークの希望する経路」
 送信側がそのポリシーを遵守しない場合もある
 送信トラフィック
 Internet全体に対するコントロールはできない
 ポリシーの伝播なし
 送信ポリシーは自ネットワークの出口制御まで、その先の制御は、そ
の先のネットワークにお願い(契約、人間関係)

11© J-Stream Inc. All Rights Reserved.
背景：グローバルDC(ハイパージャイアントAS）
 ハイパージャイアントとコードネーム
 Google: Espresso
 Facebook: Edge Fabric
 特徴
 自社だけで全世界をカバー
 だれとでも無料ピアリング（トランジット販売無し）
 歴史
 1990年代後半：AboveNetが開始
 世界中で接続性のよいASを持つデータセンター
 AboveNet自体は、ドットコムバブル崩壊とともに一度破綻(2002)

12© J-Stream Inc. All Rights Reserved.
背景：グローバルDC(ハイパージャイアントAS）
 技術
 エニキャスト：網内に同一IPサーバを複数配置
 障害対応：難しい
 コールドポテト：できるだけユーザに近い所からトラフィックを出す
 最適処理：難しい
 網内の高度な制御：SDN、NFV
ISP ISP
8.8.8.8 8.8.8.8
ISP
コールドポテト
ホットポテト

13© J-Stream Inc. All Rights Reserved.
背景：グローバルDC(ハイパージャイアントAS）
 技術
 エニキャスト：網内に同一IPサーバを複数配置
 コールドポテト：できるだけユーザに近い所からトラフィックを出す
 網内の高度な制御：SDN、NFV
ISP ISP
8.8.8.8 8.8.8.8
ISP
コールドポテト
ホットポテト
エニキャストの
サーバ障害例
(Cedexis Availability)

14© J-Stream Inc. All Rights Reserved.
背景：BGPトラブル例
 トラブル例 巨大ISPの系列国際ISP
日本国内
巨大ISP
(回線高い)
ISP
J-Stream
国内経路のみ購入
(安いアジア系)国際ISP
フル経路
下り：不安定！上り：OK
①返りはなぜか国際へ
②国内経路なしのため
このパスからは返らず
③最終的に国際ISP
経由で返る

15© J-Stream Inc. All Rights Reserved.
背景：ソースルーティング概要
 中継ポイント(ルータIP)の指定
 指定
 IPヘッダ
 種類
 LSRR (Loose Source and Recorded Route)：中継ポイントのみ指定
 SSRR (Strict Source and Recorded Route)：完全な経路を指定
中継ポイント
中継ポイント

16© J-Stream Inc. All Rights Reserved.
背景：ソースルーティング課題
 実際には使えない：
 セキュリティ問題
 ファイアウォール回避
 IPスプーフィング
 Internetの課題
 受信ポリシーの集大成で手一杯
 自由な送信ポリシーの実現→Internet破綻
 一方、CDN事業者(自社CDN含む)は送信ポリシーを実現
 CDNは、Internetの支配者と言われる（もう一つの）ゆえん

17© J-Stream Inc. All Rights Reserved.
CDN:配信ポリシーの実現技術
 CDN：配信サーバ群の最適地理分散
 多数の配信サーバ
 リクエストナビゲーション（GSLB、GTM)
 「ユーザからのリクエストを最適なサーバに届ける」＝
「任意のポイントから任意のユーザにトラフィックを流し込む」

18© J-Stream Inc. All Rights Reserved.
配信者視点のパワーゲーム
 配信費用パワーゲームにおける強力なツール
 配信コストの95%以上を占める回線費用をISPに押し付ける
 テクニック
 CDNの運用テクニック
 Tire1 ISPからの配信
 ISP無償コロケーション
 配信拠点のオークション調達
 海外からの配信
 巨大キャリアのCDN活用
 CDNから3回の売上げ
Internet
回線費用ネット利用料

19© J-Stream Inc. All Rights Reserved.
CDN運用：運用テクニック
 Tire1 ISPに配信サーバを(格安で）置く
 Tire 1 ISPは、そのトラフィックを国際トランジットとして販売
Tire 1 （国際）ISP
日本国内
ローカルISP
海外

20© J-Stream Inc. All Rights Reserved.
CDN運用：運用テクニック
 ISP無償コロケーション
 ローカルISPに無償でサーバを置いてもらう
 ローカルISPにとっては上位ISPへの回線負担が減る
 無償で置かせたサーバから近傍のISPに配信する
Tire 1 （国際）ISP
日本国内
ローカルISP

21© J-Stream Inc. All Rights Reserved.
CDN運用：運用テクニック
 配信拠点のオークション調達
 CDNでは配信拠点の移設が容易
 CDN＝安価で使える網構成を追い続けるための技術
100円/Mbps 200円/Mbps 300円/Mbps
(オープン)
入札

22© J-Stream Inc. All Rights Reserved.
海外
CDN運用：運用テクニック
 海外から配信する
 配信費用：1/10程度
 動画：数Mbps程度なら問題なし（バッファリング）
 マルチCDN：パフォーマンスが落ちたら国内から配信
 バッチ系ダウンロード：非インタラクティブ
Tire 1 （国際）ISP
日本国内

23© J-Stream Inc. All Rights Reserved.
CDN運用：巨大キャリアのCDNコントロール
 国内ISP
 CDNサーバは、国内ISPではなく、国際ISPに置かせる
 国際ISP
 ①CDNサーバから配信料を徴収
 ②CDNが配信したトラフィックを他のISPにトランジットとして販売
 巨大キャリア
 ③そのCDNの有力代理店
国際ISP日本国内
国内ISP
ISPs
ISPs
巨大キャリア
・国内ISP(AS)と国際ISP(AS)を持つ通信キャリア
CDNで3度売上げる

24© J-Stream Inc. All Rights Reserved.
CDN利用：マルチCDN
 OTT事業者のCDN利用形態
 単独CDNから、マルチCDN、自社CDNへの移行が進む
出典：OTT Video Services (2017)
http://www.streamingmedia.com/Research/7064-OTT-VIDEO-SERVICES-INNOVATION-
OPPORTUNITY-MATURATION--TECHNOLOGY-TRENDS-IN-OTT-DELIVERY.htm
利用形態 OTT事業者数
単独(汎用)CDN 30%
マルチ(汎用)CDN 48%
自社CDN 22%

25© J-Stream Inc. All Rights Reserved.
CDN利用：マルチCDN
 複数のCDNを使ったトラフィックエンジニアリング
ユースケース 概要
ラウンドロビン 一定比率で複数のCDNを利用
国別切替 国別に使用するCDNを選択
ベストパフォーマンス 地域別、時間別で最速のCDNを利用
バックアップ プライマリCDNがダウンした時にバックアップCDNを利用
オーバーフロー
プライマリCDNの利用量が一定以上になった時、セカンダ
リCDNのみを利用
バースト対応
(ハイブリッドCDN)
オンプレミス設備or自社CDNの帯域を使い切った時、汎
用CDNを追加利用
最小コスト 一定条件(最低速度)の元で最小コストのCDNを利用

26© J-Stream Inc. All Rights Reserved.
CDNにおけるSDNの可能性
 Internet用のクラッシックなCDN
 SDNは使えない
 もともとInternetの経路制御は送信ポリシーを実現できない
 NFVも避けたい
 CDNサーバはパフォーマンスが命、仮想化は避けたい
 GSLBのNFVはあり
 CDN新領域
 いくつかのシーンでSDNとNFVが有望
 自社網

27© J-Stream Inc. All Rights Reserved.
CDN新領域
新領域 マーケット 技術
自社CDN
ハイパージャイアント
(超大規模配信)
ビックデータ解析
(ユーザ行動解析
コンテンツ解析)
クライアント制御CDN ビデオ
マルチCDN
P2P CDN
リアルタイム通信CDN
セキュリティ
インタラクティブ
特殊プロトコル
専用バックボーン
SDN
NFV
閉域網CDN
エンタープライズ
Wifiホットスポット
モバイル網
SDN
NFV

28© J-Stream Inc. All Rights Reserved.
リアルタイム通信CDN
 特徴
 キャッシュ不可能なコンテンツもCDN経由で配信
 背景
 全トラフィックをCDNが防御(セキュリティCDN)
 WAF、DDoS対策
 配信サーバ間専用プロトコル、専用バックボーンによる高速化
 素のInternet経由で流すよりも、CDN経由のほうがジッタ少なく、レイテンシ低い
 専用バックボーン
 内部の経路制御：SDNによる細かな制御
 付加機能：NFVによる運用

29© J-Stream Inc. All Rights Reserved.
閉域網CDN
 特徴
 CDNによる自社網内の最適配信
 マーケット
 エンタープライズ：社長スピーチ
 ホットスポット：オリンピック、IPサイマル、スマートスタジアム・シティ、インバウンド
マーケティング
 モバイル網：基地局(モバイルエッジ)コンピューティング
 背景
 自社網内のトラフィック増加
 ビデオ、IoT
 網管理の高度化
 SDN、NFV、SD-WAN

30© J-Stream Inc. All Rights Reserved.
Enterprise-CDN
 基本機能
 配信、ユーザ管理、コンテンツ管理、視聴管理、セキュリティ管理
出典：Kollective SD ECDN

31© J-Stream Inc. All Rights Reserved.
Smart Stadium
 基本機能
 高密度Wifi、IPマルチキャスト放送、マルチアングル、センサー群、
CCTV、映像認識、リアルタイム・ビッグデータ解析

32© J-Stream Inc. All Rights Reserved.
Mobile Edge Computing
 基本機能
 低レイテンシ通信、高帯域、場所依存、リアルタイム・コンピューティン
グ、網状況の即時判断

33© J-Stream Inc. All Rights Reserved.
まとめ
 CDNの位置づけ
 配信ポリシーの実現技術
 新時代(集中管理)Internetの中心技術
 CDNのトレンド
 閉域網CDNへのニーズ拡大
 エンタープライズ、Wifiホットスポット、Mobile網
 SDN、NFV、SD-WANの活用
 土管制御から高度(コンテンツ・ユーザAware)制御
 クライアント(プレイヤー)側の高度制御
 動画向けマルチCDN

34© J-Stream Inc. All Rights Reserved.
参考文献および連絡先
 講演サポートページ
 https://tech.jstream.jp/blog/meeting/itrc42/