Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Internetトラフィックエンジニアリングの現実

2,484 views

Published on

Tech July Festa 2017

Published in: Technology

Internetトラフィックエンジニアリングの現実

  1. 1. © J-Stream Inc. All Rights Reserved. 2017年8月27日 鍋島公章 株式会社Jストリーム Internetトラフィック エンジニアリングの現実 July Tech Festa 2017@産業技術大学院大学
  2. 2. 2© J-Stream Inc. All Rights Reserved. はじめに  本資料の目的  トラフィックエンジニアリングの説明  大規模配信側視点  BGPではなくCDN  マネージャ視点  技術詳細ではなく、社会的背景、技術概要、効果
  3. 3. 3© J-Stream Inc. All Rights Reserved. エンジニアリング  サイエンスとエンジニアリング サイエンス エンジニアリング 目的 真理の探究 人類の幸福 アウトプット 論文 ビジネス 大学 理学部 工学部 キャッチフレーズ It’s beautiful (体系・数式の美しさ) It works (動いてなんぼ) イメージ 洗練 泥臭さ
  4. 4. 4© J-Stream Inc. All Rights Reserved. Internetトラフィックエンジニアリング 速度制御 ・シェーピング ・ペーシング 透過型プロキシー ・コンテンツ変換 複製(網側) ・TCP Proxy 経路制御 ・BGP CDN ・リクエストルーティング ・コンテンツ複製(サーバ側) 広義:IPネットワーク運用における パフォーマンス評価と最適化 狭義:(大量の)Internetトラフィックを 上手くコントロール(経路制御)すること 優先処理 ・VoLTE グローバルDC ・エニキャスト 今日のお話
  5. 5. 5© J-Stream Inc. All Rights Reserved. Internetトラフィックエンジニアリング  関連 閉域網(VPN):MPLS TE 交通(土木工学):交通制御 (Traffic Engineering) RFC 2702 Requirements for Traffic Engineering Over MPLS RFC 3346 Applicability Statement for Traffic Engineering with MPLS
  6. 6. 6© J-Stream Inc. All Rights Reserved. Internetトラフィック管理の難しさ  Internet  ネットワークを相互接続させたネッ トワーク(分散協調ネットワーク)  ピアリング、トランジット  Internetトラフィック  複数の事業者・ネットワークを通過  配信、DC、IX、トランジット、ISP  トラフィック取引  トラフィック=お金
  7. 7. 7© J-Stream Inc. All Rights Reserved. ネットワークの中立性問題(コスト負担問題)  誰がInternetのコストを負担するか?  ユーザ(ISP)とサーバ(OTT)のパワーゲーム(費用の押し付け合い) による全体最適化  パワーゲーム=ユーザを人質としたチキンゲーム  例:OTTとISP間の回線容量が足りない  OTT→ISP:このままだとISPユーザ減るよ!  ISP→OTT:このままだとOTTユーザ減るよ! Internet 配信費用ネット利用料
  8. 8. 8© J-Stream Inc. All Rights Reserved. 米国事例  2010~2014年(自社CDN以前)  巨人2社  VoD:Netflix (2014末:約4,000万加入(2016末約5,100万加入) )  ブロードバンド接続:Comcat(2014末約2,200万加入(2016末約2,400万加入))  両社間の接続  対等(無料ピアリング)  Netflixトラフィック増加とともに接続性が悪化(2013年10月ごろ)  Comcastがピアリングの有料化をNetflixに要求  Netflixが配信料をComcastに支払うことで合意(2014年2月)
  9. 9. 9© J-Stream Inc. All Rights Reserved. コスト負担問題  現状とトレンド  国内固定網:だいたいバランス?  消費者ISP市場規模:数千億円※1  配信市場規模:数千億円※2  国内モバイル網:ユーザがInternetを維持  データ通信市場規模:数兆円  配信市場規模:数千億円  ゼロレーティング  モバイルネット利用料を配信側が負担 Internet 配信費用ネット利用料 ※1:足回り(光ファイバ)含めると2兆円弱 ※2:配信市場規模:DC等回線+CDN (CDN単体市場は数百億程度)
  10. 10. 10© J-Stream Inc. All Rights Reserved. トランジット  トランジット( ):Internet全体への接続性を購入 国際(Tire1)ISP 日本(大手) 海外 ISP 国際(アジア等) 日本(地方)
  11. 11. 11© J-Stream Inc. All Rights Reserved. ピアリング  ピアリング( ):ISP間の相互トラフィック交換 プライベート・ピア (直接接続) パブリック・ピア (IX経由) ISP ISP ISP ISP IX 費用折半 ISPDC ペイド (Paid) IX ISPDC トラフィックはIX経由 費用は直接支払 主にDCとISP間
  12. 12. 12© J-Stream Inc. All Rights Reserved. トラフィック取引(マネーフロー)  概要 国際(Tire1) 国際(アジア等) 国内(全国) 国内(地方) IX ユーザのみ DCのみユーザ+DC ローカルISP・DC ピアリング トランジット グローバルDC (Google等)
  13. 13. 13© J-Stream Inc. All Rights Reserved. グローバルDC  特徴  自社だけで全世界をカバー  だれとでも無料ピアリング(トランジット販売無し)  技術  エニキャスト:網内に同一IPサーバを複数配置  コールドポテト:できるだけユーザに近い所からトラフィックを出す ISP ISP 8.8.8.8 8.8.8.8 ISP コールドポテト ホットポテト
  14. 14. 14© J-Stream Inc. All Rights Reserved. インタラクティブ通信のエンジニアリング  ローバルDC:コールドポテト  最大限、グローバルDCの国際ネットワークを使う  品質管理が容易(一般に高品質)  ホップ(中継ルータ)数が減る(レイテンシ向上)  CDN:CDNサーバ間の特殊処理  CDN専用バックボーン  専用(わがまま:公平性無視)プロトコル オリジンサーバCDNサーバ CDNサーバ TCP TCP 特殊プロトコル CDN専用バックボーン
  15. 15. 15© J-Stream Inc. All Rights Reserved. BGP  BGP基本 1、それぞれのネットワークが経路情報(+ポリシー)を外部に広報  受け取りたい:経路広報  受け取りたくない:PATHプリペンド(ダミーパス追加) 2、それぞれは(1が正しいと信じて)経路テーブルを作成 経路情報 経路情報 経路情報 経路情報 経路情報 経路情報 経路情報 経路情報 経路 テーブル 経路 テーブル 経路 テーブル 経路 テーブル
  16. 16. 16© J-Stream Inc. All Rights Reserved. BGPの特徴  BGP  受信トラフィック  Internet全体に対しある程度のコントロールが可能  ポリシーは伝播される  受信ポリシーの広報  分散協調システムにおける「ある1つのネットワークの希望する経路」  送信側がそのポリシーを遵守しない場合もある  送信トラフィック  Internet全体に対するコントロールはできない  ポリシーの伝播なし  送信ポリシーは自ネットワークの出口制御まで、その先の制御は、その先のネッ トワークにお願い
  17. 17. 17© J-Stream Inc. All Rights Reserved. 配信事業者の視点  BGPトラフィックエンジニアリング  できること  出来るだけ多くのISPとピアリング(一般なコスト:トランジット>ピアリング)  (配信事業者に)安いトランジットISPを上手く使う  送信トラフィックの制御は難しい  まだまだ頑張りたい  配信コストの9割以上を占める回線費用を圧縮  配信コストの内訳  サーバ費用:回線・ルータ費用=1:10~  CDN技術の積極活用  アグレッシブな送信制御
  18. 18. 18© J-Stream Inc. All Rights Reserved. CDN基本  特徴  地理分散された多数の配信サーバ  リクエストナビゲーション(GSLB、GTM)  トラフィックエンジニアリング  ユーザの近くにサーバ配置  回線を出来るだけ使わない  配信の柔軟性  いろいろな場所かから いろいろなパターンで配信
  19. 19. 19© J-Stream Inc. All Rights Reserved. CDN運用  運用テクニック※  Tire1 ISPからの配信  ISP無償コロケーション  配信拠点のオークション調達  海外からの配信  活用テクニック  巨大キャリアのCDN活用 ※注意点 一般論であり、現在は通用しないテクニックも含む
  20. 20. 20© J-Stream Inc. All Rights Reserved. CDN運用:運用テクニック  Tire1 ISPに配信サーバを(格安で)置く  Tire 1 ISPは、そのトラフィックを国際トランジットとして販売 Tire 1 (国際)ISP 日本国内 ローカルISP 海外
  21. 21. 21© J-Stream Inc. All Rights Reserved. CDN運用:運用テクニック  ISP無償コロケーション  ローカルISPに無償でサーバを置いてもらう  ローカルISPにとっては上位ISPへの回線負担が減る  無償で置かせたサーバから近傍のISPに配信する Tire 1 (国際)ISP 日本国内 ローカルISP
  22. 22. 22© J-Stream Inc. All Rights Reserved. CDN運用:運用テクニック  配信拠点のオークション調達  CDNでは配信拠点の移設が容易  CDN=安価で使える網構成を追い続けるための技術 100円/Mbps 200円/Mbps 300円/Mbps (オープン) 入札
  23. 23. 23© J-Stream Inc. All Rights Reserved. 海外 CDN運用:運用テクニック  海外から配信する  配信費用:1/10程度  動画:数Mbps程度なら問題なし(バッファリング)  マルチCDN:パフォーマンスが落ちたら国内から配信  バッチ系ダウンロード:非インタラクティブ Tire 1 (国際)ISP 日本国内
  24. 24. 24© J-Stream Inc. All Rights Reserved. CDN活用:巨大キャリアのCDNコントロール  国内ISP  CDNサーバは、国内ISPではなく、国際ISPに置かせる  国際ISP  ①CDNサーバから配信料を徴収  ②CDNが配信したトラフィックを他のISPにトランジットとして販売  巨大キャリア  ③そのCDNの有力代理店 国際ISP日本国内 国内ISP ISPs ISPs 巨大キャリア ・国内ISP(AS)と国際ISP(AS)を持つ通信キャリア 一粒で3度美味しい
  25. 25. 25© J-Stream Inc. All Rights Reserved. CDN利用方法  OTT事業者のCDN利用形態  単独CDNから、マルチCDN、自社CDNへの移行が進む 出典:OTT Video Services (2017) http://www.streamingmedia.com/Research/7064-OTT-VIDEO-SERVICES-INNOVATION- OPPORTUNITY-MATURATION--TECHNOLOGY-TRENDS-IN-OTT-DELIVERY.htm 利用形態 OTT事業者数 単独(汎用)CDN 30% マルチ(汎用)CDN 48% 自社CDN 22%
  26. 26. 26© J-Stream Inc. All Rights Reserved. マルチCDN  複数のCDNを使ったトラフィックエンジニアリング ユースケース 概要 ラウンドロビン 一定比率で複数のCDNを利用 国別切替 国別に使用するCDNを選択 ベストパフォーマンス 地域別、時間別で最速のCDNを利用 バックアップ プライマリCDNがダウンした時にバックアップCDNを利用 オーバーフロー プライマリCDNの利用量が一定以上になった時、セカンダ リCDNのみを利用 バースト対応 (ハイブリッドCDN) オンプレミス設備or自社CDNの帯域を使い切った時、汎 用CDNを追加利用 最小コスト 一定条件(最低速度)の元で最小コストのCDNを利用
  27. 27. 27© J-Stream Inc. All Rights Reserved. 自社専用CDNの普及(北米、2016年下期)  ハイパージャイアントは自社専用CDNを構築、運用  固定網: 56.94% (マルチCDN利用も含むと61.74%)  モバイル網: 24.59% (マルチCDN利用も含むと41.58%)  背景  配信トラフィック 自社トラフィック > 汎用CDN 固定:56.94% モバイル:24.59% Netflix 35.15 % Youtube 20.87 % Youtube 17.53 % Facebook 13.97 % Amazon Video 4.26 % HTTP - Other 9.36 % HTTP - Other 4.19 % SSL - Other 6.85 % iTunes 2.91 % Instagram 6.66 % Hulu 2.68 % Snapchat 5.17 % SSL - Other 2.53 % Netflix 3.72 % Xbox One 2.18 % iTunes 3.02 % Facebook 1.89 % Google Cloud 2.87 % BitTorrent 1.73 % MPEG - Other 2.37 % サービス別トラフィック出典:Sandvine Global Internet Phenomena https://www.sandvine.com/trends/global-internet-phenomena/
  28. 28. 28© J-Stream Inc. All Rights Reserved. 自社専用CDN  2010年ごろまで  ハイパージャイアントも汎用CDNサービス(Akamai等)を使用  汎用CDNがInternetを支配(半分程度のトラフィックを配信)  2017年現在  Internetのビデオ化が顕著(トラフィックの7割以上はビデオ)  一部OTTがビデオマーケットを寡占  有料VoD:Netflix  無料VoD:Youtube  自社専用CDNへ切り替え  自社専用CDNがInternetを支配(半分以上のトラフィックを配信)
  29. 29. 29© J-Stream Inc. All Rights Reserved. 自社専用CDN背景  背景・メリット・デメリット 大項目 補足 背景 CDNサーバの低廉化 ・オープンソースHTTPサーバソフトウェア の成熟(Cacheモード) 動画のHTTP化 ・オープンソースHTTPサーバが利用可能 メリット 柔軟・詳細・シンプルな 運用 ・共用運用の煩雑さ無し ・設定コンソール不要 ・コンフィグ直設定による詳細設定 ・消費者行動分析による複製管理 デメリット 規模が必要
  30. 30. 30© J-Stream Inc. All Rights Reserved. 複製管理のトレンド  CDNトレンド:単純配信から全体管理へ  背景  自社専用CDNの普及  汎用CDN  設備が余る⇒大幅ディスカウント(Akamaiでもメディア配信は減収減益)  配信のみでは儲からない⇒サービス全体の受託を目指す  垂直統合(CDN+OVP(Online Video Platform)+顧客DB)  配信管理+コンテンツ管理+ユーザ管理  複製はハイブリッド(ミラー+キャッシュ)利用  予測可能な人気コンテンツ:ミラー  コンテンツの属性分析、ユーザ行動分析  その他(ロングテール):キャッシュ
  31. 31. 31© J-Stream Inc. All Rights Reserved. CDNによるInternetの単純化  CDN配信サーバのスペック  配信キャパ:1台で数十Gbps  SSDとメモリの塊←高価  配信サーバの配置  一定規模以上のISPのみ  中小ISPは切り捨て
  32. 32. 32© J-Stream Inc. All Rights Reserved. ネットワーク構造の今後  CDN/OTTを中心とした、シンプルなネットワーク構造  CDNサーバを置いてもらえないISPは大手に吸収される
  33. 33. 33© J-Stream Inc. All Rights Reserved. おわりに  Internetトラフィックエンジニアリング  パワーゲームの武器  Internetトラフィックエンジニアリングのトレンド  BGP→汎用CDN→マルチCDN→自社CDN  Internetの今後  メディア配信プラットフォームへ  双方向通信はおまけ  パワーゲームによる単純化、集約  基本構造の変化  より高度な配信・複製管理  ユーザの行動分析(ビッグデータ解析)
  34. 34. 34© J-Stream Inc. All Rights Reserved. 参考文献その他  講演サポートページ  https://tech.jstream.jp/blog/meeting/jtf2017_te/

×