イベントトラフィックに対するトラフィックエンジニアリング

CDN配信の仕組みと国内における配備状況

JANOG33 in Beppu
NTT コミュニケーションズ株式会社
先端IPアーキテクチャセンタ
亀井聡 <skame@nttv6.jp...
自己紹介
〜2012.06 @ NTT 研究所
品質とかトラヒックとか
2012.07〜 @ NTT コミュニケーションズ
インターネット計測と分析(BigData?)
JANOG13 「広がるP2Pサービスとインターネットインフ
ラへの影響」...
土屋さんの疑問に答える
何でCDN以外からトラフィックが来るの?
フローレベルだとトランジット系ISP内のキャッシュから流れて
来ることがあります.

マルチCDN?
冗長性確保のためか,最近増えてるようです.
自社CDNとAkamai等を組み...
発表概要
Internet での経路制御

Internet におけるコンテンツ配信
Contents Delivery Network
Internet 上での観測による現状
ISPオペレーションにおける課題
まとめ

4
5

INTENRNETでの経路制御
6

Internetでの経路制御
AS(Autonomous System)とBGP(Border Gateway Protocol)
運用単位としてのAS
自律分散の単位
自分の中は見える
隣りへのリンクは見える
隣りまでは制御できる場合も...
7

Internetでの経路制御
ピアとトランジット
経路表のサイズとTier1
• 全部の経路を知っているのがTier1

ピアリングによる相互融通
• 上位に流すのはコストがかかるので

Tier 1 ISPs
IX

Tier 2 IS...
8

Internetでの経路制御
課金と負担,受益者
ISPユーザは何を買っているのか

回線代金とファシリティと接続料金
トランジット,ペイドピア

Tier1への課金を利用者間で割り勘「していた」
利用者から集めたお金で回線と接続に投資
9

INTENRNETにおけるコンテンツ配信
10

Internetにおけるコンテンツ配信
配信サーバと回線契約
コンテンツ配信の場合は何を買うのか
サーバと回線,接続料,ファシリティ「だった」

オンプレ,コロケ,レンタルサーバ,クラウド,……
オンプレだとAS取ってサーバ用意してトラ...
11

Internetにおけるコンテンツ配信
ハイパージャイアントの影響力の急上昇
HyperGiant

CDN
EyeBall
(アクセス
プロバイダ)

北米のバックボーントラヒックの
上位占有組織の変遷(Arbor調べ).

すべてT...
12

Internetにおけるコンテンツ配信
キャッシュ,CDN,ハイパージャイアント
安く仕入れて付加価値をつけて高く売る
スケールメリットとスケールアウト
接続料金が無料ピアやCDN自身によって支えられる.
• 原資はコンテンツホルダや,...
13

CONTENTS DELIVERY NETWORK
14

Contents Delivery Network
キャッシュの基本
ローカルに貯めて二度目はローカルから
オリジンに取りに行かない

10〜15年前
限られた帯域を効率的に使うためのキャッシュ.

〜5年前
海外トランジットが高価な国...
15

Contents Delivery Network
CDNは分散化されたリバースキャッシュ
品質要件を満たす中で安い回線を使う
空いてるサーバを使う(マルチテナントで大群化効果)
上位のトランジットAS
その他Akamai AS

どこ...
16

Contents Delivery Network
AkamaiとGoogle
Akamaiのエッジキャッシュの挙動
• あらかじめ設定したネットワークに対する応答を最寄りサーバに制
御.対象ISPでDNSを引かないとわからない.
Yo...
17

Contents Delivery Network
GGCとAURA AANP(Akamaiキャッシュ)
ISP内部にキャッシュを配置.管理はGoogle/Akamai.
このタイプのキャッシュは他ASにはトラフィックは吐かない.
上位...
18

INTERNETでの観測による状況
19

Internetでの観測による状況
HTTP上位におけるハイパージャイアントとCDN

Other
Google

EdgeCast
LimeLight
Akamai
20

Internetでの観測による状況
Akamaiトラフィックに何が含まれているのか
Apple
Windows Update
Symantec, Trendmicro
Playstation, Nexon

Macromedia, Su...
21

Internetでの観測による状況
フローでマクロに捉えればいいかといえば
非Akamai ASからの配信もあるので難しい.

Akamaiはどこから来るの?
その他Akamai AS
上位のトランジットAS

どこかの
トランジットA...
22

Internetでの観測による状況
Google/Akamaiローカルキャッシュノード(モニタ調査)
当該ASから吐かれるAkamaiコンテンツが存在するかどうか
2013

AS#

AKAMAI
○
○
○

GGC

2012

...
23

Internetでの観測による状況
国内でAkamaiコンテンツを吐いているAS(モニタ調査)
AS20940 Akamai International B.V.
AS4713 NTT Communications Corporatio...
24

Internetでの観測による状況
ここ3日ほどいくつかのISPで測定してみました.
apple-IP by ISPs
28

Internetでの観測による状況
/24の単位でも結構動いている
観測ISPにより挙動は異なる.
観測CPによっても挙動は異なる.
同じISPでもエリアによっても違う.
ASレベルではそれほどダイナミックな動きは見られない.
とはいえ...
29

ISPオペレーション上での課題
30

ISPオペレーション上での課題
BGP「だけ」じゃわからないことが増えている
上位ISPでも制御できないものが増えている
コンテンツまでは見れない(ことが多い)
混んでくるととんでもないところから来ることも
近いかどうかだけではなく,品...
31

まとめ
まとめ
経路やフローだけだと辛い昨今,CPやCDNの都合で曲が
るトラフィック.
設備増強方針に影響.たくさん打っても使ってもらえな
いと…….
マクロデータでいいのでなんとか事後提供いただけない
ですかねぇ
e.g.容量多目の数社分のトラフィ...
Upcoming SlideShare
Loading in …5
×

JANOG33 イベントトラフィックに対するトラフィックエンジニアリング / CDN配信の仕組みと国内における配備状況

1,610 views

Published on

イベントトラフィックに対するトラフィックエンジニアリング

http://www.janog.gr.jp/meeting/janog33/program/traffic.html

概要
iOS7が発表になり、インターネットでのトラフィック量にも変化が見られ、JANOG/NANOGでも通常時のトラフィック量との違いが盛んに報告されました。iOS7アップデート、Windowsアップデート、楽天スーパーセール、AKB48総選挙?などイベントによるトラフィックの変化を見ることで、トラフィックエンジニアリングやCDNなど施してる対策などを議論したいと思います。

発表者
土屋 師子生 (シスコシステムズ合同会社)
亀井 聡 (エヌ・ティ・ティ・コミュニケーションズ株式会社)
松下 太志 (九州通信ネットワーク株式会社)
岩崎 磨 (楽天株式会社)

Published in: Technology

JANOG33 イベントトラフィックに対するトラフィックエンジニアリング / CDN配信の仕組みと国内における配備状況

  1. 1. イベントトラフィックに対するトラフィックエンジニアリング CDN配信の仕組みと国内における配備状況 JANOG33 in Beppu NTT コミュニケーションズ株式会社 先端IPアーキテクチャセンタ 亀井聡 <skame@nttv6.jp>
  2. 2. 自己紹介 〜2012.06 @ NTT 研究所 品質とかトラヒックとか 2012.07〜 @ NTT コミュニケーションズ インターネット計測と分析(BigData?) JANOG13 「広がるP2Pサービスとインターネットインフ ラへの影響」2003.10 JANOG14 「オーバーレイネットワークの可能性と. その インパクト」2004.07 JANOG/信学会IA研究会共催「[特別講演]コンテンツ配信 を中心とした国内インターネットの構造分析」2012.09 2
  3. 3. 土屋さんの疑問に答える 何でCDN以外からトラフィックが来るの? フローレベルだとトランジット系ISP内のキャッシュから流れて 来ることがあります. マルチCDN? 冗長性確保のためか,最近増えてるようです. 自社CDNとAkamai等を組み合わせて提供する事業者も. ローカルにいるのにIX経由? 混雑時間帯だとピアとかローカルキャッシュとか使わず流れて くることがわりとあるようです. 3
  4. 4. 発表概要 Internet での経路制御 Internet におけるコンテンツ配信 Contents Delivery Network Internet 上での観測による現状 ISPオペレーションにおける課題 まとめ 4
  5. 5. 5 INTENRNETでの経路制御
  6. 6. 6 Internetでの経路制御 AS(Autonomous System)とBGP(Border Gateway Protocol) 運用単位としてのAS 自律分散の単位 自分の中は見える 隣りへのリンクは見える 隣りまでは制御できる場合もある AS BGP
  7. 7. 7 Internetでの経路制御 ピアとトランジット 経路表のサイズとTier1 • 全部の経路を知っているのがTier1 ピアリングによる相互融通 • 上位に流すのはコストがかかるので Tier 1 ISPs IX Tier 2 ISP Tier 2 ISP
  8. 8. 8 Internetでの経路制御 課金と負担,受益者 ISPユーザは何を買っているのか 回線代金とファシリティと接続料金 トランジット,ペイドピア Tier1への課金を利用者間で割り勘「していた」 利用者から集めたお金で回線と接続に投資
  9. 9. 9 INTENRNETにおけるコンテンツ配信
  10. 10. 10 Internetにおけるコンテンツ配信 配信サーバと回線契約 コンテンツ配信の場合は何を買うのか サーバと回線,接続料,ファシリティ「だった」 オンプレ,コロケ,レンタルサーバ,クラウド,…… オンプレだとAS取ってサーバ用意してトランジット買って. 最近はクラウドで,CDN経由で,マルチCDNとクラウドで云々
  11. 11. 11 Internetにおけるコンテンツ配信 ハイパージャイアントの影響力の急上昇 HyperGiant CDN EyeBall (アクセス プロバイダ) 北米のバックボーントラヒックの 上位占有組織の変遷(Arbor調べ). すべてTier1 (キャリア) ISP間接続構造の変化 C. Labovitz, “Internet Traffic 2007 - 2011,” Global Peering Forum. Santi Monica, CA. April 2011.
  12. 12. 12 Internetにおけるコンテンツ配信 キャッシュ,CDN,ハイパージャイアント 安く仕入れて付加価値をつけて高く売る スケールメリットとスケールアウト 接続料金が無料ピアやCDN自身によって支えられる. • 原資はコンテンツホルダや,場合によっては公告収入. Tier1 ISP Tier1 ISP トランジット料 大手 ISP トランジット料 大手 ISP トランジット料 地域ISP CSP 地域ISP 利用料 ユーザ Hyper Giants ユーザ ピアリング キャッシュ配置
  13. 13. 13 CONTENTS DELIVERY NETWORK
  14. 14. 14 Contents Delivery Network キャッシュの基本 ローカルに貯めて二度目はローカルから オリジンに取りに行かない 10〜15年前 限られた帯域を効率的に使うためのキャッシュ. 〜5年前 海外トランジットが高価な国(発展途上国)では利用が進む. ブロードバンド化が進展した先進国では,リバースキャッシュの需 要が高まる. あわせてCDN(リバースキャッシュ+αのネットワーク的配備)も普及. ここ数年 改正著作権法(2010.01)による国内でのキャッシュ適法化. ハードウェアの進歩(キャリアグレード機器の登場) P2Pに次ぐ課題として,ハイパージャイアントが台頭.
  15. 15. 15 Contents Delivery Network CDNは分散化されたリバースキャッシュ 品質要件を満たす中で安い回線を使う 空いてるサーバを使う(マルチテナントで大群化効果) 上位のトランジットAS その他Akamai AS どこかの トランジットAS 自分のAS ピア先AS
  16. 16. 16 Contents Delivery Network AkamaiとGoogle Akamaiのエッジキャッシュの挙動 • あらかじめ設定したネットワークに対する応答を最寄りサーバに制 御.対象ISPでDNSを引かないとわからない. YouTubeの制御は複数方式が混在 • YouTubeサーバがアクセス元のアドレスを見て,最寄りサーバURLが 書き込まれたHTMLファイルが戻る. 制御ポリシーはブラックボックス Google Akamai 2)最寄りサーバ が入ったHTML AkamaiDNS 3)HTTP GET 1)DNSリクエスト 2)最寄りサーバ を応答 1)HTTP GET 3)HTTP GET
  17. 17. 17 Contents Delivery Network GGCとAURA AANP(Akamaiキャッシュ) ISP内部にキャッシュを配置.管理はGoogle/Akamai. このタイプのキャッシュは他ASにはトラフィックは吐かない. 上位系ISPでは他社向けに吐くキャッシュも(Akamaiの場合)
  18. 18. 18 INTERNETでの観測による状況
  19. 19. 19 Internetでの観測による状況 HTTP上位におけるハイパージャイアントとCDN Other Google EdgeCast LimeLight Akamai
  20. 20. 20 Internetでの観測による状況 Akamaiトラフィックに何が含まれているのか Apple Windows Update Symantec, Trendmicro Playstation, Nexon Macromedia, Sun Microsystems : HTTPリクエストを引っかけないとわからない! アドレスも刻一刻と変化する.
  21. 21. 21 Internetでの観測による状況 フローでマクロに捉えればいいかといえば 非Akamai ASからの配信もあるので難しい. Akamaiはどこから来るの? その他Akamai AS 上位のトランジットAS どこかの トランジットAS 自分のAS ピア先Akamai AS
  22. 22. 22 Internetでの観測による状況 Google/Akamaiローカルキャッシュノード(モニタ調査) 当該ASから吐かれるAkamaiコンテンツが存在するかどうか 2013 AS# AKAMAI ○ ○ ○ GGC 2012 ○ ○ ○ ○ ○ ○ ○ AS# AKAMAI ○ ○ ○ GGC ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ 45 ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ 39 45 32
  23. 23. 23 Internetでの観測による状況 国内でAkamaiコンテンツを吐いているAS(モニタ調査) AS20940 Akamai International B.V. AS4713 NTT Communications Corporation AS2497 Internet Initiative Japan Inc. AS2527 So-net Entertainment Corporation AS9824 Technology Networks Inc. AS2514 NTT PC Communications, Inc. AS4725 SOFTBANK TELECOM Corp. AS2516 KDDI CORPORATION AS18126 Chubu Telecommunications Company, Inc. AS9609 eAccess Ltd. AS10013 FreeBit Co.,Ltd. AS2519 VECTANT Ltd. AS7679 Kyushu Telecommunication Network Co.,Inc. AS7670 Energia Communications, Inc. AS4721 Japan Cablenet Limited AS9354 Community Network Center Inc. AS9365 its communications Inc. AS10026 Pacnet Global Ltd AS7522 STNet, Incorporated AS18081 Kintetsu Cable Network Co., Ltd. AS2914 NTT America, Inc. AS4704 Fusion Communications Corp. AS9600 Sony Business Solutions Corporation
  24. 24. 24 Internetでの観測による状況 ここ3日ほどいくつかのISPで測定してみました. apple-IP by ISPs
  25. 25. 28 Internetでの観測による状況 /24の単位でも結構動いている 観測ISPにより挙動は異なる. 観測CPによっても挙動は異なる. 同じISPでもエリアによっても違う. ASレベルではそれほどダイナミックな動きは見られない. とはいえiOSショックの時にはかなり動いたとの話も. 次のアップデート時には計測仕込んでおきます…….
  26. 26. 29 ISPオペレーション上での課題
  27. 27. 30 ISPオペレーション上での課題 BGP「だけ」じゃわからないことが増えている 上位ISPでも制御できないものが増えている コンテンツまでは見れない(ことが多い) 混んでくるととんでもないところから来ることも 近いかどうかだけではなく,品質を確保できる安い線を選ぶ. 切り分けたいへん
  28. 28. 31 まとめ
  29. 29. まとめ 経路やフローだけだと辛い昨今,CPやCDNの都合で曲が るトラフィック. 設備増強方針に影響.たくさん打っても使ってもらえな いと……. マクロデータでいいのでなんとか事後提供いただけない ですかねぇ e.g.容量多目の数社分のトラフィック(iOSとか)がどう流れた かとか,CP毎のアドレスブロックの割当て状況とか. CDN事業者にとって必要な情報や理想的なインフラって あるの? 32

×