JPNAPユーザ会講演

1. 計測プローブを用いた 国内インターネットの構造分析
NTTコミュニケーションズ
技術開発部
亀井聡
<skame@nttv6.jp>
1
2014.10.0734thJPNAPユーザー会講演
インターネットのトラフィック動向と今後

2. 発表概要
•イントロダクション
•CDNとハイパージャイアントのしくみ
•計測プローブと標準化動向
•計測結果の紹介
•まとめと課題
2

3. INTRODUCTION
3

4. 自己紹介
•〜2012.06@NTT研究所
–品質とかトラヒックとか
•2012.07〜@NTTコミュニケーションズ
–インターネット計測と分析
–IPコアTU→データプラットフォームTU (2013.08-)
–先端IPアーキテクチャセンタ→技術開発部(2014.08-)
•2012.10 JPNAPユーザ会では研究所での取組を中心に紹介．
•今回はNTTコミュニケーションズ異動後の取り組み中心
–といっても本質的にやってることはかわらなかったり．
–計測プローブ数が10倍に増えました．
–これまで見えなかった部分も見れるように．
–しゃべれないことも増えましたが……．
4

5. 2年前の発表の要旨
•いろんな方法でインターネットを測っています．
–分散プローブ，モニター調査，その他
•国内のインターネット配信環境が寡占化している．
–Google/Akamaiにほとんどのトラフィックが占有されている．
•ハイパージャイアントによるキャッシュの導入が進んでいる
–Googleキャッシュが3割，Akamaiが4割のISPに導入されている．
–中小ISPへの導入も進んでおり，今後の影響を注視する必要がある．
•あれから2年……
–あいかわらず測っています．
–量的な変化はじりじり進んでいる状況．
•ハイパージャイアントの寡占率は微増傾向．
•モバイルの比率が上がっている．
–質的にはあまり大きな変化は見られない．
•動画コンテンツの増加にともない品質を気にするユーザが増えた？
5

6. ユーザ向けインターネットトラフィック
•YouTubeとAkamaiでほとんど．
–あいかわらず．
•ISPとの接続状況は様々
–直結/キャッシュ
–配信元アドレスの動的変化
•AkamaiからAppleが離脱？
–自前CDN説あり．iOS7の時はAkamaiトラフィックの大半がAppleだった ことを考えると影響は大．
–iOS8のアップデート模様を後程紹介．
6

7. CONTENTS DELIVERY NETWORK
7

8. Contents Delivery Network
• CDNは分散化されたリバースキャッシュ
– 品質要件を満たす中で安い回線／空いてるサーバや回線を使う
– どこから流すかでルーティングが変化．同一ASでも時間帯やアドレス
帯により変化．
自分のAS
ピア先AS
上位のトランジットAS
どこかの
トランジットAS
8
その他AS

9. Contents Delivery Network
• AkamaiとGoogle
– Akamaiのエッジキャッシュの挙動
• あらかじめ設定したネットワークに対する応答を最寄りサーバに制御．対
象ISPでDNSを引かないとわからない．
– YouTubeの制御は複数方式が混在
• YouTubeサーバがアクセス元のアドレスを見て，最寄りサーバURLが書き
込まれたHTMLファイルが戻る．
– 制御ポリシーはブラックボックス
9
Akamai Google
1)DNSリクエスト
2)最寄りサーバ
を応答
3)HTTP GET
AkamaiDNS
1)HTTP GET
2)最寄りサーバ
が入ったHTML
3)HTTP GET

10. Contents Delivery Network
•GGCとAANP（Google/Akamaiキャッシュ）
–ISP内部にキャッシュを配置．管理はGoogle/Akamai．
–このタイプのキャッシュは他ASにはトラフィックは吐かない．
–上位系ISPでは他社向けに吐くキャッシュも（Akamaiの場合）
•あくまでもCPの都合でISPの都合ではない(ことも多い)
–品質が悪化してきたらトランジットを使う．
–たまに制御ミスによるのかとんでもないところからも流れてくる．
•最近は複数のCDNや回線を併用する例も．
–e.g. Apple
10

11. INTERNET MEASUREMENT SYSTEM
11

12. 品質計測にかかわる標準化動向
•各国政府による主に消費者保護を目的とした取り組み
–アメリカFCC(2010-)，イギリスOfcom(2008-)，フランスARCEP(2013-)．
–日本では総務省の「インターネットのサービス品質計測等のあり方に関 する研究会」(2013-)
–FCCは一般ユーザ，Ofcomは一般ユーザと調査員，ARCEPは調査員によ る計測がメイン
–日本では，調査員による人口メッシュで1500箇所，15都市での測定を計 画．対象はモバイル．
•IETF LMAP(Large-Scale Measurement of Broadband Performance) での標準化開始
–FCCCTO の働きかけにより発足(2013-)．
•全体的に，アクセスを対象とした取り組みが中心．
–近年はモバイルもターゲットに．
12

13. IETF LMAP/IPPM WG
IETF LMAP WG とIPPM WG のアーキテクチャ
Controller
Measurement Agent（MA）
Measurement Peer
（MP）
④制御プロトコル
④報告プロトコル
Collector
LMAP WG
IPPM WG
測定方法
①利用ケース
③モデル
②フレームワーク
13

14. インターネット測定システムの設計
インターネット測定システムの概要図
•2011年より測定を開始し、現在100ヶ所以上で運用中
VPN
動画配信 サーバ
コンテンツ 配信サーバ
アクセス回線
DB
分析ポータル
④データ分析
③データクレンジング
測定エージェント（MA）
①品質測定
②品質測定
結果の転送
品質測定対象
ISP 網
マスターサーバ
分析サーバ
14

15. 設置環境とか
MAの設置環境
・インターネットユーザの環境宅でHGWからLANケーブル
で接続されている
15

16. インターネット測定システムの設計
測定エージェント（Measurement Agent：MA）
•OpenBlocksAX3を使用
–ぷらっとホーム株式会社
–仕様
•DebianOS
•Dual Core
•Marvell ARMADA XP 1.33GHz
•1 GB SDRAM memory
•選定理由
–小型で設置しやすい
–ソフトウェアの拡張性
–数十MB以上の動画ファイルのDLに 100Mbps以上のスループットを実 現するための十分なCPU
図. OpenBlocksAX3
16

17. 17
実施内容
OCN利用者数の多い都道府県を優先的に測定。NTTコムチェオのCAVAスタッフの協力のもと、30都道府県、
計100ヵ所以上の一般宅での計測を開始。
課題
・一般宅ならではの計測トラブル（生活環境での機器切断等）
・サービス・地域の網羅性
今後
計測トラブル・設定ミスなど、測定に異常がある場合に検出できる仕組みづくり・体制作り →チェックツールなどシステム化対応による管理の簡易化
販売部門の戦略を踏まえた計測拠点の追加検討 →計測範囲の拡大と優先順位づけ（IPv6対応、競合状況、網羅性、海外等々…）
プローブの配備状況
フレッツ光ネクスト
ファミリー・ハイスピードタイプ（NTT東日本）
ファミリー･スーパーハイスピードタイプ隼（NTT西日本）
他社回線
100
50
拠点
拠点
BIGLOBE
asahi-net
Plala
so-net
Nifty
Yahoo BB！(v4)
+アメリカ(Comcast、AT&T）
※実際の配置場所を
日本地図上に表示しています
西日本エリア
東日本エリア
その他
76万件5.9%
KDDI
211万件
16.4%
NTT東日本
998万件
77.7%
光回線事業者の東西エリア別加入者数（2013年9月末）
～ICT総研発表資料より～
NTT西日本
869万件
65.9%
KDDI
99万件
8.5%
ケイオプティコム
144万件
12.4%
シェアが大きいサー ビスを中心に選定
【2013年度実施】

18. MEASUREMENT RESULTS
18

19. 2014年2月の調査結果
19
OCN
273
TDNC
41
KDDI
471
INFOSPHERE
49
ASN-ATHOMEJP
198
EACCESS
35
GIGAINFRA
236
QTNET
41
SO-NET
194
ITSCOM
35
ASN-ATHOMEJP
192
TDNC
38
KDDI
163
KCN
33
SO-NET
186
EACCESS
37
IIJ
121
STCN
25
BIGLOBE
170
GOOGLE
36
VECTANT
100
SANNET
19
K-OPTICOM
150
KCN
31
FBDC
89
HANSHIN
13
INFOWEB
136
SANNET
18
ODN
77
MOPERA
10
ASAHI-NET
95
HANSHIN
13
CTCX
75
MCNET
8
FBDC
87
SINET-AS
11
INFOSPHERE
65
SONYTELECOM
8
ZAQ
73
EDION
10
TOKAI
65
ZLAN
7
CTCX
70
MITENE
6
JCN
58
SYNAPSE
6
TOKAI
63
SYNAPSE
6
QTNET
56
JCN
51
5000人程度のモニタユーザで計測．
1. Google/Akamaiのサイトへアクセスしてもらい，
2. 返ってきたIPアドレスとユーザのIPアドレスのASを比較
3. 一致した場合は当該ISP内にキャッシュがあると判定する．
Akamai
Google

20. 2012/2013の調査
•Google/Akamaiローカルキャッシュノード（モニタ調査）
–当該ASから吐かれるAkamaiコンテンツが存在するかどうか
2013
AS#
AKAMAI
GGC
OCN
4713
○
KDDI
2516
○
○
GIGAINFRA
17676
○
○
INFOWEB
2510
○
UCOM
17506
JCOM
9824
○
So-net
2527
○
○
K-Opticom
17511
○
IIJ
2497
○
ASAHI-NET
4685
○
BIGLOBE
2518
○
CTCX
18126
○
○
SoftbankTelecom
4725
○
VECTANT
2519
○
FBDC
10013
○
○
TOKAI
10010
○
eMobile
37903
QTNET
7679
○
○
ZAQ
9617
○
InfoSphere
2514
○
○
45
39
2012
AS#
AKAMAI
GGC
OCN
4713
○
KDDI
2516
○
○
GIGAINFRA
17676
○
○
INFOWEB
2510
BIGLOBE
2518
○
So-net
2527
○
○
K-Opticom
17511
IIJ
2497
○
UCOM
17506
VECTANT
2519
○
ASAHI-NET
4685
○
FBDC
10013
○
○
JCOM
9824
○
CTCX
18126
○
SoftbankTelecom
4725
○
QTNET
7679
○
○
TOKAI
10010
○
InfoSphere
2514
○
○
ZAQ
9617
○
eMobile
37903
45
32
20

21. Internetでの観測による状況
AS20940 Akamai International B.V.
AS4713 NTT Communications Corporation
AS2497 Internet Initiative Japan Inc.
AS2527 So-net Entertainment Corporation
AS9824 Technology Networks Inc.
AS2514 NTT PC Communications, Inc.
AS4725 SOFTBANK TELECOM Corp.
AS2516 KDDI CORPORATION
AS18126 Chubu Telecommunications Company, Inc.
AS9609 eAccessLtd.
AS10013 FreeBitCo.,Ltd.
AS2519 VECTANT Ltd.
AS7679 Kyushu Telecommunication Network Co.,Inc.
AS7670 EnergiaCommunications, Inc.
AS4721 Japan CablenetLimited
AS9354 Community Network Center Inc.
AS9365 its communications Inc.
AS10026 PacnetGlobal Ltd
AS7522 STNet, Incorporated
AS18081 Kintetsu Cable Network Co., Ltd.
AS2914 NTT America, Inc.
AS4704 Fusion Communications Corp.
AS9600 Sony Business Solutions Corporation
AS9351 ZTV CO.,LTD
AS7671 NTT SmartConnectCorporation
21
国内でAkamaiコンテンツを吐いているAS（モニタ調査）

22. ISPやエリアによる品質の差
地域やISP間の品質の違いを可視化し、品質把握
（例：ISP Aは東京で速い。ISP Cは西で速い）
・ネットワークスループットの箱ひげ図による可視化
・横軸：時間縦軸：スループット
22/
22

23. iOS8のアップデート
•iOS7までは日本国内ではAkamaiからの配信中心．
–海外だとLimeLight併用のエリアもあったらしい．
–Akamaiからの配信だけでも，他ASからの配信はあり得る．
–容量オーバーだったのか結構他ASからの配信が多く話題に．
•今回はApple独自CDNから配信との観測もあった．
–いざ9/18……．
•どうせU.S.だけだろうと油断していたら．
•Apple AS，LimeLight，Akamai のハイブリッド配信．
•ISPによってブレンド具合が結構違うような．
23

24. あるISPのiOS配信前後の状況(12時間毎)
25
配信元FQDNを30分毎に名前解決し，データ取得元ASで分類したもの．
9/8〜10/7まで．12時間毎の統計値(率)．
Apple ASから
ローカルのAkamaiキャッシュから
LimeLightから
Akamai AS から
上位？Akamai
から

25. また別のISP．長期観測(6/1〜)
26
LimeLightから
Akamai AS から
Apple ASから

26. iOS8アップデートにおけるISP毎の配信元
28
基本的にAppleASから流し，一定キャパを越えた時点でLimeLightとAkamaiを
併用して流していると推測できそう．
キャッシュの有無はあまり関係ない模様(Akamai側マター？)．

27. まとめ
29

28. まとめ
•ハイパージャイアントの寡占傾向は進んでいる．
•一方でフレッツ等の影響も大きく見える(同一ISPのエリア毎の 品質差等)
•Appleの独自CDN化(?)はトラフィックに与える影響は大きい．
•CDNがISPにより制御に差をつけている傾向が観測され始め ており，今後の課題か？
30