Skip to main content
UploadLanguage (EN)Support
BusinessMobileSocial MediaMarketingTechnologyArt & PhotosCareerDesignEducationPresentations & Public SpeakingGovernment & NonprofitHealthcareInternetLawLeadership & ManagementAutomotiveEngineeringSoftwareRecruiting & HRRetailSalesServicesScienceSmall Business & EntrepreneurshipFoodEnvironmentEconomy & FinanceData & AnalyticsInvestor RelationsSportsSpiritualNews & PoliticsTravelSelf ImprovementReal EstateEntertainment & HumorHealth & MedicineDevices & HardwareLifestyle
Satoshi KAMEI, profile picture
Uploaded bySatoshi KAMEI
5,559 views

20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析

JPNAPユーザ会講演

Technology◦
計測プローブを用いた 国内インターネットの構造分析 NTTコミュニケーションズ 技術開発部 亀井聡 <skame@nttv6.jp> 1 2014.10.0734thJPNAPユーザー会講演 インターネットのトラフィック動向と今後
発表概要 •イントロダクション •CDNとハイパージャイアントのしくみ •計測プローブと標準化動向 •計測結果の紹介 •まとめと課題 2
INTRODUCTION 3
自己紹介 •〜2012.06@NTT研究所 –品質とかトラヒックとか •2012.07〜@NTTコミュニケーションズ –インターネット計測と分析 –IPコアTU→データプラットフォームTU (2013.08-) –先端IPアーキテクチャセンタ→技術開発部(2014.08-) •2012.10 JPNAPユーザ会では研究所での取組を中心に紹介． •今回はNTTコミュニケーションズ異動後の取り組み中心 –といっても本質的にやってることはかわらなかったり． –計測プローブ数が10倍に増えました． –これまで見えなかった部分も見れるように． –しゃべれないことも増えましたが……． 4
2年前の発表の要旨 •いろんな方法でインターネットを測っています． –分散プローブ，モニター調査，その他 •国内のインターネット配信環境が寡占化している． –Google/Akamaiにほとんどのトラフィックが占有されている． •ハイパージャイアントによるキャッシュの導入が進んでいる –Googleキャッシュが3割，Akamaiが4割のISPに導入されている． –中小ISPへの導入も進んでおり，今後の影響を注視する必要がある． •あれから2年…… –あいかわらず測っています． –量的な変化はじりじり進んでいる状況． •ハイパージャイアントの寡占率は微増傾向． •モバイルの比率が上がっている． –質的にはあまり大きな変化は見られない． •動画コンテンツの増加にともない品質を気にするユーザが増えた？ 5
ユーザ向けインターネットトラフィック •YouTubeとAkamaiでほとんど． –あいかわらず． •ISPとの接続状況は様々 –直結/キャッシュ –配信元アドレスの動的変化 •AkamaiからAppleが離脱？ –自前CDN説あり．iOS7の時はAkamaiトラフィックの大半がAppleだった ことを考えると影響は大． –iOS8のアップデート模様を後程紹介． 6
CONTENTS DELIVERY NETWORK 7
Contents Delivery Network • CDNは分散化されたリバースキャッシュ – 品質要件を満たす中で安い回線／空いてるサーバや回線を使う – どこから流すかでルーティングが変化．同一ASでも時間帯やアドレス 帯により変化． 自分のAS ピア先AS 上位のトランジットAS どこかの トランジットAS 8 その他AS
Contents Delivery Network • AkamaiとGoogle – Akamaiのエッジキャッシュの挙動 • あらかじめ設定したネットワークに対する応答を最寄りサーバに制御．対 象ISPでDNSを引かないとわからない． – YouTubeの制御は複数方式が混在 • YouTubeサーバがアクセス元のアドレスを見て，最寄りサーバURLが書き 込まれたHTMLファイルが戻る． – 制御ポリシーはブラックボックス 9 Akamai Google 1)DNSリクエスト 2)最寄りサーバ を応答 3)HTTP GET AkamaiDNS 1)HTTP GET 2)最寄りサーバ が入ったHTML 3)HTTP GET
Contents Delivery Network •GGCとAANP（Google/Akamaiキャッシュ） –ISP内部にキャッシュを配置．管理はGoogle/Akamai． –このタイプのキャッシュは他ASにはトラフィックは吐かない． –上位系ISPでは他社向けに吐くキャッシュも（Akamaiの場合） •あくまでもCPの都合でISPの都合ではない(ことも多い) –品質が悪化してきたらトランジットを使う． –たまに制御ミスによるのかとんでもないところからも流れてくる． •最近は複数のCDNや回線を併用する例も． –e.g. Apple 10
INTERNET MEASUREMENT SYSTEM 11
品質計測にかかわる標準化動向 •各国政府による主に消費者保護を目的とした取り組み –アメリカFCC(2010-)，イギリスOfcom(2008-)，フランスARCEP(2013-)． –日本では総務省の「インターネットのサービス品質計測等のあり方に関 する研究会」(2013-) –FCCは一般ユーザ，Ofcomは一般ユーザと調査員，ARCEPは調査員によ る計測がメイン –日本では，調査員による人口メッシュで1500箇所，15都市での測定を計 画．対象はモバイル． •IETF LMAP(Large-Scale Measurement of Broadband Performance) での標準化開始 –FCCCTO の働きかけにより発足(2013-)． •全体的に，アクセスを対象とした取り組みが中心． –近年はモバイルもターゲットに． 12
IETF LMAP/IPPM WG IETF LMAP WG とIPPM WG のアーキテクチャ Controller Measurement Agent（MA） Measurement Peer （MP） ④制御プロトコル ④報告プロトコル Collector LMAP WG IPPM WG 測定方法 ①利用ケース ③モデル ②フレームワーク 13
インターネット測定システムの設計 インターネット測定システムの概要図 •2011年より測定を開始し、現在100ヶ所以上で運用中 VPN 動画配信 サーバ コンテンツ 配信サーバ アクセス回線 DB 分析ポータル ④データ分析 ③データクレンジング 測定エージェント（MA） ①品質測定 ②品質測定 結果の転送 品質測定対象 ISP 網 マスターサーバ 分析サーバ 14
設置環境とか MAの設置環境 ・インターネットユーザの環境宅でHGWからLANケーブル で接続されている 15
インターネット測定システムの設計 測定エージェント（Measurement Agent：MA） •OpenBlocksAX3を使用 –ぷらっとホーム株式会社 –仕様 •DebianOS •Dual Core •Marvell ARMADA XP 1.33GHz •1 GB SDRAM memory •選定理由 –小型で設置しやすい –ソフトウェアの拡張性 –数十MB以上の動画ファイルのDLに 100Mbps以上のスループットを実 現するための十分なCPU 図. OpenBlocksAX3 16
17 実施内容 OCN利用者数の多い都道府県を優先的に測定。NTTコムチェオのCAVAスタッフの協力のもと、30都道府県、 計100ヵ所以上の一般宅での計測を開始。 課題 ・一般宅ならではの計測トラブル（生活環境での機器切断等） ・サービス・地域の網羅性 今後 計測トラブル・設定ミスなど、測定に異常がある場合に検出できる仕組みづくり・体制作り →チェックツールなどシステム化対応による管理の簡易化 販売部門の戦略を踏まえた計測拠点の追加検討 →計測範囲の拡大と優先順位づけ（IPv6対応、競合状況、網羅性、海外等々…） プローブの配備状況 フレッツ光ネクスト ファミリー・ハイスピードタイプ（NTT東日本） ファミリー･スーパーハイスピードタイプ隼（NTT西日本） 他社回線 100 50 拠点 拠点 BIGLOBE asahi-net Plala so-net Nifty Yahoo BB！(v4) +アメリカ(Comcast、AT&T） ※実際の配置場所を 日本地図上に表示しています 西日本エリア 東日本エリア その他 76万件5.9% KDDI 211万件 16.4% NTT東日本 998万件 77.7% 光回線事業者の東西エリア別加入者数（2013年9月末） ～ICT総研発表資料より～ NTT西日本 869万件 65.9% KDDI 99万件 8.5% ケイオプティコム 144万件 12.4% シェアが大きいサー ビスを中心に選定 【2013年度実施】
MEASUREMENT RESULTS 18
2014年2月の調査結果 19 OCN 273 TDNC 41 KDDI 471 INFOSPHERE 49 ASN-ATHOMEJP 198 EACCESS 35 GIGAINFRA 236 QTNET 41 SO-NET 194 ITSCOM 35 ASN-ATHOMEJP 192 TDNC 38 KDDI 163 KCN 33 SO-NET 186 EACCESS 37 IIJ 121 STCN 25 BIGLOBE 170 GOOGLE 36 VECTANT 100 SANNET 19 K-OPTICOM 150 KCN 31 FBDC 89 HANSHIN 13 INFOWEB 136 SANNET 18 ODN 77 MOPERA 10 ASAHI-NET 95 HANSHIN 13 CTCX 75 MCNET 8 FBDC 87 SINET-AS 11 INFOSPHERE 65 SONYTELECOM 8 ZAQ 73 EDION 10 TOKAI 65 ZLAN 7 CTCX 70 MITENE 6 JCN 58 SYNAPSE 6 TOKAI 63 SYNAPSE 6 QTNET 56 JCN 51 5000人程度のモニタユーザで計測． 1. Google/Akamaiのサイトへアクセスしてもらい， 2. 返ってきたIPアドレスとユーザのIPアドレスのASを比較 3. 一致した場合は当該ISP内にキャッシュがあると判定する． Akamai Google
2012/2013の調査 •Google/Akamaiローカルキャッシュノード（モニタ調査） –当該ASから吐かれるAkamaiコンテンツが存在するかどうか 2013 AS# AKAMAI GGC OCN 4713 ○ KDDI 2516 ○ ○ GIGAINFRA 17676 ○ ○ INFOWEB 2510 ○ UCOM 17506 JCOM 9824 ○ So-net 2527 ○ ○ K-Opticom 17511 ○ IIJ 2497 ○ ASAHI-NET 4685 ○ BIGLOBE 2518 ○ CTCX 18126 ○ ○ SoftbankTelecom 4725 ○ VECTANT 2519 ○ FBDC 10013 ○ ○ TOKAI 10010 ○ eMobile 37903 QTNET 7679 ○ ○ ZAQ 9617 ○ InfoSphere 2514 ○ ○ 45 39 2012 AS# AKAMAI GGC OCN 4713 ○ KDDI 2516 ○ ○ GIGAINFRA 17676 ○ ○ INFOWEB 2510 BIGLOBE 2518 ○ So-net 2527 ○ ○ K-Opticom 17511 IIJ 2497 ○ UCOM 17506 VECTANT 2519 ○ ASAHI-NET 4685 ○ FBDC 10013 ○ ○ JCOM 9824 ○ CTCX 18126 ○ SoftbankTelecom 4725 ○ QTNET 7679 ○ ○ TOKAI 10010 ○ InfoSphere 2514 ○ ○ ZAQ 9617 ○ eMobile 37903 45 32 20
Internetでの観測による状況 AS20940 Akamai International B.V. AS4713 NTT Communications Corporation AS2497 Internet Initiative Japan Inc. AS2527 So-net Entertainment Corporation AS9824 Technology Networks Inc. AS2514 NTT PC Communications, Inc. AS4725 SOFTBANK TELECOM Corp. AS2516 KDDI CORPORATION AS18126 Chubu Telecommunications Company, Inc. AS9609 eAccessLtd. AS10013 FreeBitCo.,Ltd. AS2519 VECTANT Ltd. AS7679 Kyushu Telecommunication Network Co.,Inc. AS7670 EnergiaCommunications, Inc. AS4721 Japan CablenetLimited AS9354 Community Network Center Inc. AS9365 its communications Inc. AS10026 PacnetGlobal Ltd AS7522 STNet, Incorporated AS18081 Kintetsu Cable Network Co., Ltd. AS2914 NTT America, Inc. AS4704 Fusion Communications Corp. AS9600 Sony Business Solutions Corporation AS9351 ZTV CO.,LTD AS7671 NTT SmartConnectCorporation 21 国内でAkamaiコンテンツを吐いているAS（モニタ調査）
ISPやエリアによる品質の差 地域やISP間の品質の違いを可視化し、品質把握 （例：ISP Aは東京で速い。ISP Cは西で速い） ・ネットワークスループットの箱ひげ図による可視化 ・横軸：時間縦軸：スループット 22/ 22
iOS8のアップデート •iOS7までは日本国内ではAkamaiからの配信中心． –海外だとLimeLight併用のエリアもあったらしい． –Akamaiからの配信だけでも，他ASからの配信はあり得る． –容量オーバーだったのか結構他ASからの配信が多く話題に． •今回はApple独自CDNから配信との観測もあった． –いざ9/18……． •どうせU.S.だけだろうと油断していたら． •Apple AS，LimeLight，Akamai のハイブリッド配信． •ISPによってブレンド具合が結構違うような． 23
あるISPのiOS配信前後の状況(12時間毎) 25 配信元FQDNを30分毎に名前解決し，データ取得元ASで分類したもの． 9/8〜10/7まで．12時間毎の統計値(率)． Apple ASから ローカルのAkamaiキャッシュから LimeLightから Akamai AS から 上位？Akamai から
また別のISP．長期観測(6/1〜) 26 LimeLightから Akamai AS から Apple ASから
iOS8アップデートにおけるISP毎の配信元 28 基本的にAppleASから流し，一定キャパを越えた時点でLimeLightとAkamaiを 併用して流していると推測できそう． キャッシュの有無はあまり関係ない模様(Akamai側マター？)．
まとめ 29
まとめ •ハイパージャイアントの寡占傾向は進んでいる． •一方でフレッツ等の影響も大きく見える(同一ISPのエリア毎の 品質差等) •Appleの独自CDN化(?)はトラフィックに与える影響は大きい． •CDNがISPにより制御に差をつけている傾向が観測され始め ており，今後の課題か？ 30