IA研究会発表資料

1. インターネット測定システムの
開発と運用
2014.09.12 IA研究会
エヌ・ティ・ティ・コミュニケーションズ株式会社
◯大木基至・亀井聡

2. 00. 発表の流れ
01. 背景と⽬目的
02. インターネットの品質測定に関する動向
03. インターネット測定システムの設計
04. インターネット測定システムの運⽤用
05. 品質測定結果の応⽤用
06. 現状の課題
07. まとめ
2/22

3. 01. 背景と目的
①顧客満⾜足度度の向上と⾃自社網の運⽤用効率率率化のため
• ネットワークの実際の品質情報はユーザーは知らない
• ユーザ体感をとらえるため（MIB・フロー以外で）
– トラフィック量量が少ないからといって品質が良良いとは限らない
②コンテンツ事業者・CDN事業者の挙動を把握するため
• HyperGiants (Google, Akamai) のトラフィックが増⼤大
– AKAMAIは世界の3割のWebトラフィックを流流す
– ⾮非AKAMAI ASから、AKAMAIによるコンテンツ配信もある
• インターネットを流流れるトラフィックの割合も変化
• BGP情報だけでは、分からないことが増加
– AS間の経路路（パス）は把握できるが、どこからAKAMAI, CDN
配信されるかは捉えきれない
– 混んでるときは遠いところからも配信される
3/22

4. 01. 背景と目的
③コンテンツ事業者による調査レポートに対抗するため
• 2014年年1⽉月にGoogleがカナダのISP Report を公開
– Youtube閲覧時に対してエリアごとのISP品質を格付け評価
• Sandvine社やAkamaiなどもレポートを公開
カリフォルニア州で⾒見見たISP品質⽐比較のトップページGoogle 基準でISP品質を3段階に格付け
4/22

5. 02. 品質測定に関する動向
アメリカの動向
• FCC（連邦通信委員会）が中⼼心となり、2010年年より品質測定
を実施し、レポートを作成
• Samknows社のWhiteboxデバイスを使⽤用して、ISPの宣伝値
と測定した実測値の違いを公開
5/22

6. 02. 品質測定に関する動向
イギリスの動向
• Ofcom（英国情報通信庁）が、2008年年より品質測定のため
の専⽤用機器をインターネット利利⽤用者宅宅に設置して測定を実施
• キャリア間の通信速度度のばらつき、モバイルとの違いをサー
ビス利利⽤用者に通知
フランスの動向
• ARCEP（電⼦子通信郵便便規制庁）が、2013年年より、計測
サイトへアクセスする形態で、品質測定を⾏行行い、通信速
度度等のサービス品質を公表
6/22

7. 02. 品質測定に関する動向
⽇日本の動向
• 総務省省で2013年年11⽉月より「インターネットのサービス
品質計測等のあり⽅方に関する研究会」が発⾜足
– 現状では、2014年年4⽉月の第5回まで開催
• 主にモバイルトラフィックの品質
– アメリカのFCC，イギリスのOfcom，フランスのARCEPの計測
を参考にして計測案を作成
• FCCは⼀一般ユーザ，Ofcomは⼀一般ユーザと調査員，
ARCEPは調査員による計測がメイン
• 今年年度度調査員による⼈人⼝口メッシュで1500箇所，15都市
での測定を計画予定
7/22

8. 02. 品質測定に関する動向
LMAP WG の動向
• Large-‐‑‒Scale Measurement of Broadband
Performance
• IETFで、アメリカのFCCメンバの提案により発⾜足
• ⼤大規模ネットワークの品質測定のための標準化を⽬目指す
• 議論論されているWGドラフト
– 1. ユースケース
– 2. フレームワーク
– 3. インフォメーションモデル
– 4. プロトコル
• 現状はISP網内が焦点。今後拡張される予定
8/22

9. 02. 品質測定に関する動向
LMAP WG と IPPM WG のアーキテクチャ
Controller
Measurement
Agent（MA）
Measurement Peer
（MP）
①利利⽤用ケース
④制御プロトコル④報告プロトコル
Collector
LMAP WG
IPPM WG
測定⽅方法
③モデル
②フレームワーク
9/22

10. 03. インターネット測定システムの設計
インターネット測定システムの概要図
• 2011年年より測定を開始し、現在140ヶ所以上で運⽤用中
VPN
動画配信
サーバ
コンテンツ
配信サーバ
アクセス回線DB
分析ポータル
③データクレンジング④データ分析
測定エージェント（MA）
①品質測定
②品質測定
結果の転送
品質測定対象
ISP 網
マスターサーバ分析サーバ
10/22

11. 03. インターネット測定システムの設計
測定エージェント（Measurement Agent：MA）
• OpenBlocks AX3を使⽤用
– ぷらっとホーム株式会社
– 仕様
• Debian OS
• Dual Core
• Marvell ARMADA XP 1.33GHz
• 1 GB SDRAM memory
• 選定理理由
– ⼩小型で設置しやすい
– ソフトウェアの拡張性
– 数⼗十MB以上の動画ファイルのDLに
100Mbps以上のスループットを実
現するための⼗十分なCPU図. OpenBlocks AX3
11/22

12. 03. インターネット測定システムの設計
MAの設置環境
・インターネットユーザの環境宅宅でHGWからLANケーブル
で接続されている
12/22

13. 03. インターネット測定システムの設計
マスターサーバ
• MAのコントロール
– 測定スクリプトやスケジュールなどの構成管理理（ansible）
• MAからの測定結果を収集（scpでのデータの転送）
• データのクレンジング処理理
– データベースへ格納
13/22

14. 03. インターネット測定システムの設計
品質測定指標
• ラウンドトリップタイム
– MAから品質測定対象に対してICMP のエコーリクエストを送
り,ICMPのエコーリプライが返ってくるまでの応答時間
• ネットワーク経路路とホップ数
– MAから品質測定対象までのネットワーク上の経路路
– ホップ数はルータなどのネットワーク機器を通過した経路路の数
• ネットワークスループット
– MAから品質測定対象のコンテンツをダウンロードするネット
ワークの速度度
– HTTP GET リクエストでコンテンツをダウンロード
14/22

15. 03. インターネット測定システムの設計
品質測定の⼯工程
設定したI SP
アカウントの
数分繰り返す
MAの電源投入
品質測定結果を
マスターサーバに
転送
IPアドレスの付与（PPPoE接続を終端）
マスターサーバとのVPN接続を確立
品質測定タスクの実施
15/22

16. 04. インターネット測定システムの運用
品質測定対象
• どの対象を、どれくらいの数、どの程度度のコンテンツサイズ
• 可能な限りインターネット上のコンテンツを代表するもの
• イベント時（iOSアップデートなど）の関係コンテンツ
インターネットのトラフィック量量に影響のあるサービス
• 動画配信サイト（Youtube、ニコニコ動画など）
• コンテンツ事業者（Akamai、Level 3など）
ユーザーからのアクセスが多いサービス
• ポータルサイト（Google、Yahoo! Japanなど）
• ショッピングサイト（Amazon、楽天など）
16/22

17. 04. インターネット測定システムの運用
品質測定スケジュール
• （現状）30分に⼀一度度の定期測定を実施
– 品質測定指標にもとづき測定を実施
– 課題：ネットワークが混雑していると測定数が減少
• （今後）”できる限り”測定数を増やす仕組みを開発中
– LMAPのスケジューリングモデルをベースに
• Periodic：開始と終了了とインターバル
• Calendar：カレンダー形式（e.g. 平⽇日の各時間の1分に）
• One Off：特定の時間に１度度
• Immediate：できる限りはやく
• Startup：何かの始まり時に（e.g. 起動した時に）
17/22

18. 05. 品質測定結果の応用
応⽤用例例１：分析ポータルサイトの開発
・Webブラウザ上で閲覧できる
・地域、期間、測定対象を選択し、品質測定指標の結果を時系列列で表⽰示する
18/22

19. 05. 品質測定結果の応用
応⽤用例例2：地域やISP間の品質の違いを可視化し、品質把握
（例例：ISP Aは東京で速い。ISP Cは⻄西で速い）
・ネットワークスループットの箱ひげ図による可視化
・横軸：時間 縦軸：スループット
19/22

20. 06. 現状の課題
１. 設計上の課題
• システムのスケーラビリティの改善
– VPNによるセッション確⽴立立
⇒ メンテナンス時を除いて、セッションを貼らない仕組み
– SSHによるデータ転送
⇒ fluentd等のミドルウェアを検討中
• ⾃自律律的なスケジューリング
– ネットワークが混雑している場合、測定が完了了しない
– ⼗十分な量量の測定結果の取得ができない
⇒ 独⾃自アルゴリズムで計測数増⼤大を開発中
• IPv6のネットワークへの対応
– IPv6ネットワークの利利⽤用範囲拡⼤大
– フレッツのHGWのファームウェアアップデートへの対応
20/22

21. 06. 現状の課題
２. 運⽤用上の課題
• モニターユーザー宅宅での測定の安定稼働
– LANケーブル、電源ケーブルの抜け
– MAの故障
– プラン、測定地点の間違い（プランによって⼯工事に時間も）
– モニターユーザ数の維持（MAの24時間起動条件、熱がこもる、
全国で均等な数）
⇒ 継続した監視とモニターユーザの安定必要に
• 品質測定対象の挙動によるデータ⽋欠落落
– コンテンツ配信サーバの設定が変化し、急に測定失敗が続く
• ホスト名の変化
• リダイレクト対応
⇒ 測定側では制御が困難なため、柔軟な対応が必要
21/22

22. 07. まとめ
本稿の成果
• インターネット測定システムを開発した
• 運⽤用上の経験と課題について報告した
今後の取り組み
• 収集した品質測定データに基づくISP戦略略
• システムの改良良
• 安定した運⽤用の継続と測定地域の拡⼤大
• LMAP WG等の標準化への貢献
22/22

23. ご静聴ありがとうございました
エヌ・ティ・ティ・コミュニケーションズ株式会社
大木基至・亀井聡
m.ooki@ntt.com / satoshi.kamei@ntt.com
23