SlideShare a Scribd company logo
インターネット測定システムの 
開発と運用 
2014.09.12 IA研究会 
エヌ・ティ・ティ・コミュニケーションズ株式会社 
◯大木基至・亀井聡
00. 発表の流れ 
01. 背景と⽬目的 
02. インターネットの品質測定に関する動向 
03. インターネット測定システムの設計 
04. インターネット測定システムの運⽤用 
05. 品質測定結果の応⽤用 
06. 現状の課題 
07. まとめ 
 
2/22
01. 背景と目的 
①顧客満⾜足度度の向上と⾃自社網の運⽤用効率率率化のため 
• ネットワークの実際の品質情報はユーザーは知らない 
• ユーザ体感をとらえるため(MIB・フロー以外で) 
– トラフィック量量が少ないからといって品質が良良いとは限らない 
②コンテンツ事業者・CDN事業者の挙動を把握するため 
• HyperGiants (Google, Akamai) のトラフィックが増⼤大 
– AKAMAIは世界の3割のWebトラフィックを流流す 
– ⾮非AKAMAI ASから、AKAMAIによるコンテンツ配信もある 
• インターネットを流流れるトラフィックの割合も変化 
• BGP情報だけでは、分からないことが増加 
– AS間の経路路(パス)は把握できるが、どこからAKAMAI, CDN 
配信されるかは捉えきれない 
– 混んでるときは遠いところからも配信される 
3/22
01. 背景と目的 
③コンテンツ事業者による調査レポートに対抗するため 
• 2014年年1⽉月にGoogleがカナダのISP Report を公開 
– Youtube閲覧時に対してエリアごとのISP品質を格付け評価 
• Sandvine社やAkamaiなどもレポートを公開 
カリフォルニア州で⾒見見たISP品質⽐比較のトップページGoogle 基準でISP品質を3段階に格付け 
4/22
02. 品質測定に関する動向 
アメリカの動向 
• FCC(連邦通信委員会)が中⼼心となり、2010年年より品質測定 
を実施し、レポートを作成 
• Samknows社のWhiteboxデバイスを使⽤用して、ISPの宣伝値 
と測定した実測値の違いを公開 
5/22
02. 品質測定に関する動向 
イギリスの動向 
• Ofcom(英国情報通信庁)が、2008年年より品質測定のため 
の専⽤用機器をインターネット利利⽤用者宅宅に設置して測定を実施 
• キャリア間の通信速度度のばらつき、モバイルとの違いをサー 
ビス利利⽤用者に通知 
フランスの動向 
• ARCEP(電⼦子通信郵便便規制庁)が、2013年年より、計測 
サイトへアクセスする形態で、品質測定を⾏行行い、通信速 
度度等のサービス品質を公表 
6/22
02. 品質測定に関する動向 
⽇日本の動向 
• 総務省省で2013年年11⽉月より「インターネットのサービス 
品質計測等のあり⽅方に関する研究会」が発⾜足 
– 現状では、2014年年4⽉月の第5回まで開催 
• 主にモバイルトラフィックの品質 
– アメリカのFCC,イギリスのOfcom,フランスのARCEPの計測 
を参考にして計測案を作成 
• FCCは⼀一般ユーザ,Ofcomは⼀一般ユーザと調査員, 
ARCEPは調査員による計測がメイン 
• 今年年度度調査員による⼈人⼝口メッシュで1500箇所,15都市 
での測定を計画予定 
7/22
02. 品質測定に関する動向 
LMAP WG の動向 
• Large-‐‑‒Scale Measurement of Broadband 
Performance 
• IETFで、アメリカのFCCメンバの提案により発⾜足 
• ⼤大規模ネットワークの品質測定のための標準化を⽬目指す 
• 議論論されているWGドラフト 
– 1. ユースケース 
– 2. フレームワーク 
– 3. インフォメーションモデル 
– 4. プロトコル 
• 現状はISP網内が焦点。今後拡張される予定 
8/22
02. 品質測定に関する動向 
LMAP WG と IPPM WG のアーキテクチャ 
Controller 
Measurement 
Agent(MA) 
Measurement Peer 
(MP) 
①利利⽤用ケース 
④制御プロトコル④報告プロトコル 
Collector 
LMAP WG 
IPPM WG 
測定⽅方法 
③モデル 
②フレームワーク 
9/22
03. インターネット測定システムの設計 
インターネット測定システムの概要図 
• 2011年年より測定を開始し、現在140ヶ所以上で運⽤用中 
VPN 
動画配信 
サーバ 
コンテンツ 
配信サーバ 
アクセス回線DB 
分析ポータル 
③データクレンジング④データ分析 
測定エージェント(MA) 
①品質測定 
②品質測定 
結果の転送 
品質測定対象 
ISP 網 
マスターサーバ分析サーバ 
10/22
03. インターネット測定システムの設計 
測定エージェント(Measurement Agent:MA) 
• OpenBlocks AX3を使⽤用 
– ぷらっとホーム株式会社 
– 仕様 
• Debian OS 
• Dual Core 
• Marvell ARMADA XP 1.33GHz 
• 1 GB SDRAM memory 
• 選定理理由 
– ⼩小型で設置しやすい 
– ソフトウェアの拡張性 
– 数⼗十MB以上の動画ファイルのDLに 
100Mbps以上のスループットを実 
現するための⼗十分なCPU図. OpenBlocks AX3 
11/22
03. インターネット測定システムの設計 
MAの設置環境 
・インターネットユーザの環境宅宅でHGWからLANケーブル 
で接続されている 
12/22
03. インターネット測定システムの設計 
マスターサーバ 
• MAのコントロール 
– 測定スクリプトやスケジュールなどの構成管理理(ansible) 
• MAからの測定結果を収集(scpでのデータの転送) 
• データのクレンジング処理理 
– データベースへ格納 
13/22
03. インターネット測定システムの設計 
品質測定指標 
• ラウンドトリップタイム 
– MAから品質測定対象に対してICMP のエコーリクエストを送 
り,ICMPのエコーリプライが返ってくるまでの応答時間 
• ネットワーク経路路とホップ数 
– MAから品質測定対象までのネットワーク上の経路路 
– ホップ数はルータなどのネットワーク機器を通過した経路路の数 
• ネットワークスループット 
– MAから品質測定対象のコンテンツをダウンロードするネット 
ワークの速度度 
– HTTP GET リクエストでコンテンツをダウンロード  
14/22
03. インターネット測定システムの設計 
品質測定の⼯工程 
設定したI SP 
アカウントの 
数分繰り返す 
MAの電源投入 
品質測定結果を 
マスターサーバに 
転送 
IPアドレスの付与(PPPoE接続を終端) 
マスターサーバとのVPN接続を確立 
品質測定タスクの実施 
15/22
04. インターネット測定システムの運用 
品質測定対象 
• どの対象を、どれくらいの数、どの程度度のコンテンツサイズ 
• 可能な限りインターネット上のコンテンツを代表するもの 
• イベント時(iOSアップデートなど)の関係コンテンツ 
インターネットのトラフィック量量に影響のあるサービス 
• 動画配信サイト(Youtube、ニコニコ動画など) 
• コンテンツ事業者(Akamai、Level 3など) 
ユーザーからのアクセスが多いサービス 
• ポータルサイト(Google、Yahoo! Japanなど) 
• ショッピングサイト(Amazon、楽天など) 
16/22
04. インターネット測定システムの運用 
品質測定スケジュール 
• (現状)30分に⼀一度度の定期測定を実施 
– 品質測定指標にもとづき測定を実施 
– 課題:ネットワークが混雑していると測定数が減少 
 
• (今後)”できる限り”測定数を増やす仕組みを開発中 
– LMAPのスケジューリングモデルをベースに 
• Periodic:開始と終了了とインターバル 
• Calendar:カレンダー形式(e.g. 平⽇日の各時間の1分に) 
• One Off:特定の時間に1度度 
• Immediate:できる限りはやく 
• Startup:何かの始まり時に(e.g. 起動した時に) 
17/22
05. 品質測定結果の応用 
応⽤用例例1:分析ポータルサイトの開発 
・Webブラウザ上で閲覧できる 
・地域、期間、測定対象を選択し、品質測定指標の結果を時系列列で表⽰示する 
18/22
05. 品質測定結果の応用 
応⽤用例例2:地域やISP間の品質の違いを可視化し、品質把握 
(例例:ISP Aは東京で速い。ISP Cは⻄西で速い) 
・ネットワークスループットの箱ひげ図による可視化 
・横軸:時間 縦軸:スループット  
19/22
06. 現状の課題 
1. 設計上の課題 
• システムのスケーラビリティの改善 
– VPNによるセッション確⽴立立  
⇒ メンテナンス時を除いて、セッションを貼らない仕組み 
– SSHによるデータ転送 
⇒ fluentd等のミドルウェアを検討中 
• ⾃自律律的なスケジューリング 
– ネットワークが混雑している場合、測定が完了了しない 
– ⼗十分な量量の測定結果の取得ができない 
⇒ 独⾃自アルゴリズムで計測数増⼤大を開発中 
• IPv6のネットワークへの対応 
– IPv6ネットワークの利利⽤用範囲拡⼤大 
– フレッツのHGWのファームウェアアップデートへの対応 
20/22
06. 現状の課題 
2. 運⽤用上の課題 
• モニターユーザー宅宅での測定の安定稼働 
– LANケーブル、電源ケーブルの抜け 
– MAの故障 
– プラン、測定地点の間違い(プランによって⼯工事に時間も) 
– モニターユーザ数の維持(MAの24時間起動条件、熱がこもる、 
全国で均等な数) 
⇒ 継続した監視とモニターユーザの安定必要に 
• 品質測定対象の挙動によるデータ⽋欠落落 
– コンテンツ配信サーバの設定が変化し、急に測定失敗が続く 
• ホスト名の変化 
• リダイレクト対応 
⇒ 測定側では制御が困難なため、柔軟な対応が必要 
21/22
07. まとめ 
本稿の成果 
• インターネット測定システムを開発した 
• 運⽤用上の経験と課題について報告した 
今後の取り組み 
• 収集した品質測定データに基づくISP戦略略 
• システムの改良良 
• 安定した運⽤用の継続と測定地域の拡⼤大 
• LMAP WG等の標準化への貢献 
22/22
ご静聴ありがとうございました 
エヌ・ティ・ティ・コミュニケーションズ株式会社 
大木基至・亀井聡 
 m.ooki@ntt.com / satoshi.kamei@ntt.com 
23

More Related Content

Similar to 14.09.12_インターネット測定システムの開発と運用

IEEE/ACM SC2013報告
IEEE/ACM SC2013報告IEEE/ACM SC2013報告
IEEE/ACM SC2013報告
Ryousei Takano
 
クラウドビズネスを始めようとしているホスティング企業様へのご提案
クラウドビズネスを始めようとしているホスティング企業様へのご提案クラウドビズネスを始めようとしているホスティング企業様へのご提案
クラウドビズネスを始めようとしているホスティング企業様へのご提案
Lowy Shin
 
第2章アーキテクチャ
第2章アーキテクチャ第2章アーキテクチャ
第2章アーキテクチャ
Kenta Hattori
 
高速ネットワーク技術と周辺動向(特別講義)
高速ネットワーク技術と周辺動向(特別講義)高速ネットワーク技術と周辺動向(特別講義)
高速ネットワーク技術と周辺動向(特別講義)
Naoto MATSUMOTO
 
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
Recruit Technologies
 
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
Takayuki Nakayama
 
Atc15_reading_networking_session
Atc15_reading_networking_sessionAtc15_reading_networking_session
Atc15_reading_networking_session
紘也 金子
 
Asahikawa_Ict 20120726
Asahikawa_Ict 20120726Asahikawa_Ict 20120726
Asahikawa_Ict 20120726kspro
 
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
MILab
 
監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
Keigo Ogawa
 
Rancher/k8sを利用した運用改善の取り組み(Rancher Day 2019)
Rancher/k8sを利用した運用改善の取り組み(Rancher Day 2019)Rancher/k8sを利用した運用改善の取り組み(Rancher Day 2019)
Rancher/k8sを利用した運用改善の取り組み(Rancher Day 2019)
Michitaka Terada
 
OSSではじめるオープン・スタンダードのクラウド @201304
OSSではじめるオープン・スタンダードのクラウド @201304OSSではじめるオープン・スタンダードのクラウド @201304
OSSではじめるオープン・スタンダードのクラウド @201304
Shinichiro Arai
 
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
Satoshi KAMEI
 
Cloudflareを活用したWebパフォーマンスチューニング
Cloudflareを活用したWebパフォーマンスチューニングCloudflareを活用したWebパフォーマンスチューニング
Cloudflareを活用したWebパフォーマンスチューニング
Yoichiro Takehora
 
[teratail Study ~機械学習編#2~] Microsoft AzureのAI関連サービス
[teratail Study ~機械学習編#2~] Microsoft AzureのAI関連サービス[teratail Study ~機械学習編#2~] Microsoft AzureのAI関連サービス
[teratail Study ~機械学習編#2~] Microsoft AzureのAI関連サービス
Naoki (Neo) SATO
 
美团点评沙龙012-从零到千万量级的实时物流平台架构实践
美团点评沙龙012-从零到千万量级的实时物流平台架构实践美团点评沙龙012-从零到千万量级的实时物流平台架构实践
美团点评沙龙012-从零到千万量级的实时物流平台架构实践
美团点评技术团队
 
AWS市場動向と求められる人材、その育成方法について
AWS市場動向と求められる人材、その育成方法について AWS市場動向と求められる人材、その育成方法について
AWS市場動向と求められる人材、その育成方法について
Trainocate Japan, Ltd.
 
リアルタイムゲームサーバーの ベンチマークをとる方法
リアルタイムゲームサーバーの ベンチマークをとる方法リアルタイムゲームサーバーの ベンチマークをとる方法
リアルタイムゲームサーバーの ベンチマークをとる方法
モノビット エンジン
 
Share pointを支えるsql server2014最新情報 tokyo_公開用
Share pointを支えるsql server2014最新情報 tokyo_公開用Share pointを支えるsql server2014最新情報 tokyo_公開用
Share pointを支えるsql server2014最新情報 tokyo_公開用Yukio Kumazawa
 

Similar to 14.09.12_インターネット測定システムの開発と運用 (20)

IEEE/ACM SC2013報告
IEEE/ACM SC2013報告IEEE/ACM SC2013報告
IEEE/ACM SC2013報告
 
クラウドビズネスを始めようとしているホスティング企業様へのご提案
クラウドビズネスを始めようとしているホスティング企業様へのご提案クラウドビズネスを始めようとしているホスティング企業様へのご提案
クラウドビズネスを始めようとしているホスティング企業様へのご提案
 
第2章アーキテクチャ
第2章アーキテクチャ第2章アーキテクチャ
第2章アーキテクチャ
 
高速ネットワーク技術と周辺動向(特別講義)
高速ネットワーク技術と周辺動向(特別講義)高速ネットワーク技術と周辺動向(特別講義)
高速ネットワーク技術と周辺動向(特別講義)
 
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
 
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
 
Atc15_reading_networking_session
Atc15_reading_networking_sessionAtc15_reading_networking_session
Atc15_reading_networking_session
 
Asahikawa_Ict 20120726
Asahikawa_Ict 20120726Asahikawa_Ict 20120726
Asahikawa_Ict 20120726
 
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
 
監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
 
Rancher/k8sを利用した運用改善の取り組み(Rancher Day 2019)
Rancher/k8sを利用した運用改善の取り組み(Rancher Day 2019)Rancher/k8sを利用した運用改善の取り組み(Rancher Day 2019)
Rancher/k8sを利用した運用改善の取り組み(Rancher Day 2019)
 
OSSではじめるオープン・スタンダードのクラウド @201304
OSSではじめるオープン・スタンダードのクラウド @201304OSSではじめるオープン・スタンダードのクラウド @201304
OSSではじめるオープン・スタンダードのクラウド @201304
 
20120914 aws summit_lt
20120914 aws summit_lt20120914 aws summit_lt
20120914 aws summit_lt
 
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
 
Cloudflareを活用したWebパフォーマンスチューニング
Cloudflareを活用したWebパフォーマンスチューニングCloudflareを活用したWebパフォーマンスチューニング
Cloudflareを活用したWebパフォーマンスチューニング
 
[teratail Study ~機械学習編#2~] Microsoft AzureのAI関連サービス
[teratail Study ~機械学習編#2~] Microsoft AzureのAI関連サービス[teratail Study ~機械学習編#2~] Microsoft AzureのAI関連サービス
[teratail Study ~機械学習編#2~] Microsoft AzureのAI関連サービス
 
美团点评沙龙012-从零到千万量级的实时物流平台架构实践
美团点评沙龙012-从零到千万量级的实时物流平台架构实践美团点评沙龙012-从零到千万量级的实时物流平台架构实践
美团点评沙龙012-从零到千万量级的实时物流平台架构实践
 
AWS市場動向と求められる人材、その育成方法について
AWS市場動向と求められる人材、その育成方法について AWS市場動向と求められる人材、その育成方法について
AWS市場動向と求められる人材、その育成方法について
 
リアルタイムゲームサーバーの ベンチマークをとる方法
リアルタイムゲームサーバーの ベンチマークをとる方法リアルタイムゲームサーバーの ベンチマークをとる方法
リアルタイムゲームサーバーの ベンチマークをとる方法
 
Share pointを支えるsql server2014最新情報 tokyo_公開用
Share pointを支えるsql server2014最新情報 tokyo_公開用Share pointを支えるsql server2014最新情報 tokyo_公開用
Share pointを支えるsql server2014最新情報 tokyo_公開用
 

More from LINE Corp.

18.07.11_useR2018 Poster_Time Series Digger : Automatic time series analysis ...
18.07.11_useR2018 Poster_Time Series Digger : Automatic time series analysis ...18.07.11_useR2018 Poster_Time Series Digger : Automatic time series analysis ...
18.07.11_useR2018 Poster_Time Series Digger : Automatic time series analysis ...
LINE Corp.
 
18.02.05_IAAI2018_Mobille Network Failure Event Detection and Forecasting wit...
18.02.05_IAAI2018_Mobille Network Failure Event Detection and Forecasting wit...18.02.05_IAAI2018_Mobille Network Failure Event Detection and Forecasting wit...
18.02.05_IAAI2018_Mobille Network Failure Event Detection and Forecasting wit...
LINE Corp.
 
17.04.27_JSAI Cup 2017_5th winner's solution
17.04.27_JSAI Cup 2017_5th winner's solution17.04.27_JSAI Cup 2017_5th winner's solution
17.04.27_JSAI Cup 2017_5th winner's solution
LINE Corp.
 
17.11.29_論文紹介_BRACID a comprehensive approach to learning rules from imbalanc...
17.11.29_論文紹介_BRACID a comprehensive approach to learning rules from imbalanc...17.11.29_論文紹介_BRACID a comprehensive approach to learning rules from imbalanc...
17.11.29_論文紹介_BRACID a comprehensive approach to learning rules from imbalanc...
LINE Corp.
 
17.04.21_論文紹介_Decision bireducts and decision reducts - a comparison
17.04.21_論文紹介_Decision bireducts and decision reducts - a comparison17.04.21_論文紹介_Decision bireducts and decision reducts - a comparison
17.04.21_論文紹介_Decision bireducts and decision reducts - a comparison
LINE Corp.
 
17.01.18_論文紹介_Discrimination- and privacy-aware patterns
17.01.18_論文紹介_Discrimination- and privacy-aware patterns17.01.18_論文紹介_Discrimination- and privacy-aware patterns
17.01.18_論文紹介_Discrimination- and privacy-aware patterns
LINE Corp.
 
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
LINE Corp.
 
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
LINE Corp.
 
13.03.09_決定ルール解析のための頑健性指標
13.03.09_決定ルール解析のための頑健性指標13.03.09_決定ルール解析のための頑健性指標
13.03.09_決定ルール解析のための頑健性指標
LINE Corp.
 
13.11.15_野村総研マーケティング分析コンテスト2013(佳作賞)_Facebookとtwitterの利用者に対する消費行動分析とそれに基づく広告...
13.11.15_野村総研マーケティング分析コンテスト2013(佳作賞)_Facebookとtwitterの利用者に対する消費行動分析とそれに基づく広告...13.11.15_野村総研マーケティング分析コンテスト2013(佳作賞)_Facebookとtwitterの利用者に対する消費行動分析とそれに基づく広告...
13.11.15_野村総研マーケティング分析コンテスト2013(佳作賞)_Facebookとtwitterの利用者に対する消費行動分析とそれに基づく広告...LINE Corp.
 
14.01.31_アドベンチャー杯2013_情報工学分野と他の研究分野間の関連度分析
14.01.31_アドベンチャー杯2013_情報工学分野と他の研究分野間の関連度分析14.01.31_アドベンチャー杯2013_情報工学分野と他の研究分野間の関連度分析
14.01.31_アドベンチャー杯2013_情報工学分野と他の研究分野間の関連度分析
LINE Corp.
 
Rによるテキストマイニングの一例
Rによるテキストマイニングの一例Rによるテキストマイニングの一例
Rによるテキストマイニングの一例LINE Corp.
 
Rによる決定木解析の一例
Rによる決定木解析の一例Rによる決定木解析の一例
Rによる決定木解析の一例LINE Corp.
 
11.12.06_論文紹介_Classification systems based on rough sets under the belief fun...
11.12.06_論文紹介_Classification systems based on rough sets under the belief fun...11.12.06_論文紹介_Classification systems based on rough sets under the belief fun...
11.12.06_論文紹介_Classification systems based on rough sets under the belief fun...LINE Corp.
 
13.12.21_大ヒットの方程式数理モデル解説
13.12.21_大ヒットの方程式数理モデル解説13.12.21_大ヒットの方程式数理モデル解説
13.12.21_大ヒットの方程式数理モデル解説LINE Corp.
 
13.12.07 CIKM2013読み会
13.12.07 CIKM2013読み会13.12.07 CIKM2013読み会
13.12.07 CIKM2013読み会LINE Corp.
 
11.05.10_論文紹介_Can Bayesian Confirmation Measures be Useful for Rough Set Deci...
11.05.10_論文紹介_Can Bayesian Confirmation Measures be Useful for Rough Set Deci...11.05.10_論文紹介_Can Bayesian Confirmation Measures be Useful for Rough Set Deci...
11.05.10_論文紹介_Can Bayesian Confirmation Measures be Useful for Rough Set Deci...LINE Corp.
 
11.11.27_2011年度数理システム学生研究奨励賞「佳作賞」_ニュースサイトにおける大学生の嗜好要因の特定とサイト制作への応用_
11.11.27_2011年度数理システム学生研究奨励賞「佳作賞」_ニュースサイトにおける大学生の嗜好要因の特定とサイト制作への応用_11.11.27_2011年度数理システム学生研究奨励賞「佳作賞」_ニュースサイトにおける大学生の嗜好要因の特定とサイト制作への応用_
11.11.27_2011年度数理システム学生研究奨励賞「佳作賞」_ニュースサイトにおける大学生の嗜好要因の特定とサイト制作への応用_LINE Corp.
 
12.11.06_2012年度S-PLUS学生研究奨励賞「佳作賞」_数量化理論第Ⅱ類とアソシエーションルール解析による自動車バナーデザインの分析
12.11.06_2012年度S-PLUS学生研究奨励賞「佳作賞」_数量化理論第Ⅱ類とアソシエーションルール解析による自動車バナーデザインの分析12.11.06_2012年度S-PLUS学生研究奨励賞「佳作賞」_数量化理論第Ⅱ類とアソシエーションルール解析による自動車バナーデザインの分析
12.11.06_2012年度S-PLUS学生研究奨励賞「佳作賞」_数量化理論第Ⅱ類とアソシエーションルール解析による自動車バナーデザインの分析LINE Corp.
 
12.10.22_論文紹介_Measuring expected effects of interventions based on decision r...
12.10.22_論文紹介_Measuring expected effects of interventions based on decision r...12.10.22_論文紹介_Measuring expected effects of interventions based on decision r...
12.10.22_論文紹介_Measuring expected effects of interventions based on decision r...
LINE Corp.
 

More from LINE Corp. (20)

18.07.11_useR2018 Poster_Time Series Digger : Automatic time series analysis ...
18.07.11_useR2018 Poster_Time Series Digger : Automatic time series analysis ...18.07.11_useR2018 Poster_Time Series Digger : Automatic time series analysis ...
18.07.11_useR2018 Poster_Time Series Digger : Automatic time series analysis ...
 
18.02.05_IAAI2018_Mobille Network Failure Event Detection and Forecasting wit...
18.02.05_IAAI2018_Mobille Network Failure Event Detection and Forecasting wit...18.02.05_IAAI2018_Mobille Network Failure Event Detection and Forecasting wit...
18.02.05_IAAI2018_Mobille Network Failure Event Detection and Forecasting wit...
 
17.04.27_JSAI Cup 2017_5th winner's solution
17.04.27_JSAI Cup 2017_5th winner's solution17.04.27_JSAI Cup 2017_5th winner's solution
17.04.27_JSAI Cup 2017_5th winner's solution
 
17.11.29_論文紹介_BRACID a comprehensive approach to learning rules from imbalanc...
17.11.29_論文紹介_BRACID a comprehensive approach to learning rules from imbalanc...17.11.29_論文紹介_BRACID a comprehensive approach to learning rules from imbalanc...
17.11.29_論文紹介_BRACID a comprehensive approach to learning rules from imbalanc...
 
17.04.21_論文紹介_Decision bireducts and decision reducts - a comparison
17.04.21_論文紹介_Decision bireducts and decision reducts - a comparison17.04.21_論文紹介_Decision bireducts and decision reducts - a comparison
17.04.21_論文紹介_Decision bireducts and decision reducts - a comparison
 
17.01.18_論文紹介_Discrimination- and privacy-aware patterns
17.01.18_論文紹介_Discrimination- and privacy-aware patterns17.01.18_論文紹介_Discrimination- and privacy-aware patterns
17.01.18_論文紹介_Discrimination- and privacy-aware patterns
 
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
 
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
 
13.03.09_決定ルール解析のための頑健性指標
13.03.09_決定ルール解析のための頑健性指標13.03.09_決定ルール解析のための頑健性指標
13.03.09_決定ルール解析のための頑健性指標
 
13.11.15_野村総研マーケティング分析コンテスト2013(佳作賞)_Facebookとtwitterの利用者に対する消費行動分析とそれに基づく広告...
13.11.15_野村総研マーケティング分析コンテスト2013(佳作賞)_Facebookとtwitterの利用者に対する消費行動分析とそれに基づく広告...13.11.15_野村総研マーケティング分析コンテスト2013(佳作賞)_Facebookとtwitterの利用者に対する消費行動分析とそれに基づく広告...
13.11.15_野村総研マーケティング分析コンテスト2013(佳作賞)_Facebookとtwitterの利用者に対する消費行動分析とそれに基づく広告...
 
14.01.31_アドベンチャー杯2013_情報工学分野と他の研究分野間の関連度分析
14.01.31_アドベンチャー杯2013_情報工学分野と他の研究分野間の関連度分析14.01.31_アドベンチャー杯2013_情報工学分野と他の研究分野間の関連度分析
14.01.31_アドベンチャー杯2013_情報工学分野と他の研究分野間の関連度分析
 
Rによるテキストマイニングの一例
Rによるテキストマイニングの一例Rによるテキストマイニングの一例
Rによるテキストマイニングの一例
 
Rによる決定木解析の一例
Rによる決定木解析の一例Rによる決定木解析の一例
Rによる決定木解析の一例
 
11.12.06_論文紹介_Classification systems based on rough sets under the belief fun...
11.12.06_論文紹介_Classification systems based on rough sets under the belief fun...11.12.06_論文紹介_Classification systems based on rough sets under the belief fun...
11.12.06_論文紹介_Classification systems based on rough sets under the belief fun...
 
13.12.21_大ヒットの方程式数理モデル解説
13.12.21_大ヒットの方程式数理モデル解説13.12.21_大ヒットの方程式数理モデル解説
13.12.21_大ヒットの方程式数理モデル解説
 
13.12.07 CIKM2013読み会
13.12.07 CIKM2013読み会13.12.07 CIKM2013読み会
13.12.07 CIKM2013読み会
 
11.05.10_論文紹介_Can Bayesian Confirmation Measures be Useful for Rough Set Deci...
11.05.10_論文紹介_Can Bayesian Confirmation Measures be Useful for Rough Set Deci...11.05.10_論文紹介_Can Bayesian Confirmation Measures be Useful for Rough Set Deci...
11.05.10_論文紹介_Can Bayesian Confirmation Measures be Useful for Rough Set Deci...
 
11.11.27_2011年度数理システム学生研究奨励賞「佳作賞」_ニュースサイトにおける大学生の嗜好要因の特定とサイト制作への応用_
11.11.27_2011年度数理システム学生研究奨励賞「佳作賞」_ニュースサイトにおける大学生の嗜好要因の特定とサイト制作への応用_11.11.27_2011年度数理システム学生研究奨励賞「佳作賞」_ニュースサイトにおける大学生の嗜好要因の特定とサイト制作への応用_
11.11.27_2011年度数理システム学生研究奨励賞「佳作賞」_ニュースサイトにおける大学生の嗜好要因の特定とサイト制作への応用_
 
12.11.06_2012年度S-PLUS学生研究奨励賞「佳作賞」_数量化理論第Ⅱ類とアソシエーションルール解析による自動車バナーデザインの分析
12.11.06_2012年度S-PLUS学生研究奨励賞「佳作賞」_数量化理論第Ⅱ類とアソシエーションルール解析による自動車バナーデザインの分析12.11.06_2012年度S-PLUS学生研究奨励賞「佳作賞」_数量化理論第Ⅱ類とアソシエーションルール解析による自動車バナーデザインの分析
12.11.06_2012年度S-PLUS学生研究奨励賞「佳作賞」_数量化理論第Ⅱ類とアソシエーションルール解析による自動車バナーデザインの分析
 
12.10.22_論文紹介_Measuring expected effects of interventions based on decision r...
12.10.22_論文紹介_Measuring expected effects of interventions based on decision r...12.10.22_論文紹介_Measuring expected effects of interventions based on decision r...
12.10.22_論文紹介_Measuring expected effects of interventions based on decision r...
 

14.09.12_インターネット測定システムの開発と運用

  • 1. インターネット測定システムの 開発と運用 2014.09.12 IA研究会 エヌ・ティ・ティ・コミュニケーションズ株式会社 ◯大木基至・亀井聡
  • 2. 00. 発表の流れ 01. 背景と⽬目的 02. インターネットの品質測定に関する動向 03. インターネット測定システムの設計 04. インターネット測定システムの運⽤用 05. 品質測定結果の応⽤用 06. 現状の課題 07. まとめ 2/22
  • 3. 01. 背景と目的 ①顧客満⾜足度度の向上と⾃自社網の運⽤用効率率率化のため • ネットワークの実際の品質情報はユーザーは知らない • ユーザ体感をとらえるため(MIB・フロー以外で) – トラフィック量量が少ないからといって品質が良良いとは限らない ②コンテンツ事業者・CDN事業者の挙動を把握するため • HyperGiants (Google, Akamai) のトラフィックが増⼤大 – AKAMAIは世界の3割のWebトラフィックを流流す – ⾮非AKAMAI ASから、AKAMAIによるコンテンツ配信もある • インターネットを流流れるトラフィックの割合も変化 • BGP情報だけでは、分からないことが増加 – AS間の経路路(パス)は把握できるが、どこからAKAMAI, CDN 配信されるかは捉えきれない – 混んでるときは遠いところからも配信される 3/22
  • 4. 01. 背景と目的 ③コンテンツ事業者による調査レポートに対抗するため • 2014年年1⽉月にGoogleがカナダのISP Report を公開 – Youtube閲覧時に対してエリアごとのISP品質を格付け評価 • Sandvine社やAkamaiなどもレポートを公開 カリフォルニア州で⾒見見たISP品質⽐比較のトップページGoogle 基準でISP品質を3段階に格付け 4/22
  • 5. 02. 品質測定に関する動向 アメリカの動向 • FCC(連邦通信委員会)が中⼼心となり、2010年年より品質測定 を実施し、レポートを作成 • Samknows社のWhiteboxデバイスを使⽤用して、ISPの宣伝値 と測定した実測値の違いを公開 5/22
  • 6. 02. 品質測定に関する動向 イギリスの動向 • Ofcom(英国情報通信庁)が、2008年年より品質測定のため の専⽤用機器をインターネット利利⽤用者宅宅に設置して測定を実施 • キャリア間の通信速度度のばらつき、モバイルとの違いをサー ビス利利⽤用者に通知 フランスの動向 • ARCEP(電⼦子通信郵便便規制庁)が、2013年年より、計測 サイトへアクセスする形態で、品質測定を⾏行行い、通信速 度度等のサービス品質を公表 6/22
  • 7. 02. 品質測定に関する動向 ⽇日本の動向 • 総務省省で2013年年11⽉月より「インターネットのサービス 品質計測等のあり⽅方に関する研究会」が発⾜足 – 現状では、2014年年4⽉月の第5回まで開催 • 主にモバイルトラフィックの品質 – アメリカのFCC,イギリスのOfcom,フランスのARCEPの計測 を参考にして計測案を作成 • FCCは⼀一般ユーザ,Ofcomは⼀一般ユーザと調査員, ARCEPは調査員による計測がメイン • 今年年度度調査員による⼈人⼝口メッシュで1500箇所,15都市 での測定を計画予定 7/22
  • 8. 02. 品質測定に関する動向 LMAP WG の動向 • Large-‐‑‒Scale Measurement of Broadband Performance • IETFで、アメリカのFCCメンバの提案により発⾜足 • ⼤大規模ネットワークの品質測定のための標準化を⽬目指す • 議論論されているWGドラフト – 1. ユースケース – 2. フレームワーク – 3. インフォメーションモデル – 4. プロトコル • 現状はISP網内が焦点。今後拡張される予定 8/22
  • 9. 02. 品質測定に関する動向 LMAP WG と IPPM WG のアーキテクチャ Controller Measurement Agent(MA) Measurement Peer (MP) ①利利⽤用ケース ④制御プロトコル④報告プロトコル Collector LMAP WG IPPM WG 測定⽅方法 ③モデル ②フレームワーク 9/22
  • 10. 03. インターネット測定システムの設計 インターネット測定システムの概要図 • 2011年年より測定を開始し、現在140ヶ所以上で運⽤用中 VPN 動画配信 サーバ コンテンツ 配信サーバ アクセス回線DB 分析ポータル ③データクレンジング④データ分析 測定エージェント(MA) ①品質測定 ②品質測定 結果の転送 品質測定対象 ISP 網 マスターサーバ分析サーバ 10/22
  • 11. 03. インターネット測定システムの設計 測定エージェント(Measurement Agent:MA) • OpenBlocks AX3を使⽤用 – ぷらっとホーム株式会社 – 仕様 • Debian OS • Dual Core • Marvell ARMADA XP 1.33GHz • 1 GB SDRAM memory • 選定理理由 – ⼩小型で設置しやすい – ソフトウェアの拡張性 – 数⼗十MB以上の動画ファイルのDLに 100Mbps以上のスループットを実 現するための⼗十分なCPU図. OpenBlocks AX3 11/22
  • 12. 03. インターネット測定システムの設計 MAの設置環境 ・インターネットユーザの環境宅宅でHGWからLANケーブル で接続されている 12/22
  • 13. 03. インターネット測定システムの設計 マスターサーバ • MAのコントロール – 測定スクリプトやスケジュールなどの構成管理理(ansible) • MAからの測定結果を収集(scpでのデータの転送) • データのクレンジング処理理 – データベースへ格納 13/22
  • 14. 03. インターネット測定システムの設計 品質測定指標 • ラウンドトリップタイム – MAから品質測定対象に対してICMP のエコーリクエストを送 り,ICMPのエコーリプライが返ってくるまでの応答時間 • ネットワーク経路路とホップ数 – MAから品質測定対象までのネットワーク上の経路路 – ホップ数はルータなどのネットワーク機器を通過した経路路の数 • ネットワークスループット – MAから品質測定対象のコンテンツをダウンロードするネット ワークの速度度 – HTTP GET リクエストでコンテンツをダウンロード 14/22
  • 15. 03. インターネット測定システムの設計 品質測定の⼯工程 設定したI SP アカウントの 数分繰り返す MAの電源投入 品質測定結果を マスターサーバに 転送 IPアドレスの付与(PPPoE接続を終端) マスターサーバとのVPN接続を確立 品質測定タスクの実施 15/22
  • 16. 04. インターネット測定システムの運用 品質測定対象 • どの対象を、どれくらいの数、どの程度度のコンテンツサイズ • 可能な限りインターネット上のコンテンツを代表するもの • イベント時(iOSアップデートなど)の関係コンテンツ インターネットのトラフィック量量に影響のあるサービス • 動画配信サイト(Youtube、ニコニコ動画など) • コンテンツ事業者(Akamai、Level 3など) ユーザーからのアクセスが多いサービス • ポータルサイト(Google、Yahoo! Japanなど) • ショッピングサイト(Amazon、楽天など) 16/22
  • 17. 04. インターネット測定システムの運用 品質測定スケジュール • (現状)30分に⼀一度度の定期測定を実施 – 品質測定指標にもとづき測定を実施 – 課題:ネットワークが混雑していると測定数が減少 • (今後)”できる限り”測定数を増やす仕組みを開発中 – LMAPのスケジューリングモデルをベースに • Periodic:開始と終了了とインターバル • Calendar:カレンダー形式(e.g. 平⽇日の各時間の1分に) • One Off:特定の時間に1度度 • Immediate:できる限りはやく • Startup:何かの始まり時に(e.g. 起動した時に) 17/22
  • 18. 05. 品質測定結果の応用 応⽤用例例1:分析ポータルサイトの開発 ・Webブラウザ上で閲覧できる ・地域、期間、測定対象を選択し、品質測定指標の結果を時系列列で表⽰示する 18/22
  • 19. 05. 品質測定結果の応用 応⽤用例例2:地域やISP間の品質の違いを可視化し、品質把握 (例例:ISP Aは東京で速い。ISP Cは⻄西で速い) ・ネットワークスループットの箱ひげ図による可視化 ・横軸:時間 縦軸:スループット 19/22
  • 20. 06. 現状の課題 1. 設計上の課題 • システムのスケーラビリティの改善 – VPNによるセッション確⽴立立 ⇒ メンテナンス時を除いて、セッションを貼らない仕組み – SSHによるデータ転送 ⇒ fluentd等のミドルウェアを検討中 • ⾃自律律的なスケジューリング – ネットワークが混雑している場合、測定が完了了しない – ⼗十分な量量の測定結果の取得ができない ⇒ 独⾃自アルゴリズムで計測数増⼤大を開発中 • IPv6のネットワークへの対応 – IPv6ネットワークの利利⽤用範囲拡⼤大 – フレッツのHGWのファームウェアアップデートへの対応 20/22
  • 21. 06. 現状の課題 2. 運⽤用上の課題 • モニターユーザー宅宅での測定の安定稼働 – LANケーブル、電源ケーブルの抜け – MAの故障 – プラン、測定地点の間違い(プランによって⼯工事に時間も) – モニターユーザ数の維持(MAの24時間起動条件、熱がこもる、 全国で均等な数) ⇒ 継続した監視とモニターユーザの安定必要に • 品質測定対象の挙動によるデータ⽋欠落落 – コンテンツ配信サーバの設定が変化し、急に測定失敗が続く • ホスト名の変化 • リダイレクト対応 ⇒ 測定側では制御が困難なため、柔軟な対応が必要 21/22
  • 22. 07. まとめ 本稿の成果 • インターネット測定システムを開発した • 運⽤用上の経験と課題について報告した 今後の取り組み • 収集した品質測定データに基づくISP戦略略 • システムの改良良 • 安定した運⽤用の継続と測定地域の拡⼤大 • LMAP WG等の標準化への貢献 22/22