1
株式会社インターネットイニシアティブ
大内 宗徳
IIJmio mtg #6
IIJmioの通信品質について
2
はじめに
• IIJmio meeting #3でも通信品質の話をしました
• てくろぐ: スマホの通話サービス・IIJmioのこだわり・
スピードテスト
http://techlog.iij.ad.jp/archives/1059
• この時は、クーポンOFF時のバースト通信について
• 多くのユーザはクーポンON状態なので実はあまり関係ない…
• 今回は、IIJmioサービスの通信品質全般に関する話
• そもそも、通信品質とは?
• IIJの通信品質を維持するための取り組み
• モバイルインフラの話
• 皆さん大好き、通信品質測定の話も!
• MNOとMVNOの品質の差がわかるはず!
3
そもそも通信品質とは?
• (通信品質がよい) = (speedtestでいい結果) なのか?
=> 必ずしもそうではない!
• 「通信サービスの品質」はおおまかに2通りに分類
1. 可用性
• サービスが利用可能な状態にあるか?
• 障害発生時に迅速に復旧が可能か?
2. 通信品質
• インターネット接続状態での通信品質
• 通信速度/遅延/パケットロス
=> speedtest等でわかるもの
• 安定した通信品質が提供できているか
• 通信サービスの品質を維持するための取り組みを紹介
4
1. 可用性を維持するための取り組み
5
1-1 サービスが利用可能な状態を維持するため
• MNOとの相互接続の冗長化
• インターネットへ接続の冗長化
• モバイル設備の冗長化
1-2 障害発生時に迅速に復旧するため
• 設備監視による障害および異常状態の早期検出
• IIJのネットワークインフラを支えるエンジニアが対応
1-3 その他可用性を維持するため
• 設備が安定動作するか事前確認
• 障害発生時の調査、再現試験、障害回避対応
1. 可用性を維持するための取り組み
6
MNOとの相互接続の冗長化
• MNOのネットワークと相互接続を冗長化しています
• MNO<->IIJ間の専用線の片方で障害が発生大丈夫!
MNO
(NTTドコモ)
IIJ インターネット・
・
7
MNOとの相互接続の冗長化
• MNOのネットワークと相互接続を冗長化しています
• MNO<->IIJ間の専用線の片方で障害が発生大丈夫!
MNO
(NTTドコモ)
IIJ インターネット・
・
8
インターネット接続の冗長化
MNO
(NTTドコモ)
IIJ インターネット・
・
• 国内/海外へ張り巡らされた冗長化されたバックボー
ンネットワーク
• 主要なISP/コンテンツプロバイダーと広帯域で相互
接続を行い冗長化
9
インターネット接続の冗長化
MNO
(NTTドコモ)
IIJ インターネット・
・
• 国内/海外へ張り巡らされた冗長化されたバックボー
ンネットワーク
• 主要なISP/コンテンツプロバイダーと広帯域で相互
接続を行い冗長化
10
インターネット接続の冗長化
• IIJ バックボーンネットワーク
http://www.iij.ad.jp/company/network/backbone/
• IIJ 100G バックボーン
http://www.iij.ad.jp/company/development/tech/techweek/pdf/141127_2.pdf
11
モバイル設備の冗長化
• モバイル設備を複数台で冗長化して、ユーザが接続
できる環境を維持
インターネット
・
・
PGW
GGSN
認証サーバ
PCRF
OCS
・
・
MNO
・・
・・
・・
12
モバイル設備の冗長化
• モバイル設備を複数台で冗長化して、ユーザが接続
できる環境を維持
インターネット
・
・
PGW
GGSN
認証サーバ
PCRF
OCS
・
・
MNO
・・
・・
・・
13
1-1 サービスが利用可能な状態を維持するため
• MNOとの相互接続の冗長化
• インターネットへ接続の冗長化
• モバイル設備の冗長化
1-2 障害発生時に迅速に復旧するため
• 設備監視による障害および異常状態の早期検出
• IIJのネットワークインフラを支えるエンジニアが対応
1-3その他可用性を維持するため
• 設備が安定動作するか事前確認
• 障害発生時の調査、再現試験、障害回避対応
1. 可用性を維持するための取り組み
14
設備監視による障害および異常状態の早期検出
インターネット
・
・
PGW
GGSN
認証サーバ
PCRF
OCS
・
・
MNO
・・
・・
・・
• 各機器に対する稼働確認や各種ログ監視を実施
• 早期に障害の発生を検出!
• MNO側での問題など、IIJ側の監視では分からない、ユー
ザの生の声を拾うため、twitter/2chも参考に
15
IIJのネットワークインフラを支えるエンジニアが対応
• 異常検出時の障害対応
• IIJのモバイル設備の開発/設計/構築/テスト/運用
を担当するエンジニアチームが直接対応
• 障害箇所の特定とサービス復旧を迅速に実施!
異常検出 復旧
エンジニアチームが対応
ハード故障の場合は
機器交換
16
1-1 サービスが利用可能な状態を維持するため
• MNOとの相互接続の冗長化
• インターネットへ接続の冗長化
• モバイル設備の冗長化
1-2 障害発生時に迅速に復旧するため
• 設備監視による障害および異常状態の早期検出
• IIJのネットワークインフラを支えるエンジニアが対応
1-3 その他可用性を維持するため
• 設備が安定動作するか事前確認
• 障害発生時の調査、再現試験、障害回避対応
1. 可用性を維持するための取り組み
17
設備が安定動作するか事前確認
• 可用性を上げるためには事前確認は必須
• 新規設備の導入、新規サービス導入時の機器のfirmware
の更新が必要な場合等で
• IIJのエンジニアチーム自身で動作に問題がないかを確認
• 問題があれば、回避策やfirmwareの改修を検討
(例) PGW/GGSNのテストは、MNO(ユーザ)やインターネット
をシミュレートするテスターを利用して実施
PGW/GGSN
MNO インターネット
IIJエンジニアチームがテスト
シミュレーター シミュレーター
18
障害発生時の調査、再現試験、障害回避対応
• 次の障害を防いだり、障害発生を早期に検出、断時間
を極力短くし、可用性をあげるために重要
• IIJでは起きたことを分析して、必ず次へ生かしてい
ます!
• サービス復旧させた後に下記を実施
• 障害時の状況について調査
• 機器が生成するログ等を頼りに自社で実施
• 必要に応じて、テスト環境で再現試験の実施
• 設備側の問題なのか切り分けのため、自社で実施
• 原因判明したら対応を検討
• 設備firmwareの改修対応
• 運用、監視方法の変更
• 問題が発生しないように設備側の設定変更
19
2. 通信品質を維持するための取り組み
20
2-1 快適な通信品質維持するために
• モバイルに特化したネットワーク設計
• 適切な相互接続帯域の確保
• モバイル設備増強の計画立案、実施
2-2 安定した通信品質が提供できているかの確認
• 通信品質測定システムによる監視
• 通信品質測定システム実装
• 通信品質測定システムによる結果
2. 通信品質を維持するための取り組み
21
モバイルに特化したネットワーク設計
MNO
(NTTドコモ)
IIJ インターネット・
・
相互接続
• MVNOサービスのキモは、適切な相互接続帯域にいか
に多数のユーザを収容できるかが重要
• NTTドコモの場合: 10Mbps–約123万円/月(2015/01/13現在)
• ベストエフォートで多数のユーザを詰め込むと?
-> 安かろう、悪かろうなサービスに!
• 通信品質を維持するためには、適切なサービスプランとネッ
トワーク設計が重要
22
モバイルに特化したネットワーク設計
• IIJでは下記の点を考慮してサービス設計
• クーポン制。制限なし通信の上限を設ける
• クーポンOFF時はバースト通信の許容
(参考) IIJmio meeting for IIJ Technical WEEK 2014
http://www.iij.ad.jp/company/development/tech/techweek/pdf/141127_3.pdf
• 相互接続での輻輳時のユーザ通信の最適化
• 適切な相互接続帯域の確保
-> この内容に関して更に詳細に解説
23
適切な相互接続帯域の確保
• 社内のワーキンググループで検討
• 毎週、必要となる帯域予測と増速計画立案、実施を検討
• 帯域の増速は必要なタイミングで随時実施
• 2014年は毎月1回以上、接続帯域の増速を実施した
• 帯域増速の頻度だけでなく、適切な帯域も確保することが
重要
• IIJで必要な帯域確保は下記の点を考慮
• 短期的に必要な帯域予測
=> (平均ユーザトラフィック) x (獲得予定ユーザ数)
• 昼、夜のピークトラフィックをどこまで救済するか
• 会社としての設備投資への予算計画
• その他(新規サービス、サービススペック上げるとか)
24
適切な相互接続帯域の確保
25
モバイル設備増強の計画立案、実施
インターネット
・
・
PGW
GGSN
認証サーバ
PCRF
OCS
・
・
MNO
・・
・・
・・
• 可用性や通信品質の低下を防ぐ
• 設備の処理能力を超えてユーザを収容するとサービスが不
安定になり問題が発生するため
• IIJのモバイルエンジニアチームが検討
• ユーザ増加での既存設備の処理能力の不足時期を予測
• 事業計画/ユーザ数の伸び/設備の処理能力を考慮
• 設備増強の対応
• 短期的な増強 -> 同等の設備追加
• 中長期的な観点での増強
• 数年間は耐えられる処理能力が高いものに置き換え
• 早めの検討が重要
• 設備の選定、調達、試験等を考えると最低でも1年ぐらい前
に決めないと間に合わない
26
2-1 快適な通信品質維持するために
• モバイルに特化したネットワーク設計
• 必要となる帯域予測と増速計画立案、実施
• モバイル設備増強の計画立案、実施
2-2 安定した通信品質が提供できているかの確認
• 通信品質測定システムによる監視
• 通信品質測定システム実装
• 通信品質測定システムによる結果
2. 通信品質を維持するための取り組み
27
通信品質測定システムによる監視
MNO
(NTTドコモ)
IIJ インターネット・
・
• 設計通りの安定した品質が提供できているか確認
• IIJネットワーク内の監視サーバとPC(3G/LTE モデ
ム)間で、通信品質を常時測定
28
通信品質測定システム実装
• Smokeping + 測定用の独自開発プローブを利用
• Smokeping とは?
• 監視対象からの’’応答時間’’を測定
• Smokepingサーバ側がターゲットに向かってパケット投げる
• Probe(モジュール)によって監視項目を変更可能(ping/ftp/http…)
•測定用の独自開発プローブ
• HTTPでデータのdownload速度を計測(Mbps単位)
• 特徴
• NAT超えに対応
• 回線速度が動的に変化する環境に対応
• 測定帯域の上限を設定する機能あり
• 利用端末
• PC+USBモデム(いろいろ)
29
通信品質測定システム実装
• 測定項目
• HTTPデータdownloadによる速度を測定
• 10分毎に 1.5Mbps を上限に3回の帯域測定
• 対象によっては、30分、1時間毎の場合も
• 注意
• Speedtest等のような最大速度の計測はしてませ
ん
• 安定した通信品質が提供できているか確認する
のが目的のため
30
通信品質測定システムによる結果
結果を見て頂く前の注意事項!
• 本システムを利用しての測定時点での結果です
• 端末、測定手法(アプリ)、時間、場所、環境によって
通信品質の測定結果は変動します
• あくまで参考までに!
最終的には、実際に各自利用してみ
て、自分の目で確認して下さい
• 大内のだしている結果は自社に有利な結果のみだ
しているのだと、疑いの目で見るぐらいの慎重さで
資料をみてください
31
通信品質測定システムによる結果
• 測定期間
– 2015/01/06 00:00 -> 2015/01/09 00:00 (72時間)
• 測定場所
– IIJ 飯田橋本社
32
通信品質測定システムによる結果
33
通信品質測定システムによる結果
34
通信品質測定システムによる結果
35
通信品質測定システムによる結果
36
通信品質測定システムによる結果
37
通信品質測定システムによる結果
• IIJmioの通信品質について説明しました
• では、他社を含めたMVNOの通信品質はどう
なっているのか?
– IIJmioの通信品質は、良いのか?悪いのか?
– 様々なMVNOで調べてみました!
38
3. MVNOの通信品質について
39
MVNOの通信品質について
40
MVNOの通信品質について
41
MVNOの通信品質について
42
MVNOの通信品質について
43
MVNOの通信品質について
44
MVNOの通信品質について
45
MVNOの通信品質について
• 他社を含めたMVNOの通信品質まとめ
– お昼時間(12:00-13:00)と夜間帯(18:00-24:00)の品
質が低下する傾向にある
• その程度は各社のサービスプラン、インフラ設備、相互
接続帯域確保状況によって異なっているようにみえる
46
MVNOの通信品質について
(参考)なぜ急激な品質低下がおこるのか?
– 通信に広く使われているTCPプロトコルはパケットロスに非常
に敏感
– 数%のパケットロス(100パケット中数個)でスループットが急激
に低下する(下図)
Port0:サーバ
Port1:クライアント
47
MVNOの通信品質について
(再度注意)
• 各社とも設備および相互接続帯域の増強は
常に検討、および、実施しているはずです
• 測定時点の結果より、改善している可能性は
ありますので、この結果をそのまま鵜呑みに
しないでください
• 最終的には自分の目で確認して、MVNOの
サービスの品質に納得して、ご利用をお願い
します
48
まとめ
• IIJmioのサービスでサービスの品質を維持するため
の取り組みを紹介しました
• また、実際の測定結果を元にMVNOのサービスの通
信品質とはどのようなものか解説しました
• 最後に、IIJmioサービスで快適なモバイルライフをご
利用頂けるよう、モバイルインフラの強化、通信品質
の維持にむけて継続して取り組んでいきます。

IIJmio meeting 6 IIJmioの通信品質について