5. PPT share
Meeting
White board
Meeting
IM/Presence
P2P & Meeting
HTTP
Auth/Other
service
• PowerPoint 共有は必ずオンランミーティングとなり、サーバーとの通信となる
• 変換されたプレゼンテーションコンテンツのダウンロードはバーストする
• 参加時、ダウンロードの使用帯域は大きいが、それ以降の制御通信は少ない
• ホワイトボード共有も必ずオンラインミーティングとなり、サーバーとの通信となる
• 制御通信と軽微なコンテンツの送受信のみで使用帯域は少ない
• Skype for Business は SIP、Microsoft Teams は HTTP ベースのプロトコル
• クライアント–サーバーの通信形態となり、P2P でもクライアント間では直接通信しない
• 状況によるが、使用帯域はそれほど多くはない
• サインイン時の認証やユーザー検索などは HTTP が用いられている
• Microsoft Teams が ExO、SPO、ODB 等の他リソースへアクセスする際も HTTP が用い
られる
• 例えばファイルのアップ/ダウンロードなど、使用帯域は種類や状況により異なる
その他の通信についても多少の配慮は必要
PPT
6. OCS/Lync/Skype for Business/Teams メディアコネクション
Microsoft UC 製品に古くから用いられている実装で、エンドポイント間のメディア接続で利用されている。
STUN/TURN により NAT や FW を超え、一般的なインターネット接続環境下からの接続性を確保する。
TRAP は Teams で対応した新しい実装であり、Skype for Business Online でも一部展開されている。
• Interactive Connectivity Establishment
NAT や FW を超えて、エンドポイントデバイス間でメディアの接続を実現する実装の総称
ICE
• Simple Traversal of UDP through NAT / Session Traversal Utilities for NAT
NAT 内部のデバイスが、インターネット上のデバイスと NAT を超えて直接メディアを接続する
STUN
• Traversal Using Relay NAT
NAT / FW の関係で STUN では直接接続できない場合、サーバーを経由したリレー方式でメディアを接続する
TURN
• Transport Relay
Anycast IP により、最寄りの TRAP Server 経由で接続し、インターネット回線区間を減らして品質を高める
TRAP
new
7. 通信経路 – P2P Conversation
※メディアストリームはクライアント間で直接接続される
※相互方向の宛先ポートは TCP/UCP:50000-50059
Microsoft Teams Server
Skype for Business Online Server
The Internet
組織間・異ネットワークのクライアント間接続
(フェデレーションや外部ユーザー)
Microsoft Teams Server
Skype for Business Online Server
The Internet
メディアストリーム
組織内・イントラネット内のクライアント間接続
(クライアント間で直接通信可能)
※クライアント間で直接通信できない場合は O365 を経由するリレー接続
※インターネットを経由し、宛先ポートは TCP:443 / UDP:3478-3481
※Proxy Server でしか接続できない環境では TCP:443 が利用される
8. 通信経路 – Multiparty Conversation
※メディアストリームは必ずサーバーとの接続になる
※Ad-Hoc や PPT 共有など、P2P から会議接続に切り替わるケースもある
※インターネットを経由し、宛先ポートは TCP:443 / UDP:3478-3481
Microsoft Teams Server
Skype for Business Online Server
The Internet
組織外・社外ユーザーがオンライン会議へ参加
(ゲストユーザーやフェデレーション接続)
Microsoft Teams Server
Skype for Business Online Server
The Internet
組織内のユーザーがオンライン会議へ参加
(参加人数に関わらず、必ずサーバーとの接続)
※オンライン会議への参加はネットワークの場所に関わらずサーバーとの接続になる
※インターネットを経由し、宛先ポートは TCP:443 / UDP:3478-3481
9. 通信経路 – Transport Relay
EU
TR Server
US
TR Server
AP TR Server
Microsoft Office 365
AP Bridge
EU User
AP User
US User
クライアントから近い入口を経由して Office 365 に接続する
(SLA の無いインターネット区間が短くて済む)
Managed
Unmanaged
Unmanaged
Unmanaged
会議を主催するユーザーが所属するテナントの地域に紐づいて、該当地域のデータセンターで会議ブリッジが作成される。
旧来の TURN Relay は会議ブリッジと同じ地域の Relay Server が使われ、SLA の無いインターネット区間が長くなる。
Anycast IP ルーティングにより最寄りの Relay Sever を経由し、品質劣化要因を極力削減する。
: 品質が管理された区間
: 品質保証の無いインターネット区間
17. •負荷の増加や処理能力不足による品質劣化
• クラウドサービス利用に伴う負荷の増加を想定していなかった
• サーバーの処理能力が根本的に不足している
ソケット数の不足やセッションタイマーによる切断
•コネクション数が増加し、Proxy Server のソケット不足が発生
•ソケットのリサイクルが早まり、新しく生成された TCP コネクションも早期に破棄される可能性が出てくる
URL フィルタや SSL インスペクションによる接続不可
•メディアストリームの TCP:443 は疑似的な TLS 接続であるため、SNI 属性や証明書が含まれない
•Proxy Server のセキュリティ機能で、これらを要因として不正なセッションとして拒否されるケースがある
ダイレクト接続からのフォールバック失敗による接続不可
•Proxy Server へフォールバックするトリガーは、ダイレクト接続でTCP の 3way Hand Shake に失敗すること
•ただし、SYN > SYN ACK まで進んでしまうと接続可能と期待してフォールバックできない
•また、URL フィルタなどの場合も、TCP コネクションは完了してしまうため同様にフォールバックできなくなる
事例:Proxy Server 関連 PC
Proxy
Router
FW
The
Internet
TCP
UDP
18. 事例:その他ネットワーク関連
•ネットワーク機器の NIC 設定に関連した問題
• 事象 :P2P の会話では問題が無いが、オンライン会議のみ音声やビデオの品質が低下する
• 原因 :ONU が Full Duplex に固定されていたため、ルータとの間でミスマッチとなりロストが多発
• ポイント :再送が有効に働く通信 (Web や Mail) は、ロストによる影響を受けにくく設定ミスに気付かない
回線の利用帯域が飽和していないのにロストが多い場合は疑ってみることも重要
契約速度へ絞り込むためのキャリア側ルータの設定による問題
• 事象 :数名で PPT 共有の会議に参加すると、ダウンロードが一向に終わらず共有が開始されない
• 原因 :キャリアで契約速度まで帯域を絞り込むため、シェーピングではなくポリシングが用いられていた
• ポイント :PPT 共有はコンテンツ取得時にバーストするため、ロストが続くと再送が多発してしまう
ポリシングは負荷が低いため、価格の安い回線で用いられることがある(説明もないまま)
無線 LAN による問題
• 事象 :大きな会議室に多人数集まり、会議をブロードキャストした際に品質が低下する
• 原因 :会議室のアクセスポイントに想定以上の PC が帰属して、主催者 PC の通信品質が劣化した
• ポイント :干渉の問題があるため、単純にアクセスポイントの数を増やすことはできない
運用面での回避となるが、重要な端末については有線 LAN による接続が推奨される
ONU
CE Router
Ethernet
Full
Duplex
Auto
Negotiation
※ Auto 側は Half になりエラー多発
The
Internet
PE Router
100M
Policing
※契約速度以上のパケットは破棄
AP
※1 APに集まりすぎて主催PCに影響
21. クラウドサービス
Office 365
エンドポイントユーザー環境 イントラネット
品質劣化ポイントの把握
Input device
Internet
Proxy
Server
FW
Router
NAT BOX
インターネット
Microsoft Teams
Skype for Business Online
品質劣化の発生要因を特定して、原因となるポイントを特定することが重要。
各種レポートからの確認や切り分け調査から確認を行う。
Output device
PC
Personal
Conf Rm
ユーザー環境 キャリア Microsoft
23. Latency
Microsoft は、Go Local や Regionally Hosted
Meeting、最も新しい手段として Transport Relay
により遅延量の低減に取り組んできた。イントラ
内ではサイト毎にローカルオフロードするといっ
た対策も有効。
Loss
Reorder
Jitter
ネットワーク要因の排除
ジッターの主な発生要因はネットワーク機器の動
的バッファーにパケットが滞留すること。滞留す
る要因は回線の帯域不足や、シェアードメディア
の衝突回避、装置の処理能力不足などがある。
Proxy を要因とするケースは多く、そのため UDP
ポート開放が推奨される。
パケットロストの要因は多岐に渡る。まずは装置
の設定ミスや能力不足が無いかを確認し、排除す
ることが重要。定常的に使用帯域を計測し、帯域
不足に依存する場合は使用帯域を抑えるか、不足
している帯域を追加する必要がある。
ネットワーク経路上における、L2 / L3 の透過経路
での負荷分散を要因としているケースが考えられ
る。分散方式を見直すことでリオーダーの発生は
抑制できる。
24. まずは UDP ポートを開放してみませんか
通信種別 送信元ポート 宛先ポート/アドレス
Audio UDP : 50000-50019 UDP : 3478,3479,3480,3481
13.107.64.0/18
52.112.0.0/14
Video UDP : 50020-50039
Desktop Share (VBSS) UDP : 50040-50059
まとめるとこれだけ: UDP : 50000-50059 (60 個)
UDP :3478 - 3481 (4個)
Microsoft のアドレスレンジのみ
ファイアウォールで開放すべき UDP ポート
Office 365 URLs and IP address ranges > Skype for Business Online and Microsoft Teams
https://docs.microsoft.com/en-us/office365/enterprise/urls-and-ip-address-ranges#skype-for-business-online-and-microsoft-teams
ポートの開放方向はアウトバウンドのみ
PC FWSrc:50000 Dst:3478
Dst:50000 Src:3478
※通常の FW はインバウンド方向をあらかじめ開放する必要は無い
クライアントから接続が開始される。
サーバーからはポートが反転したパケットが返される。
アウトバウンドの通信により、インバウンドが開放。
ステートフルに開放されればよく、常時開放は不要。
outbound
inbound
25. Proxy Server と併用することも可能です
Proxy Servers for Skype for Business Online
https://docs.microsoft.com/en-us/SkypeForBusiness/optimizing-your-network/proxy-servers-for-skype-for-business-online
WAN
BranchHQ
The
Internet
FW FW
: 制御系の TCP 443 は Proxy 経由
: メディアの UDP は直接接続
Proxy
Microsoft としては、メディア通信を Proxy Server 経由で接続することは推奨していない。
オーバーヘッドが少ないメリットもあり、Proxy Server を迂回することが可能な UDP の開放が望ましい。
メディア以外は Proxy Server 経由としたり、メディアのみローカルの回線からオフロードすることも。
ネットワーク要件
• FW で開放する宛先ポートは以下のみ
- UDP 3478 – 3481
• UDP で必要なルートは以下のみ
- 13.107.64.0/18
- 52.112.0.0/14
• DNS で外部ゾーンの名前解決が可能
26. QoS の実装
通信種別 送信元ポート DSCP値 DSCPクラス
Audio UDP : 50000-50019
TCP : 50000-50019
46 EF
Video UDP : 50020-50039
TCP : 50020-50039
34 AF41
Desktop/App
Share
UDP : 50040-50059
TCP : 50040-50059
18 AF21
File Transfer TCP : 50040-50059 18 AF21
QoS とは
• 通信の特性に従い、パケットをマーキングする
• マーキングに従い、ネットワークで優先制御する
適用可能なネットワーク
• インターネットは Best Effort であり優先制御不可
• イントラネット内では実装可能だが、WAN はキャリ
アサービス次第(有償の場合もある)
QoS のマーキングポリシー
ポート番号に従って DSCP を定義する
OS やネットワーク機器で書き換えを行う
Skype for Business Online はポート変更不可
Microsoft Teams はポート範囲変更可能
27. DSCP のマーキングポイント
ExpressRoute and QoS in Skype for Business Online
https://docs.microsoft.com/en-us/skypeforbusiness/optimizing-your-network/expressroute-and-qos-in-skype-for-business-online
Implement Quality of Service (QoS) in Microsoft Teams
https://docs.microsoft.com/en-us/microsoftteams/qos-in-teams
Quality of Service (QoS) Policy
https://docs.microsoft.com/en-us/windows-server/networking/technologies/qos/qos-policy-top
The
InternetLAN/WAN
クライアントの送信
OS のポリシーで
マーキングを行う
Router / Proxy
そのため、ネットワーク
装置で宛先ポート番号を
もとに適切な DSCP 値へ
のリマークが必要
Router
Proxy
サーバーの送信
インターネット上で書き
換えられる可能性があり、
無意味なため現状は
DSCP = 0 で送信している
イントラネット
優先制御が構成可能な区間
インターネット
ベストエフォート区間
DSCP = 46(EF) DSCP = 46(EF)
DSCP = 46(EF) DSCP = 0(BE)
• Windows PC はプロセスとポート番号を基に、送信パケットをマーキングする
• サーバーからは現状 BE で送信するため、優先制御が必要な区間の手前でリマークする
28. Machine specification Certified device Environment Device driver
特にビデオやデスクトップ共有に関
しては、動画のエンコード/デコー
ド処理による負荷が大きいため、
CPU や Memory のリソース要件は
最低限推奨を満たすことが重要。
サウンドデバイスやルームシステム
にはテスト済みデバイスの利用が推
奨される。PC 内蔵デバイスや未テ
ストの製品は、品質劣化の要因にな
るケースが多い。
会議室など、反響の大きな壁素材に
よってはエコーの要因となる。音漏
れや空調ノイズも配慮が必要。大き
い部屋ではマイクのレイアウトやス
ピーカーとの距離も重要なポイント。
リアルタイムな処理が要求されるた
め、ハードウェア性能を最大限に生
かす最適化されたデバイス ドライ
バーが必要。デバイス ドライバー
でも修正等があるので、最新のデバ
イスドライバーの利用を推奨。
その他のデバイスや環境に依存した問題
System requirements for Office
https://products.office.com/en-us/office-system-requirements
https://docs.microsoft.com/en-us/skypeforbusiness/plan-your-deployment/clients-and-devices/video-resolutions
Explore tested devices, infrastructure, and tools that support and extend your Skype for Business experience.
https://partnersolutions.skypeforbusiness.com/solutionscatalog
29. SfB Client version Wi-Fi VPN Virtual Desktop
クライアントにおけるメディアの処
理についても適宜修正・最適化がな
されているため、古いバージョンの
クライアントが品質低下の要因にな
ることも。6 カ月月以内のバージョ
ンの利用を推奨。
干渉が発生しにくく品質を保ちやす
い 5 GHz 帯の利用が推奨される。
VPN に関わる処理がメディア品質
に影響するケースもあり、少なくと
もメディア通信は VPN をバイパス
するよう構成するとが推奨される。
メディア通信は、VPN を利用せず
とも SRTP で暗号化されている。
音声・ビデオはローカルオフロード
のソリューションを利用する必要が
ある。SfB Online 環境では Citrix 社
と VMware 社より提供されている。
Microsoft Teams は提供時期未定。
その他のデバイスや環境に依存した問題
Enabling Lync Media to Bypass a VPN Tunnel
https://blogs.technet.microsoft.com/nexthop/2011/11/14/enabling-lync-media-to-bypass-a-vpn-tunnel/
Plan for Skype for Business in VDI environments
https://docs.microsoft.com/en-us/skypeforbusiness/plan-your-deployment/clients-and-devices/vdi-environments
34. Network Assessment Tool Skype for Business Network Assessment Tool
https://www.microsoft.com/en-us/download/details.aspx?id=53885
実行コマンド
• 接続性テスト : NetworkAssesmentTool.exe /connectivitycheck /verbose
• アセスメントテスト : NetworkAssesmentTool.exe
• アセスメント結果分析 : ResultAnalyzer.exe performance_results.tsv
実行結果
測定結果を解析することで、各指標が許容範囲内であったか結果を表示する。
出力された測定結果を Excel 等で読み込み、グラフ化することにより視覚的に状況を確認することも可能。
90th percentile values per metric:
Packet loss rate: 0%
RTT latency: 83
Jitter: 27.26783
Packet reorder ratio: 4.089219%
If this is a Skype for Business Client machine connecting
to the Microsoft network Edge:
Packet loss rate: PASSED
RTT latency: PASSED
Jitter: PASSED
Packet reorder ratio: FAILED
If this is a network Edge connecting to the Microsoft
network Edge:
Packet loss rate: PASSED
RTT latency: FAILED
Jitter: FAILED
Packet reorder ratio: FAILED
35. 通話品質ダッシュボード (Call Quality Dashboard)
組織全体の通話 (メディア通信) の統計データを参照可能。
品質改善の活動では、この CQD のデータの分析が重要になる。傾向分析・目標値の設定・経過観察に利
用できる。
URL : https://cqd.lync.com
標準で用意されているレポート
• 概要レポート
• 場所が強化されたレポート
• 信頼性レポート
Turning on and using Call Quality Dashboard for Microsoft Teams and
Skype for Business Online
https://docs.microsoft.com/en-us/microsoftteams/turning-on-and-using-
call-quality-dashboard
36. 通話品質ダッシュボード (Call Quality Dashboard)
建物情報のアップロード
IP アドレス (サブネット) と場所 (地域や国、建物) の紐づけを記載した TSV もしくは CSV ファイルを
アップロードすることで、場所単位でのデータ分析が可能に。
ファイルには、以下の 14 項目をタブ区切り (.tsv) もしくはカンマ区切り (.csv) で記載。ヘッダーは不要。
例:
Turning on and using Call Quality Dashboard for Microsoft Teams and Skype for Business Online > Upload Building information
https://docs.microsoft.com/en-us/microsoftteams/turning-on-and-using-call-quality-dashboard#upload-building-information
1. Network
2. NetworkName
3. NetworkRange
4. BuildingName
5. OwnershipType
6. BuildingType
7. BuildingOfficeType
8. City
9. ZipCode
10. Country
11. State
12. Region
13. InsideCorp
14. ExpressRoute
37. 通話品質ダッシュボード (Call Quality Dashboard)
詳細レポートの活用
任意の項目(Dimension/Measure)を使用したカスタムレポートを作成可能。
各項目の詳細は、以下の情報を参照。
Dimensions and measures available in Call Quality Dashboard
https://docs.microsoft.com/en-us/microsoftteams/dimensions-and-measures-available-in-call-quality-dashboard
My Advisor でサンプルテンプレートの入手も可能。
URL :
https://myadvisor.fasttrack.microsoft.com/CloudVoice/Gui
dance
38. 通話分析 (Call Analytics)
Microsoft Teams & Skype for Business 管理センターの
ユーザー > [任意のユーザーを選択] > 通話履歴 から過去 7 日間の個々の通話の詳細情報・各種指標デー
タを参照可能。
主に個々の通話トラブルのトラブルシューティングで利用。
赤もしくは黄色文字になっている箇所を中心に確認する。
Use Call Analytics to troubleshoot poor call quality
https://docs.microsoft.com/en-us/microsoftteams/use-call-analytics-to-troubleshoot-poor-call-quality
39. Packet Capture
Information about Network Monitor 3
https://support.microsoft.com/en-us/help/933741/information-about-network-monitor-3
Capture a Network Trace without installing anything (& capture a network trace of a reboot
https://blogs.msdn.microsoft.com/canberrapfe/2012/03/30/capture-a-network-trace-without-installing-anything-capture-a-network-
trace-of-a-reboot/
Microsoft Message Analyzer
https://www.microsoft.com/en-us/download/details.aspx?id=44226
Wireshark
https://www.wireshark.org/
キャプチャツール
• Microsoft : Network Monitor や Message Analyzer、ツールのインストールが難しい場合は netsh コマンドによる取得
• 3rd Party : Wireshark は UDP であれば RTP としてデーコードし、ロストの確認が容易に行える
※最終的に問題が発生している区間を切り分けるためには、複数ポイントでキャプチャを取得するしかない!