4K/8K動画やVRなどの大容量コンテンツ配信を支える新しいキャッシュ技術のご紹介

Copyright © 2018 TIS Inc. All rights reserved.
0
2018.2.23
戦略技術センター
4K/8K動画やVRなどの大容量コンテンツの
配信を支える新しいキャッシュ技術のご紹介

1
動画配信がすべて4Kになったら、
インターネットはどうなってしまうでしょう？
HD 4K
X9

2
4.5Mbps
40Mbps
X9
220人/1Gbps
25人/1Gbps

3
4.5Mbps
40Mbps
X9
250人/10Gbps
220人/1Gbps

4
¥8,000（税抜）
X151GbE x 8ポート
¥124,000（税抜）
10GbE x 8ポート

5
¥8,000（税抜）
X151GbE x 8ポート
¥124,000（税抜）
10GbE x 8ポート
ネットワークやコンテンツが
大幅に値上げされてしまうのでは？

6
あなたは4Kコンテンツに対して
今までの10倍のお金を払いますか？
売れなさそう…

7
あなたは4Kコンテンツに対して
今までの10倍のお金を払いますか？
1.2倍？
売れるかも…？
配信コストを
落とさないといけない

8
技術で解決しよう！

電気通信大学とTISが共同で新しいCDN技術を開発
• 複数のサーバを連携して大容量サーバを構成
• 最適化技術でデータ通信量を大幅削減
9
https://www.tis.co.jp/news/2017/tis_news/20170926_1.html

新しいキャッシュ技術の通信量削減効果
計算時間
数秒
計算時間
10時間
理論最適値新技術従来技術②従来技術①キャッシュなし
通信量
オリジンサーバ通信量：97%削減
ネットワーク内通信量：87%削減
数千倍の
高速化

Agenda
• 通信量の増大と削減の仕組みの概要
• キャッシュサーバの仕組み
• 次世代CDNの技術紹介
– 10時間の最適化計算を10秒に短縮する技術
– 急激なアクセス変化に追従するハイブリッドキャッシュ技術
• 次世代CDNの開発状況
• まとめ
11
本日のセミナーで
お話します。

About me
• 中島拓真（なかじまたくま）
– 次世代CDNの研究で博士(工学)を取得
– スーパー連携大学院コンソーシアムより
イノベーション博士サーティフィケートを取得
– 次世代CDNの事業化に向けて活動中
12
経歴 2013年3月同志社大学卒業（学士）
2014年9月電気通信大学修了（修士、短縮修了）
2017年12月電気通信大学修了（博士）
2018年1月 TIS株式会社で次世代CDNの事業化に従事
受賞等 2016年11月 Outstanding Paper Award受賞（国際会議CANDAR’16）
2017年11月優秀若手デモ/ポスタ賞受賞
（萌芽的コンピュータシステム研究展示会）
2017年12月イノベーション博士サーティフィケート
資格等応用情報処理技術者 Twitter: @penguin2716

通信量の増大と削減の仕組み
13

4K/8K時代のインターネット通信量
• オンデマンド動画配信サービスの普及に伴い通信量が増大
– 通信量は5年で約3倍、うち約8割が動画
– 97%がオンデマンド配信、4K動画の通信量は5年で30倍に増加
14
[出典] “The Zettabyte Era: Trends and Analysis,” Cisco, 07-Jun-2017. [Online]. Available:
http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-
vni/vni-hyperconnectivity-wp.html. [Accessed: 25-Jun-2017].

通信量増大の仕組み
• 多数の視聴者が、同じ動画を、異なる時間に視聴する
→ 同じ動画が何度もネットワークを流れて視聴者に転送
15
動画配信サーバ
視聴者
同じ動画がネットワークを
何度も通過
= 通信量増大の原因
視聴者
インターネット

キャッシュサーバを活用した通信量削減
• データ転送経路にあるサーバがコピーを保存
– 2回目以降のリクエストに対してはコピーした動画を返答
16
ネットワークを通過する
通信量を削減
キャッシュサーバから
動画を取得
動画配信サーバ
視聴者
視聴者
キャッシュサーバ
インターネット
途中のサーバで
動画のコピーを保存して
次のアクセスで再利用

コンテンツ配信ネットワーク（CDN）を利用した配信支援
• 世界中にあるキャッシュサーバをネットワークで接続し、
コンテンツ配信に特化したネットワーク
– Webサーバの負荷削減 + データ通信量の削減 + 転送速度の高速化
17

では、今あるCDNで十分なのか？
• 既存のCDNを使っても十分な通信量削減効果は得られない
– キャッシュアルゴリズムが古い
– キャッシュサーバの使い方が非効率的
18
[出典] “The Zettabyte Era: Trends and Analysis,” Cisco, 07-Jun-2017. [Online]. Available:
http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-
vni/vni-hyperconnectivity-wp.html. [Accessed: 25-Jun-2017].
CDNを活用する
前提の通信量予測
「お金で解決」する発想
・ネットワークの増強
・ストレージの買い増し

キャッシュサーバの仕組み
19

コピーを保存
HTTPリクエストをWebサーバの代わりに返答
• Webサーバから取得したデータを
中継キャッシュサーバで保存
• 次回以降のリクエストには
保存したデータから応答
20
Webサーバ
GET /index.html
GET /index.html
200 OK
index.html
200 OK
index.html
</>
HTML
</>
HTML
</>
HTML
ユーザ
</>
HTML
ユーザ

国内
海外
HTTPリクエストをWebサーバの代わりに返答
• Webサーバから取得したデータを
中継キャッシュサーバで保存
• 次回以降のリクエストには
保存したデータから応答
21
Webサーバ
</>
HTML
</>
HTML
ユーザ
GET /index.html
200 OK
index.html
ユーザ
キャッシュヒット
通信量を削減
サーバ負荷を
削減
</>
HTML
</>
HTML

キャッシュされたコンテンツの管理
• 何をキャッシュするかによって、キャッシュヒット率が変化
→ ヒット率を高くするキャッシュ管理の仕組みが重要
22
70%
20%
10%
コンテンツの
アクセス頻度
キャッシュ領域
ヒット率 90% ヒット率 80% ヒット率 30% 時々刻々と変化

分散キャッシュ
分散キャッシュの仕組み
• 複数のキャッシュサーバを組み合わせてキャッシュ領域を拡大
– キャッシュの配置方法が無数にあり、最適配置の計算が難しい
23
キャッシュサーバを
ネットワーク接続
どのような配置が
良いだろうか？

従来の分散キャッシュ最適化
• 遺伝的アルゴリズムでキャッシュの最適配置を計算
– 10台の計算機クラスタを使用して10時間の計算時間がかかる
• 動画コンテンツのアクセス傾向は
1時間で20-60%変化してしまう
– 10時間もかけていては
結果が古く、使い物にならない
24
1時間毎の動画の人気変動

次世代CDNの技術紹介
― 10時間の最適化計算を10秒に短縮する技術
25

基本的な考え方
• 時間をかけて計算した理論最適値の「理由」を見極めて、
無駄な計算をすべて省く
26
動画アクセス傾向
人工知能
キャッシュサーバ情報
ネットワーク形状
通信量が最小化される
キャッシュ配置
（ただし10時間古い）
計算時間を数秒に短縮できる
キャッシュ方法を思いついたぞ！
10時間

Copyright © 2018 TIS Inc. All rights reserved. コンテンツID（人気順）
ネットワーク中に
キャッシュされた数
通信量を最小化できる「理由」とは？
• 人気のあるコンテンツほどネットワーク中に多数キャッシュされる
– ユーザは欲しいコンテンツを近くのサーバから取得しやすくなる
27
全部
だいたい
まあまあ
ちょっと
キャッシュしない
コンテンツの人気に応じて
どれだけキャッシュするか
調整できれば良い！

分散キャッシュ方法の検討：キャッシュサーバ2台の例
• コンテンツの人気度に応じて分散/重複度合いを調整
28
配信サーバ
配信サーバ
超人気
まあまあ
あんまり
コンテンツ人気度

配信サーバ
基本的な考え方：
グループタグによる分散キャッシュ（1/2）
• キャッシュサーバとコンテンツにそれぞれグループタグを付与
– 同一グループのコンテンツのみをキャッシュして分散保持
29
Cache server Cache server Cache server Cache server
実効キャッシュ容量を拡大
– そのままでは特定のサーバに負荷が集中してしまう

基本的な考え方：
グループタグによる分散キャッシュ（2/2）
• 人気コンテンツには複数のグループを付与して重複キャッシュ
30
Cache server Cache server Cache server Cache server
高人気なら
重複キャッシュ
低人気なら
分散キャッシュ
実効キャッシュ容量を拡大キャッシュヒット率を向上

キャッシュサーバのグループタグ設定方法
• 分散彩色して平均ホップ数を短縮し、通信量を削減
31
偏った彩色分散して彩色
Hop
R 2
G 3
B 0
Y 3
Avg 2
Hop
R 2
G 0
B 1
Y 1
Avg 1
ホップ数を短縮

Copyright © 2018 TIS Inc. All rights reserved. コンテンツID（人気順）
キャッシュされた数コンテンツタグの設定方法（1/2）
• 遺伝的アルゴリズムで求めたグラフに「だいたい」フィットするよう
コンテンツを人気度ごとに分類
32
人気順位
1-15
16-45
46-120
121-270
271-
グループ数
4
3
2
1
0
人気度
極高
高
中
低
極低

コンテンツタグの設定方法（2/2）
• 人気グループごとに、
グループタグを循環的に設定
– 複雑な計算不要なため数秒で計算終了
33
人気順位
1-15
16-45
46-120
121-270
271-
グループ数
4
3
2
1
0
人気度
極高
高
中
低
極低
人気順位グループタグ
121
122
123
124
125
126
127
128
1色のタグを循環的に設定
…
…
一定時間ごとに再設定

仕組みのおさらい
• キャッシュサーバとコンテンツにグループタグを設定
– 人気コンテンツほど多数のグループを設定し、
理論最適に近いキャッシュ分散配置を実現
34
コンテンツID（人気順）
キャッシュされた数
コンテンツのグループタグは、
厳密な計算不要でざっくり設定
キャッシュサーバは
分散彩色でバランス
良くデータ分散

通信量削減効果の評価
• 理論最適値と同等の通信量削減効果
– 従来技術と比較して60%程度の通信量を削減
35
データ通信量
理論最適値新技術従来技術③従来技術①
図：シミュレーションによる通信量評価結果
理論最適値と比較して
高々2-3%程度の
通信量オーバヘッド
実験に使用した
ネットワーク構成

通信の負荷分散の評価
• グループタグに基づく経路制御で通信負荷を分散
– 配信サーバと反対方向への通信経路を活用
36
最短経路制御：
配信サーバへの最短経路のみが
使用されており，一部のリンクに
通信負荷が偏ってしまう
グループタグに基づく制御：
キャッシュ方向へリクエストを転送
し，負荷分散だけでなくヒット率も
向上し，全体的な通信量も削減

急激なアクセス変化に追従するハイブリッドキャッシュ技術
37

急激に変化するアクセス傾向
• TwitterやFacebookなどのSNSやニュースの影響を受けて、
特定のコンテンツに対してアクセスが集中
– 事前に予測することが難しい
– キャッシュヒット率が急落して
Webサーバ負荷が増大する可能性
38

アクセス傾向の変化に追従するハイブリッドキャッシュ
• キャッシュ領域を2つに分割し、異なるアルゴリズムを複合利用
– キャッシュヒット率向上を目的とした分散キャッシュ領域
– 変動追従を目的とした独立キャッシュ領域
39
分散領域 100%
分散領域 90%
独立領域
10%
グループタグがマッチし
ないためキャッシュ不可
グループタグがマッチし
なくてもキャッシュ可能

アクセス傾向変化時のキャッシュヒット率の評価
• ハイブリッドキャッシュアルゴリズムは、
アクセス傾向が急激に変化してもキャッシュヒット率を維持
– Webサーバの負荷増大を回避
40
ハイブリッドキャッシュアルゴリズム
単一領域のキャッシュアルゴリズム
アクセス傾向が変化
キャッシュヒット率
ユーザからのリクエスト数（千回）
従来のアルゴリズム：13.9%低下
新しいアルゴリズム：2.3%低下

次世代CDNの開発状況
41

MPEG-DASH/HLS形式の動画通信を削減
42
• 複数のデータセンタを接続した検証環境を構築、
キャッシュからの動画配信と通信量削減を確認
複数拠点のデータセンターを連携したキャッシュネットワーク
Windows/Mac/Linux/
Android/iOS端末から
それぞれ動画を視聴可能

通信量のリアルタイム可視化
• 各キャッシュサーバからログを収集し、
通信状況を可視化、通信削減状況を確認
43
オリジンサーバの配信データ量
キャッシュサーバ間の通信量
クライアントへのデータ配信量
Elasticsearch/Kibanaで
通信量削減効果を
リアルタイムで可視化

4K動画配信
• CEATEC 2017で4K配信の実機デモを展示
– 通信量を削減しつつ4K動画をユーザに配信
44

大容量データの分割キャッシュ
• キャッシュ容量が不足するような大容量データを
複数の部分データに分割してキャッシュ可能
– 動画コンテンツの人気のあるシーンを優先的にキャッシュすることで
通信量削減効果を向上
45
再生位置
再生頻度
ニュースの
概要
スポーツの
得点シーン

その他の機能（開発予定・検討中のものを含む）
• 複数CDNを組み合わせた階層化
• ジオルーティングによる近接キャッシュサーバの利用
• プライベート/オンプレミスCDNの構成
• データのプリフェッチ、予測キャッシュ制御
• キャッシュデータの暗号化
• HTTPSによるセキュア配信
• 秘密分散キャッシュ
46
その他、特許出願中・出願予定のものを含め多数

まとめ
47

まとめ
• 次世代CDNの技術紹介
– グループタグを利用した分散キャッシュ制御で
理論最適値と同等の通信量削減効果
– グループタグを活用した新しい経路制御技術で通信負荷を分散
• 次世代CDNの開発状況
– 実動作するデモ環境ができつつある
– 様々な通信量削減技術を駆使し、未来の社会インフラを目指す
48

49
動画配信がすべて4Kになっても、
新しい配信技術で解決できます。

50
私たちと共同で
次世代CDNをつくりませんか？

4K/8K動画やVRなどの大容量コンテンツ配信を支える新しいキャッシュ技術のご紹介

4K/8K動画やVRなどの大容量コンテンツ配信を支える新しいキャッシュ技術のご紹介

More Related Content

What's hot

Similar to 4K/8K動画やVRなどの大容量コンテンツ配信を支える新しいキャッシュ技術のご紹介

More from Takuma Nakajima

4K/8K動画やVRなどの大容量コンテンツ配信を支える新しいキャッシュ技術のご紹介