マルチCDN戦略におけるCloudFrontの活用事例と、自社開発ファイル転送システム「Snowpump」のご紹介

1. 柿元 崇利
事業企画担当部長
マルチCDN戦略におけるCloudFrontの活用事例と、
自社開発ファイル転送システム「Snowpump」のご紹介

2. 目次
1. U-NEXTとU-NEXTを取り巻く環境のご紹介
2. U-NEXTのインフラに関する考え方
3. マルチCDN
4. Snowpump by U-NEXT
5. CloudFront導入結果
6. おわりに

3. 1. U-NEXTとU-NEXTを取り巻く環境のご紹介

4. 市場の草創期にスタートした
日本発、独立系の動画配信サービスです。

5. 月額 ¥1,990
定額見放題
1,200 ポイント
• ビデオ見放題
• 雑誌読み放題
• 最大4アカウントまで無料
• 40％ポイント還元
• 最新映画
• ドラマのレンタル
• コミック・書籍の購入
• 映画館で映画チケットの割引

6. すべて自社開発

7. 単位：億円
一般財団法人 デジタルコンテンツ協会 「動画配信(VOD)市場調査レポート 2019」を元に作成
2,200
動画配信市場は急成長中

8. 月額料金
プラン価格
iOS
レビュー
Android
レビュー
U-NEXT 1,990円 4.5 / 5.0 4.0 / 5.0
利用者から高評価を獲得

9. U-NEXT
アニメ放題
dTV
Hulu
Amazon
Netflix
dアニメ
ビデオパス
TSUTAYA TV
GEM Partners 「動画配信（ VOD）市場5年間＜2018-2022年＞予測レポート」を元に作成
DAZN
動画配信市場・シェア第3位

10. 市場より速いスピードで成長を維持
５年で５倍

11. ◯◯◯ Gbps
日本の全トラフィック = 11.0 Tbps
日本有数のトラフィック
日本の全トラフィックは総務省 「我が国のインターネットにおけるトラヒックの集計結果（２０１８年１１月分）」（２０１９年３月５日発行）より

12. 2. U-NEXTのインフラに関する考え方

13. クラウド vs オンプレ

14. クラウド vs オンプレ

15. 完全同一条件で比較して適材適所

16. オンプレ クラウド
経済優位性はオンプレの勝利

17. リソース消費・トラフィック動向は
将来予測が容易でオンプレの拡張計画が立てやすい
D1 D2 D3 D4 D5 D6 D7

18. オンプレを使いこなすインフラエンジニアが存在

19. U-NEXT DC AWS Cloud その他 Cloud
80%+ ◯% ◯%
結果的に、オンプレが大半を占めている
（2019年上半期時点）

20. ユーザー体験 vs 提供者利点

21. ユーザー体験 vs 提供者利点

22. すべてのプラットフォームをネイティブ言語開発
Swift
Java/
Kotlin
TVML/TVJS
Java/Kotlin
HTML5/JS

23. 4K Ultra HD
HD
Full HD
SD
最高画質の配信にもためらわず対応し
高画質が優先して配信されるようアルゴリズム最適化

24. 再生数
不安定な再生の増加
が、トラフィック量の増加に伴い
不安定な再生の絶対数も増加
→ 再生品質の改良が急務

25. 因数分解：再生品質に与える影響が大きい構成要素
U-NEXT
データセンター
配信
サーバー
CDN
オリジン
ストレージ インターネット

26. U-NEXT
データセンター
配信
サーバー
CDN
オリジン
ストレージ インターネット
因数分解：自社コントロール可否
自社コントロール不可能自社コントロール可能

27. 因数分解：コントロール不可能だが複数選択肢あり
CDN

28. 3. マルチCDN

29. 同一のコンテンツを、 多くのユーザー端末に効率的に配布する仕組み
● ユーザー視点
○ レスポンス良く、ダウンロードが速くなる
● コンテンツ提供者視点
○ サービスの耐障害性を高められる
○ オリジナルファイルを置いているサーバ(オリジンサーバ)へのトラ
フィック集中が避けられる
一般社団法人日本ネットワークインフォメーションセンターの解説文章を引用
CDN: Content Delivery Network

30. U-NEXT DC CDN
U-NEXTのCDN構成（2019年上半期）
単一のCDN

31. 🎯 より良いユーザー体験を実現すること
🎯 競合製品と比較してコスト面で妥当な水準にあること
追加検討するCDNの要件

32. Amazon CloudFront

33. 1. ユーザー体験定量評価システムの導入（既存）
2. CloudFront & オンプレ構成による小規模商用環境利用
3. ユーザー体験評価（既存利用CDN vs CloudFront）
4. CloudFront & オンプレ構成による配信量増加
5. 配信量増加に伴い発生したパフォーマンス悪化のトラブルシュート
6. CloudFront & S3構成による小規模商用環境利用・ユーザー体験評価
7. オンプレからS3への大規模データ転送（Snowpump開発・利用）
8. CloudFront & S3構成による大規模商用環境利用
Amazon CloudFront 評価・選定過程

34. クライアント側アプリケーション内にQoS機構（U-NEXT製）を仕込み、
動画再生品質に関わる重点項目を監視
● 再生開始までの時間
● ダウンロード速度
● 読み込み待ち発生回数（リバッファ発生回数）
ユーザー体験の定量評価

35. Amazon CloudFront
オリジン
(U-NEXT DC)
視聴
リクエスト
視聴
レスポンス
オリジン
リクエスト
オリジン
レスポンス
CloudFront & オンプレ構成

36. 小規模テストにより優れた
ユーザー体験が観測された

37. 悪化安定 安定
しかし、配信量を増やすとパフォーマンスが悪化

38. オリジン
(U-NEXT DC)
視聴
リクエスト
視聴
レスポンス
オリジン
リクエスト
オリジン
レスポンス
因数分解：
オリジンとCloudFront間の通信が原因の可能性大
Amazon CloudFront

39. Amazon S3
視聴
リクエスト
視聴
レスポンス
オリジン
リクエスト
オリジン
レスポンス
オリジンをオンプレからAmazon S3へ変更して改善
Amazon CloudFront

40. Amazon Simple Storage Service

41. ペタバイト
“理論上、1 PB のデータを転送するのに 1 Gbps の専用ネットワーク接続を使うと約 100
日かかります。実際には、もっと時間がかかりコストも高くなる可能性があります。”
「AWS Snow ファミリー」の説明ページより

42. S3への転送
通常配信利用
不使用帯域
S3へ「なるはや」で転送したいが、
単純な転送では余剰帯域を使い切れず時間がかかる

43. AWS Snowball

44. AWS Snowball
😿 運送が困難
😿 DCポリシーで床に置けない

45. AWS Snowmobile

46. AWS Snowmobile
😿 日本の公道を走れない

47. 4. Snowpump
Developed by U-NEXT in Tokyo

48. “ただいま、EKSベースの分散したsyncシ
ステムを作っています、来週中にコピー
を始める予定です。理論上、数十インス
タンス同時にやれば夜中の転送スピード
はxxGbps以上行きますので、数十時間
で終わります”Rutong, CTO

49. ✓ 配信サーバー群（動画ファイルの所在地） からS3へrsync相当の機能でファイ
ル転送
✓ 剩余帯域を極限利用しながら通常配信に影響ないよう帯域制御
✓ 既存配信サーバー群のシステム変更なし
✓ 転送後にファイル整合性（md5）を確認し正常完了を保証
Snowpump

50. Snowpump 構成図
Amazon S3
SnowpumpU-NEXT DC
object list
pull
pull
pull
push
push
push
Amazon Elastic
Kubernetes Service
Amazon RDS
AWS Cloud

51. S3への転送
通常配信利用
Snowpump により帯域をほぼ100%有効活用

52. ✅ ペタバイト級のファイル群を
✅ 既存配信へ影響を与えず
✅ １週間でDCからS3へ転送し
✅ ファイル整合性確認完了
Snowpump の結果

53. 🙈 クローズドソース
🙈 オープンソース化の意向はあるが具体化はまだ
Snowpump のライセンス

54. トラフィックの
◯◯%がCloudFront経由

55. 5. CloudFront導入結果

56. 配信品質の評価
項目 結果 備考
QoS（クライアント側） 有意差なし 既存CDNより優れた結果が
でる傾向にある
QoS（サーバー側） 有意差なし 有意差なし
総配信量 有意差なし ユーザーの体感品質 （主に画
質）も同等の可能性が高い
クレーム件数 有意差なし 断言するには件数が足りない
が減少傾向

57. Amazon S3
視聴
リクエスト
視聴
レスポンス
オリジン
リクエスト
オリジン
レスポンス
結果的にCloudFront配信は
AWSお手本構成にロックイン
Amazon CloudFront

58. U-NEXT DC Amazon CloudFront
CDN
今回実現したU-NEXTのCDN構成

59. 6. おわりに

60. サポート体制
繊細なやりとりが頻繁に発生したが、
チャットツールでスピーディーに支えていただいた。

61. #snowpump #UNEXT
#snowpump #UNEXT でたくさん関心持たれてることがわ
かれば、公開意向が具体的な計画に移るかも？？
Snowpumpにご関心あれば・・・