AI技術の映像・放送業界への応用について。そのシナリオや実装アプリケーションアーキテクチャを紹介しています。 コスト削減のための生産性の向上と、収益向上のためのデータ活用の両面が対象です。

1. 畠山 大有 | Daiyu Hatakeyama | @dahatake
Architect && Software Engineer && Applied Data Scientist (目指している)
Microsoft Japan
AI for Media 2019
- 映像・放送業界への AI 活用のススメ -

4. 意味づけ
優先順位

6. ツールによ
る
自動化

7. メタデータ

8. 映像 意味づけ
メタデータ 自動

9.  Video と Audio
Azure
 Azure Media Services: 動画配信
 Azure Search: 全文検索
 既存システムへの容易な組み込みと、自動化のためのAPI
 カスタマイズ によるドメイン最適化
 独自の Data

10. Cloud
検索性
現場の課題
• コンテンツそのものではなく、シーン
の検索
• 高負荷なシーン、人物、場所、ブラン
ド、
テロップ、音声などへのメタデータ付
与作業
• 海外収録素材の翻訳の費用と時間の確
保
期待される効果
• シーン検索時間の実現
• 多言語の自動翻訳
• 特定トピックの自動検出
 多言語字幕作成
 固有名詞抽出
 トピック登録・抽出
 機械翻訳
 サムネイル作成
 顔登録・抽出
 Proxy 作成
 自動編集 (in点-out点指定)
 マルチデバイス 対応の
Web Player
 DRM 含めた暗号化
Proxy
映像
サムネイ
ル

11. Cloud
メタデータ
通知
現場の課題
• 刻々と追加される報道素材の検索
• 海外収録素材の翻訳の費用と時間の確
保
• 時間が無い中での不要なシーンカット
などの
ラフカット編集作業者と時間の確保
期待される効果
• 字幕文字列の自動作成
• シーン検索時間の短縮
• 多言語の自動翻訳
• 特定トピックの自動検出、ラフカット映像作
成、
マルチデバイスへのユーザー毎の通知
 多言語字幕作成
 固有名詞抽出
 トピック登録・抽出
 機械翻訳
 サムネイル作成
 顔登録・抽出
 Proxy 作成
 自動編集 (in点-out点指定)
 マルチデバイス 対応の
Web Player
 DRM 含めた暗号化
ラフカッ
ト
映像
 通知
サムネイ
ル

12. Cloud-based serverless workflow
 speech-to-text, face recognition など
メタデータ
https://customers.microsoft.com/en-us/story/esg-media-telecommunications-azure
「誰もその時点で見ていなかったとしても、私たちが番組に出したい場面を、
それが深夜の1:10 AM にキャプチャされたビデオから秒単位で見つけることができま
す。
これはリソースの大幅な節約になります。
- Lisa Perrin, CEO of Creative Networks at Endemol Shine Group -

13. Legend
Big Brother
Multi-camera
Production
毎分クリップ作成。
その後 Video AI を実行
• Video Analytics
• Audio Analytics
Low-res
Live stream
(RTMP)
High-res
Live stream
5 min MXF segments
Upload
Face Detection
Speech-to-text
Motion
Detection
Logger
サブクリッピング
スティッチング
Cosmos DB
Logic App
Azure
Media Services
Azure Storage
Low resolution flow
High resolution flow
Scene download request
出力
• Output copy
• Asset cleaning
Editor
Live
archive
Azure Media
Services
Encoder
Azure Storage
MXF Broadcast Quality
Video
Logic App
Video AI
Services:
• Face API
• Speech Analytics
MP4 file を
Social Media へ投稿
Import for Editing
Social media
Live Event

14. Intelligent Streaming
議会中継
AI (Artificial Intelligence)
NEW
NEW

15. 15
VisionData+とは
・溢れる映像を資産に変えるVideoAIプラットフォーム
・映像からメタデータを自動生成し、業務変革、顧客体験変革をオールインワンでサポート
前処理：映像を認識しやすく変換
ユースケースに合わせ最適な処理を実施
することで、認識精度や処理速度の向上
を実現
後処理：認識結果を使いやすく変換
自然言語処理や独自ノウハウを用いて、
認識結果を業務・サービスに使いやすい
形に変換
認識：MultiAIプラットフォーム
Azureなど最先端のコグニティブサービ
スと、
独自エンジンをユースケースに合わせて

16. 16
VisionData+が支える4つのユースケース
コンテンツの利活用促進
01
Multiユースなワークフロー整備
03
パーソナライズ
04
権利処理業務の効率化
02
アーカイブ映像や素材映像に対して
メタデータを自動生成することで膨
大な
映像に対する検索性/業務スピードを
向上
放送映像をベースにIP配信など多様
な
接点へのコンテンツ制作を効率化し、
新たな顧客体験を提供
カット割り、カット単位でのデータ
入力など、人力に依存している権利
処理業務の一部を代替し、業務を効
率化
VODサービスなど大量コンテンツへ
の理解を自動化し、ユーザ嗜好に応
じたレコメンドによりCVR/LTVを向
上
・4つのユースケースを中心にワークフロー変革を支援
・全英OPENでの映像解析事例などMicrosoft様ブース内にて01-03のデモを展示

17. JOIN VIEW：多言語字起こし / 自動翻訳AIアプリケーション
【ご提案内容】
 映像素材からのAIによる文字起こし
／翻訳トライアル環境
 データ出力
【検討要素】
 独自辞書作成
 解析時間・精度
お客様サイト
4. AI字起こしデータ取得/閲覧1.映像 素材アップロード
(ストリーム)
（6. Deep Learing＋
独自辞書作成）
Virtual Machine &
Data Base
結果表示（Web画面確認）
Capture
device
CSVファイル
（字起こしデー
タ）
HDMI
5. データ出力
Microsoft AI
3. AI文字起こし（Speech to text）
・時間情報 /音声テキストデータ
・音声テキストデータ翻訳
2. AI映像解析指示

19. 膨大な時間のデータが保存
人間系
非常に手間と時間
ワークフローを変えない
100%の精度を期待しない
自動文字起こし
https://news.mynavi.jp/kikaku/azure_case_td-93/

22. 勘 経験 度胸
データ

24. メタデータ

27. NEW!

31. Electricity from coal, nuclear, gas per year in USA

34. Microsoft 365 利用状況分析レポートの使用方法
https://docs.microsoft.com/ja-jp/office365/admin/usage-analytics/navigate-and-utilize-reports?view=o365-worldwide

37. Digital Feedback Loop
Data
AI

38. Data
AI

39. コンテンツは
ビジネスを動かす
新しい原動力になる

40. © 2019 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。