映像やCG制作の現場において、AIの技術は様々な自動化・クリエイティブで利用され始めています。そのAI そのものは、従来のデジタル制作と異なる性質も持っており、道具としての AI を正しく理解しておくことも重要です。このセッションでは、既存のAI技術を紹介しつつ、どのようにクリエイティブの現場に取り入れ、理解していくのかをご紹介します。

1. デジタル時代に クリエイターの皆
さんが知っておきたい AI と付き合
うためのコツ
畠山 大有 | Daiyu Hatakeyama | @dahatake
Architect && Software Engineer && Applied Data Scientist (目指している)
Microsoft Japan

3. 蒸気 や 電気 ソフトウェア
(+AI)
AI

4. 1950 1960 1970 1980 1990 2000 2010

5. Machine
Learning
教師あり
学習
教師無し
学習
強化学習
Classification
Regression
Clustering
Reward-based
種類 カテゴリ アルゴリズムの例
・故障分類
・販促効果分類
利用例
・売上予測
・需要予測
・セグメンテー
ション
・顧客グルーピン
グ
・メール キャン
ペーン
・自動運転
・自立型ビル管理

7. ユーザーを知る クラウド プロダク
ション
IP 配信 AI 活用

9. Azure Stack と Azure Public Cloud
Facility Network
Online
Proxy
Metadata Hi-Res
Enterprise
Virtual Network
Microsoft
Azure
Avid Cloud
Connector
Distribute/
Publish
MediaCentral
Cloud UX
Asset
Management
Online
Proxy
Metadata Nearline
Hi-res
MediaCentral
Cloud UX
Newsroom
Management
Production
Management
Asset
Management
Virtual Network
Cool
Storage
Azure Stack
Local Users
PhoneUserMobile Users
Private Cloud: Azure Stack Public Cloud: Azure
On-premise workloads & local users Cloud workloads & remote users

11. Text (OCR)
“(1) Validate enrichment pipeline”

12. Tags
“throwing”, “ball”, “girl”, “grass”,
“basketball”
Caption
“A girl throwing a ball”

13. Entities
Persons
“Anita Christiansen”,
“Conrad Nuber”,
Locations
“Bothell”, “Woodinville”
Organization
“Litware Insurance Corp.”

14. DataAI

15. John F. Kennedy (JFK)
November 22, 1963
http://aka.ms/jfkfiles

16. INGEST STORE AI SERVE
Azure Blob StorageAzure Data Factory
Media
(unstructured)
Files
(unstructured)
Cognitive Search
(Azure Search)
Natural Language Processing
Image Processing
Custom Models
Azure App
Service
Cosmos DB Web & mobile
apps

17. Azure Bot Service
Azure Cognitive Services
Azure Cognitive Search
Azure Databricks
Azure Machine Learning
Pre-Trained ModelAI apps & agents Custom Build

18. Azure Cognitive Services

20. ユーザーを知る クラウド プロダク
ション
IP 配信 AI 活用

21. Predictions
Personalization Robot journalism
Recommendations
Targeting Feedback loops
Big data と AI 技術による
より感度の高い視聴およびコンテンツ
分析
Bot による会話型の新しいユーザー体
験
Hi, I’m Cortana
Your
Personal Assistant
Conversational apps
with >2 billion users
Cloud-Based の映像制作
AR, MR, VR, スマートスピーカーなど
での
新しい体験
Learn of provider
incentives
Subscribe
Socialize
Receive
personalized
offers
Upgrade
service
Receive
targeted
marketing
Receive
service
Socialize
Receive media
recommendatio
ns
AI
Search for
current and
archived
media
Consumer
360
Receive media
recommendation
s Consume
anywhere,
anytime
Use second
screen
Purchase
media on
demand
View details and
news about
shows,
performers,
athletes
Manage
media
library
Create
custom
channels
視聴者のクラスターごとに適切な媒体
と
なりえるマーケティング プラット
フォーム
Develop Produce Distribute
Blockchain による契約の簡素化と
トランザクション履歴のより安全な管
理

22. 意味づけ
優先順位

23. 映像 意味づけ
メタデータ 自動

24. メタデータ = Asset

25.  Video and Audio
 Machine learning
Azure
 A service and a platform

27. 付加価値を提供する
多くのパートナー
ソリューション
Streaming /
CDN
コンテンツ
保護
Processing取り込み
と保管
メディア 配信の コア 機能を
API として提供
Azure Media Services
PlayerAI
(Artificial
Intelligence)

28. Cloud-based serverless workflow
 speech-to-text, face recognition など
メタデータ
https://customers.microsoft.com/en-us/story/esg-media-telecommunications-azure
「誰もその時点で見ていなかったとしても、私たちが番組に出したい場面を、
それが深夜の1:10 AM にキャプチャされたビデオから秒単位で見つけることができま
す。
これはリソースの大幅な節約になります。
- Lisa Perrin, CEO of Creative Networks at Endemol Shine Group -

29. Legend
Big Brother
Multi-camera
Production
毎分クリップ作成。
その後 Video AI を実行
• Video Analytics
• Audio Analytics
Low-res
Live stream
(RTMP)
High-res
Live stream
5 min MXF segments
Upload
Face Detection
Speech-to-text
Motion
Detection
Logger
サブクリッピング
スティッチング
Cosmos DB
Logic App
Azure
Media Services
Azure Storage
Low resolution flow
High resolution flow
Scene download request
出力
• Output copy
• Asset cleaning
Editor
Live
archive
Azure Media
Services
Encoder
Azure Storage
MXF Broadcast Quality
Video
Logic App
Video AI
Services:
• Face API
• Speech Analytics
MP4 file を
Social Media へ投稿
Import for Editing
Social media
Live Event

31. The Starry Night, van Gogh Created by a GAN

32. Language to image synthesis
”A bird with wings that
are blue and a red
belly”
“this bird is red with
white and has a very
short beak”
“A herd of sheep
grazing on a lush green
field”

34. 万能なものは無い

36. データが全て

37. 推論
デプロイメントデータの準備 モデル構築・学習
世界中の研究者の
論文とコードも
公開されている
どんなデータが
準備できるか?
アプリケーションの
どこにモデルを
利用すべきか?

38. データ
Alpha Go Zero

39. Data
ML
Code
Configuration
Data Collection
Data
Verification
Feature
Extraction
Machine
Resource
Management
Analysis Tools
Process
Management Tools
Serving
Infrastructure
Monitoring
“Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015

40. データ 起因の新しい
課題

42. やばい！
このラーメンやばい
よ！
美味しい！
このラーメン美味しい
よ！
行動データ 組み合わせ
変化し続ける

43. StreetBump smartphone app
• スマートフォン
http://www.streetbump.org/

45. リスクの高い外部データ活用
• 知的財産（特許、著作権、意匠権、
商標権など
• 説明責任（製造物責任）

47. どうやって
実行していくのか?

48. Data

49. 94
77
236
25
0
50
100
150
200
250
300
350
USA JPN
(万人)
IT 企業 エンドユーザー企業
0 10 20 30 40 50 60 70 80
JPN
OECD Ave.
USA
2017 年 OECE 加盟諸国の時間当たり労働生産性 購買力平価換算 US ドルベース より引用 IPA グローバル化を支える IT 人材確保・育成策に関する調査 より引用

51. 数千万 数か月
誰でも数分でできる
襟あり
RALPH LAUREN
Cognitive Services
Custom Vision

55. Tech Intensity =
(Tech Adoption)^Tech CapabilityVelocity Width/Depth
Strength

56. https://www.inter-bee.com/ja/

57. https://docs.microsoft.com/ja-jp/azure/media-services/latest/
https://docs.microsoft.com/ja-jp/azure/media-services/video-
indexer/

58. © 2019 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。