シナリオを情報源とする
映画の要約
筑波⼤学・システム情報系・知能機能⼯学域
⾃然⾔語処理研究室 (宇津呂研究室)
1
背景
• ユーザは膨⼤な数の映画の中から作品を視聴できる
– 地上波放送、BS放送(WOWOW:年間1,400本)
– 映画⾒放題サービス(Hulu:10,000本)
– DVDレンタル店(TSUTAYA:60,000本)
× しかし映画は1作品が⻑いため視聴するのに時間がかかる
→ 効率良く映画を視聴する⽅法が必要
2
2時間24分 4時間29分 2時間15分 1時間42分
背景
× しかし映画は1作品が⻑いため視聴するのに時間がかかる
→ 効率良く映画を視聴する⽅法が必要
短時間で映画の内容を理解できる要約映像があれば、
ユーザにとって有⽤
1.視聴済みの作品の内容を思い出したい
2.視聴する作品を選択する際の参考にしたい
3.映像を使って映画を推薦 / 宣伝したい
3
要約映像の利⽤例 1
• 視聴済みの作品の内容を思い出したい
– 内容を忘れた古い映画や⻑編シリーズなど
『スターウォーズ』シリーズの
各作品はどんな内容だったっけ?
(登場⼈物は? 結末は?)
要約映像があればすぐ思い出せる
4
• 視聴する作品を選択する際の参考にしたい
– 視聴候補作品を実際に視聴するかどうかの判断材料として
要約映像の利⽤例 2
5
要約映像を視聴すれば、
実際の映像を参考にして視聴する作品を選べる
どれを
観よう?
複数の作品に
興味あり
• 映像を使って映画を推薦 / 宣伝したい
要約映像の利⽤例 3
映画
視聴者
DVD販売企業 ユーザ
共有SNS
広告
要約映像を
作成・公開
推薦
宣伝
映画に興味を持つ
DVDを購⼊・視聴
6
背景
× 映画は1作品が⻑いため視聴するのに時間がかかる
短時間で映画の内容を理解できる要約映像があれば、
ユーザにとって有⽤
7
映画のストーリー全体のあらすじを
ダイジェスト映像にまとめる”映画要約”を
⽀援する
本研究の⽬的
映画要約の⽀援⽅式の流れ
8
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
映画要約の⽀援⽅式の流れ
9
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
動画のショット分割(「ローマの休⽇」)
• 1分5秒のシーンをショットに⾃動分割
→ 8ショットに分割
動画のショット分割(「ローマの休⽇」)
• 1つのショットに含まれる映像
映画要約の⽀援⽅式の流れ
12
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
「ローマの休⽇」の全シナリオ(全39⽂)
全シナリオから重要⽂を抽出
重要⽂
全11⽂
1
2
3
4
5
6
7
9
10
11
8
映画要約の⽀援⽅式の流れ
15
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
16
Joe sees a picture of her and realizes who is in his
apartment. (ジョーは王⼥アンの写真を⾒て、⾃分の
アパートにいる⼥性が何者か気付く。)
5番⽬の重要⽂
ショット列 重要⽂に対応するショットを選ぶ
この辺りが対応していそう
(次ページで拡⼤して確認)
重要⽂に対応するショットを選ぶ
Joe sees a picture of her and realizes who is in his apartment.
(ジョーは王⼥アンの写真を⾒て、⾃分のアパートにいる⼥性が何者か気付く。 )
重要⽂:
ジョーが新聞を
⾒ている
対応付ける
重要⽂に対応するショットを選ぶ
Joe sees a picture of her and realizes who is in his apartment.
(ジョーは王⼥アンの写真を⾒て、⾃分のアパートにいる⼥性が何者か気付く。 )
重要⽂:
新聞には⼥王の姿をした
アンの写真が載っている
対応付ける
ジョーが新聞を
⾒ている
対応付ける
映画要約の⽀援⽅式の流れ
19
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
20
要約前
1時間58分
要約後
2分17秒
シナリオ中の重要⽂ 要約前の映画
要約後の映画ダイジェスト
要約結果閲覧デモ
21
• 提案⼿法の要約結果を閲覧できるデモページを作成しました。
• デモページおよび実際の要約結果については以下のページをご覧ください。
http://nlp.iit.tsukuba.ac.jp ⇒ 研究紹介
⇒ -1. ⼈⼯知能・機械学習・⾃然⾔語処理を⽤いたエンターテインメント技術
⇒シナリオを情報源とする映画の要約
22シナリオ中の重要⽂ 重要⽂に対応するショット列
映画の著作権に関する問題
• 映画の著作権は保護されている
– 1953年以前のものを除く
※ ローマの休⽇(1953)、ふしぎの国のアリス(1951)
• 著作権が保護されている映画は、
– コピーしてはいけない
– 編集して保存してはいけない
23
24
「著作権が保護された映画」⽤の要約プレイヤー

シナリオを情報源とする映画の要約