SlideShare a Scribd company logo
1 of 24
Download to read offline
シナリオを情報源とする
映画の要約
筑波⼤学・システム情報系・知能機能⼯学域
⾃然⾔語処理研究室 (宇津呂研究室)
1
背景
• ユーザは膨⼤な数の映画の中から作品を視聴できる
– 地上波放送、BS放送(WOWOW:年間1,400本)
– 映画⾒放題サービス(Hulu:10,000本)
– DVDレンタル店(TSUTAYA:60,000本)
× しかし映画は1作品が⻑いため視聴するのに時間がかかる
→ 効率良く映画を視聴する⽅法が必要
2
2時間24分 4時間29分 2時間15分 1時間42分
背景
× しかし映画は1作品が⻑いため視聴するのに時間がかかる
→ 効率良く映画を視聴する⽅法が必要
短時間で映画の内容を理解できる要約映像があれば、
ユーザにとって有⽤
1.視聴済みの作品の内容を思い出したい
2.視聴する作品を選択する際の参考にしたい
3.映像を使って映画を推薦 / 宣伝したい
3
要約映像の利⽤例 1
• 視聴済みの作品の内容を思い出したい
– 内容を忘れた古い映画や⻑編シリーズなど
『スターウォーズ』シリーズの
各作品はどんな内容だったっけ?
(登場⼈物は? 結末は?)
要約映像があればすぐ思い出せる
4
• 視聴する作品を選択する際の参考にしたい
– 視聴候補作品を実際に視聴するかどうかの判断材料として
要約映像の利⽤例 2
5
要約映像を視聴すれば、
実際の映像を参考にして視聴する作品を選べる
どれを
観よう?
複数の作品に
興味あり
• 映像を使って映画を推薦 / 宣伝したい
要約映像の利⽤例 3
映画
視聴者
DVD販売企業 ユーザ
共有SNS
広告
要約映像を
作成・公開
推薦
宣伝
映画に興味を持つ
DVDを購⼊・視聴
6
背景
× 映画は1作品が⻑いため視聴するのに時間がかかる
短時間で映画の内容を理解できる要約映像があれば、
ユーザにとって有⽤
7
映画のストーリー全体のあらすじを
ダイジェスト映像にまとめる”映画要約”を
⽀援する
本研究の⽬的
映画要約の⽀援⽅式の流れ
8
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
映画要約の⽀援⽅式の流れ
9
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
動画のショット分割(「ローマの休⽇」)
• 1分5秒のシーンをショットに⾃動分割
→ 8ショットに分割
動画のショット分割(「ローマの休⽇」)
• 1つのショットに含まれる映像
映画要約の⽀援⽅式の流れ
12
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
「ローマの休⽇」の全シナリオ(全39⽂)
全シナリオから重要⽂を抽出
重要⽂
全11⽂
1
2
3
4
5
6
7
9
10
11
8
映画要約の⽀援⽅式の流れ
15
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
16
Joe sees a picture of her and realizes who is in his
apartment. (ジョーは王⼥アンの写真を⾒て、⾃分の
アパートにいる⼥性が何者か気付く。)
5番⽬の重要⽂
ショット列 重要⽂に対応するショットを選ぶ
この辺りが対応していそう
(次ページで拡⼤して確認)
重要⽂に対応するショットを選ぶ
Joe sees a picture of her and realizes who is in his apartment.
(ジョーは王⼥アンの写真を⾒て、⾃分のアパートにいる⼥性が何者か気付く。 )
重要⽂:
ジョーが新聞を
⾒ている
対応付ける
重要⽂に対応するショットを選ぶ
Joe sees a picture of her and realizes who is in his apartment.
(ジョーは王⼥アンの写真を⾒て、⾃分のアパートにいる⼥性が何者か気付く。 )
重要⽂:
新聞には⼥王の姿をした
アンの写真が載っている
対応付ける
ジョーが新聞を
⾒ている
対応付ける
映画要約の⽀援⽅式の流れ
19
選んだ
ショット列
映画ダイジェスト
重要度
決定
モデル
シナリオ中
の重要部分
抽出
映画の
シナリオ
シナリオ中
の重要部分
動画をショットに
分割するツール
映画
シナリオ中の
重要部分に
対応するショット
の抽出
ショット列
⼿動
処理②
⼿動
処理①
20
要約前
1時間58分
要約後
2分17秒
シナリオ中の重要⽂ 要約前の映画
要約後の映画ダイジェスト
要約結果閲覧デモ
21
• 提案⼿法の要約結果を閲覧できるデモページを作成しました。
• デモページおよび実際の要約結果については以下のページをご覧ください。
http://nlp.iit.tsukuba.ac.jp ⇒ 研究紹介
⇒ -1. ⼈⼯知能・機械学習・⾃然⾔語処理を⽤いたエンターテインメント技術
⇒シナリオを情報源とする映画の要約
22シナリオ中の重要⽂ 重要⽂に対応するショット列
映画の著作権に関する問題
• 映画の著作権は保護されている
– 1953年以前のものを除く
※ ローマの休⽇(1953)、ふしぎの国のアリス(1951)
• 著作権が保護されている映画は、
– コピーしてはいけない
– 編集して保存してはいけない
23
24
「著作権が保護された映画」⽤の要約プレイヤー

More Related Content

Viewers also liked

旅ゲー風アプリ・コンテンツを自動構築する
旅ゲー風アプリ・コンテンツを自動構築する 旅ゲー風アプリ・コンテンツを自動構築する
旅ゲー風アプリ・コンテンツを自動構築する utsuro_lab
 
社会センサーとしての検索エンジンを用いて市場シェアを予測しよう
社会センサーとしての検索エンジンを用いて市場シェアを予測しよう社会センサーとしての検索エンジンを用いて市場シェアを予測しよう
社会センサーとしての検索エンジンを用いて市場シェアを予測しようutsuro_lab
 
音声言語対話を介した人間と機械のコミュニケーション技術
音声言語対話を介した人間と機械のコミュニケーション技術音声言語対話を介した人間と機械のコミュニケーション技術
音声言語対話を介した人間と機械のコミュニケーション技術utsuro_lab
 
複数人と対話可能な音声対話ロボットの構築
複数人と対話可能な音声対話ロボットの構築複数人と対話可能な音声対話ロボットの構築
複数人と対話可能な音声対話ロボットの構築utsuro_lab
 
マルチシナリオの作成の基礎
マルチシナリオの作成の基礎マルチシナリオの作成の基礎
マルチシナリオの作成の基礎Hiroyuki Shimanishi
 
『天空の城ラピュタ』のエピソード構成表
『天空の城ラピュタ』のエピソード構成表『天空の城ラピュタ』のエピソード構成表
『天空の城ラピュタ』のエピソード構成表小林 信行
 
ゲームシナリオ構成論 The Method for the game sinario writings for multi-ending adventur...
ゲームシナリオ構成論 The Method for the game sinario writings for multi-ending adventur...ゲームシナリオ構成論 The Method for the game sinario writings for multi-ending adventur...
ゲームシナリオ構成論 The Method for the game sinario writings for multi-ending adventur...小林 信行
 
ハリウッド流映画脚本講座・特別編 「ゲーム」は「キャラクター」がドライブする 〜ヒットする、原作付きキャラクターゲームシナリオの作り方〜
ハリウッド流映画脚本講座・特別編「ゲーム」は「キャラクター」がドライブする〜ヒットする、原作付きキャラクターゲームシナリオの作り方〜ハリウッド流映画脚本講座・特別編「ゲーム」は「キャラクター」がドライブする〜ヒットする、原作付きキャラクターゲームシナリオの作り方〜
ハリウッド流映画脚本講座・特別編 「ゲーム」は「キャラクター」がドライブする 〜ヒットする、原作付きキャラクターゲームシナリオの作り方〜小林 信行
 

Viewers also liked (8)

旅ゲー風アプリ・コンテンツを自動構築する
旅ゲー風アプリ・コンテンツを自動構築する 旅ゲー風アプリ・コンテンツを自動構築する
旅ゲー風アプリ・コンテンツを自動構築する
 
社会センサーとしての検索エンジンを用いて市場シェアを予測しよう
社会センサーとしての検索エンジンを用いて市場シェアを予測しよう社会センサーとしての検索エンジンを用いて市場シェアを予測しよう
社会センサーとしての検索エンジンを用いて市場シェアを予測しよう
 
音声言語対話を介した人間と機械のコミュニケーション技術
音声言語対話を介した人間と機械のコミュニケーション技術音声言語対話を介した人間と機械のコミュニケーション技術
音声言語対話を介した人間と機械のコミュニケーション技術
 
複数人と対話可能な音声対話ロボットの構築
複数人と対話可能な音声対話ロボットの構築複数人と対話可能な音声対話ロボットの構築
複数人と対話可能な音声対話ロボットの構築
 
マルチシナリオの作成の基礎
マルチシナリオの作成の基礎マルチシナリオの作成の基礎
マルチシナリオの作成の基礎
 
『天空の城ラピュタ』のエピソード構成表
『天空の城ラピュタ』のエピソード構成表『天空の城ラピュタ』のエピソード構成表
『天空の城ラピュタ』のエピソード構成表
 
ゲームシナリオ構成論 The Method for the game sinario writings for multi-ending adventur...
ゲームシナリオ構成論 The Method for the game sinario writings for multi-ending adventur...ゲームシナリオ構成論 The Method for the game sinario writings for multi-ending adventur...
ゲームシナリオ構成論 The Method for the game sinario writings for multi-ending adventur...
 
ハリウッド流映画脚本講座・特別編 「ゲーム」は「キャラクター」がドライブする 〜ヒットする、原作付きキャラクターゲームシナリオの作り方〜
ハリウッド流映画脚本講座・特別編「ゲーム」は「キャラクター」がドライブする〜ヒットする、原作付きキャラクターゲームシナリオの作り方〜ハリウッド流映画脚本講座・特別編「ゲーム」は「キャラクター」がドライブする〜ヒットする、原作付きキャラクターゲームシナリオの作り方〜
ハリウッド流映画脚本講座・特別編 「ゲーム」は「キャラクター」がドライブする 〜ヒットする、原作付きキャラクターゲームシナリオの作り方〜
 

More from utsuro_lab

機械学習による球面リバーシ(オセロ)AIの開発
機械学習による球面リバーシ(オセロ)AIの開発機械学習による球面リバーシ(オセロ)AIの開発
機械学習による球面リバーシ(オセロ)AIの開発utsuro_lab
 
各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成
各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成
各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成utsuro_lab
 
乳幼児の認知発達を誘発する売れ筋絵本を推薦する
乳幼児の認知発達を誘発する売れ筋絵本を推薦する乳幼児の認知発達を誘発する売れ筋絵本を推薦する
乳幼児の認知発達を誘発する売れ筋絵本を推薦するutsuro_lab
 
球面リバーシ(オセロ)
球面リバーシ(オセロ)球面リバーシ(オセロ)
球面リバーシ(オセロ)utsuro_lab
 
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究utsuro_lab
 
「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する
「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する
「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰するutsuro_lab
 
検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する
検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する
検索エンジン・エンハンスト・サジェスト・・・サジェストを補足するutsuro_lab
 
音声を検索するための索引付け方式の紹介(専門家向け)
音声を検索するための索引付け方式の紹介(専門家向け)音声を検索するための索引付け方式の紹介(専門家向け)
音声を検索するための索引付け方式の紹介(専門家向け)utsuro_lab
 
音声を検索するための索引付け方式の紹介(初心者向け)
音声を検索するための索引付け方式の紹介(初心者向け)音声を検索するための索引付け方式の紹介(初心者向け)
音声を検索するための索引付け方式の紹介(初心者向け)utsuro_lab
 
ニュース・ツイッター間の対応を考慮したバースト・トピックの同定
ニュース・ツイッター間の対応を考慮したバースト・トピックの同定ニュース・ツイッター間の対応を考慮したバースト・トピックの同定
ニュース・ツイッター間の対応を考慮したバースト・トピックの同定utsuro_lab
 
大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する
大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する
大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張するutsuro_lab
 
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見するutsuro_lab
 
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見するutsuro_lab
 
Wikipediaの知識を総動員して、話題の分布を俯瞰する
Wikipediaの知識を総動員して、話題の分布を俯瞰するWikipediaの知識を総動員して、話題の分布を俯瞰する
Wikipediaの知識を総動員して、話題の分布を俯瞰するutsuro_lab
 
日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定
日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定
日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定utsuro_lab
 
時系列トピックのバーストを同定するシステムの紹介 (初心者向け・旧版)
時系列トピックのバーストを同定するシステムの紹介 (初心者向け・旧版)時系列トピックのバーストを同定するシステムの紹介 (初心者向け・旧版)
時系列トピックのバーストを同定するシステムの紹介 (初心者向け・旧版)utsuro_lab
 

More from utsuro_lab (16)

機械学習による球面リバーシ(オセロ)AIの開発
機械学習による球面リバーシ(オセロ)AIの開発機械学習による球面リバーシ(オセロ)AIの開発
機械学習による球面リバーシ(オセロ)AIの開発
 
各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成
各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成
各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成
 
乳幼児の認知発達を誘発する売れ筋絵本を推薦する
乳幼児の認知発達を誘発する売れ筋絵本を推薦する乳幼児の認知発達を誘発する売れ筋絵本を推薦する
乳幼児の認知発達を誘発する売れ筋絵本を推薦する
 
球面リバーシ(オセロ)
球面リバーシ(オセロ)球面リバーシ(オセロ)
球面リバーシ(オセロ)
 
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
 
「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する
「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する
「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する
 
検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する
検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する
検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する
 
音声を検索するための索引付け方式の紹介(専門家向け)
音声を検索するための索引付け方式の紹介(専門家向け)音声を検索するための索引付け方式の紹介(専門家向け)
音声を検索するための索引付け方式の紹介(専門家向け)
 
音声を検索するための索引付け方式の紹介(初心者向け)
音声を検索するための索引付け方式の紹介(初心者向け)音声を検索するための索引付け方式の紹介(初心者向け)
音声を検索するための索引付け方式の紹介(初心者向け)
 
ニュース・ツイッター間の対応を考慮したバースト・トピックの同定
ニュース・ツイッター間の対応を考慮したバースト・トピックの同定ニュース・ツイッター間の対応を考慮したバースト・トピックの同定
ニュース・ツイッター間の対応を考慮したバースト・トピックの同定
 
大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する
大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する
大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する
 
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
 
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
 
Wikipediaの知識を総動員して、話題の分布を俯瞰する
Wikipediaの知識を総動員して、話題の分布を俯瞰するWikipediaの知識を総動員して、話題の分布を俯瞰する
Wikipediaの知識を総動員して、話題の分布を俯瞰する
 
日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定
日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定
日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定
 
時系列トピックのバーストを同定するシステムの紹介 (初心者向け・旧版)
時系列トピックのバーストを同定するシステムの紹介 (初心者向け・旧版)時系列トピックのバーストを同定するシステムの紹介 (初心者向け・旧版)
時系列トピックのバーストを同定するシステムの紹介 (初心者向け・旧版)
 

シナリオを情報源とする映画の要約