審査会資料

1. ゲ ー ム 実 況 動 画 の ハ イ ラ イ ト
シーン自動検出
佐藤 颯哉
静岡大学 情報学部 行動情報学科 4年 山本研究室
sato@design.inf.shizuoka.ac.jp
卒業研究審査会
2020年2月14日
1

2. 本研究の概要
YouTubeに投稿されているゲーム実況の
生配信アーカイブ動画のシーンに対して
書き込まれたコメントから，
「面白いシーン」か「面白くないシーン」
かを判定する分類器の作成方法を提案する
2

3. 本研究における言葉の定義
 動画 ：動画全体
 シーン：その動画に含まれる1つの区間
 時刻同期コメント：
コメントが書き込まれた時の動画再生時間の情報を
持ったコメント
3

4.  ウェブ上には様々なオンデマンド動画 配信
サービスが存在する
 上記のようなサービスは10代,20代の若者を中心
に利用率が高く，利用時間においても1日の時間
比率で考えると大きい*1
研究の背景(1/2)
4
画像出典:(https://www.youtube.com) (https://www.netflix.com/jp/)(https://fod.fujitv.co.jp/s/)
: (https://www.nicovideo.jp/)(https://www.hulu.jp/)(https://tver.jp/)
*1:平成30年度 情報通信メディアの利用時間と情報行動に関する調査より
（https://www.soumu.go.jp/main_content/000644166.pdf）

5. 研究の背景(2/2)
インターネット生配信のジャンルの中で
もゲーム実況は人気で視聴者も多い
YouTubeに投稿された生配信アーカイブ動
画は冗長な部分が多く，面白いシーンの
みを見たい場合でも視聴者自身が探す必
要がある
効率的に面白いシーンを探す手段が
求められている
5

6. 関連研究
サッカーの動画に書き込まれた時刻同期
コメントを用いて感情値を測定しシーン
が持つ感情を推定する*2
– 感情値が高いシーンは特徴的なシーンである
動画の登場人物の名前を含むコメントが
現れる区間を特徴的なシーンとして推定
する*3
– 人物の名前が書き込まれるシーンはその人物が活躍
している特徴的なシーンである
6
*2:末永智彦, 早川智一, 疋田輝雄 「 視聴者の時刻同期コメントを用いた動画の特徴シーンの推定」
*3:佃洸摂, 中村聡史, 山本岳洋, 田中克己
「 映像に付与されたコメントを用いた登場人物が注目されるシーンの推定」

7. 問題解決のための仮説
時刻同期コメントから感情表現と特徴的な
コメントの組み合わせで面白いシーンを
推定できるのではないか？
– 他の動画にはない特徴的なシーンは面白いシーンで
ある
– 笑いの感情を示すコメントがついているシーンは，
面白いと考えられる
感情表現×特徴的なコメントを特徴量
としてシーンを推定する
7
本研究と関連研究との差

8. 分類器作成の過程
8
シーン分類器
コメントデータ
特徴ベクトル化ラベル付け
正解データ 不正解データ
SVMを用いて教師あり学習
シーン

9. 3つの特徴量
tf-idf
コメントに含まれる名詞の頻度
sub
笑いの感情を示す「w」,「草」,「笑」を
文末表現に含むコメントの割合
tf-idf+sub（提案特徴量）
2つを考慮した特徴量
9

10. 特徴ベクトル化(tf-idf)
動画のコメント内の名詞のTF-IDF値
 特徴的なシーンにはそのシーンを表す
特徴的なコメントがつく
TF-IDF値が高いほどその名詞は特徴的だと
考えられ，シーンの特徴を表す
TF-IDF
単語Xが特徴的な単語かどうかを判定する手法
単語Xの出現頻度×単語Xの稀少性
10

11. 特徴ベクトル化(sub)
笑いの感情を示す「w」,「草」,「笑」を
文末表現に含むコメントの割合
 笑いの感情は書き込まれたコメントの文末に
記号的に使われていることが多いのではないか
「w」を文末表現に含む割合
「草」を文末表現に含む割合
「笑」を文末表現に含む割合
いずれかを文末表現に含む割合
11

12. 評価実験(1/2)
評価のためクロスバリデーションを行う
本研究でのデータの内訳
正解データ ： 66個
不正解データ：389個 計455個（シーン）
層化2分割交差検証を用いた
– データ数に偏りがあるときに用いる
– 正解データと不正解データの比率を元のデータ
セットと分割後のデータで統一
12

13. 評価実験(2/2)
評価指標には適合率(precision)を用いた
目的は面白いシーンの推定であるため，
面白いシーンを正しく分類できているか
が重要
13
適合率(precision)＝
正解を正解と分類できた数
正解と分類した数

14. 結果(1/3)
14
各分類器ごとの評価結果
手法 適合率（precision）
tf-idf 0.426
sub 0.588
tf-idf+sub 0.653

15. 結果(2/3)
 コメント中に出てくる名詞の頻度は特徴量が
1つの時，面白いシーンと判定することに
あまり重要な特徴量ではない
笑いの感情表現を表す文末表現の割合は
面白いシーンを推定するのに名詞の頻度より
重要な特徴量である
15

16. 結果(3/3)
 面白いシーンの推定に名詞の頻度だけでは
あまり重要な特徴量ではなかったが，笑いの
感情表現を表す文末表現の割合と同時に
考慮することで適合率が上昇する
16

17. シーン検出例
17
【状況】
4人でカレーを作るミニゲームで
全員パーフェクトを出し最高評価
を得たシーン
「インドのプリキュア」と実況者
が叫んでいた
https://www.youtube.com/watch?v=nAOHrQC-hBQ

18. 考察(1/2)
tf-idfを特徴量とした時精度を向上させる
ために対象とするゲームのタイトルを
絞り特徴的なシーンを検出することが
必要
18

19. 考察(2/2)
笑いの感情表現は面白いシーンの判定に
少なからず影響を与えた
別の感情ではどうなのか
コメントの文末表現における感情に着目
して面白さに与える影響を比較し,
特徴量を決定すると分類器の性能向上が
見込める
– 驚きを表す「！」
– 困惑を表す「？」
– 気まずさを表す「…」
– 悲しみを表す「; ;」など
19

20. 今後の課題
客観的な評価を行うために未知の動画の
コメントデータを利用
分類器の性能向上
– データセットの数の担保
• 本研究ではデータセットの総数も少なく，正解
データと不正解データにも大きな偏りが生じた
– 特徴量の決定
• 別の感情表現がどのくらい影響を与えるか比較，
検証
20

21. まとめ
効率的に面白いシーンを探すために，
コメントからそのシーンが面白いかを
判定する分類器を作成
今後
分類器の性能を向上させる
未知の動画についているコメントを利用
し，面白いシーンを検出
シーンの客観的評価
21