Finding the Storyteller: Automatic Spoiler Tagging using Linguistic Cues https://www.aclweb.org/anthology/C10-1047 LDA 参考 https://qiita.com/nyancook/items/2a6c65ea3d9cb725168f https://openbook4.me/projects/193/sections/1153 https://spjai.com/topic-model/ Bag of words 参考 https://www.pytry3g.com/entry/2018/03/21/181514 トピックモデル 参考 https://qiita.com/GushiSnow/items/8156d440540b0a11dfe6 LPU 参考 https://www.slideshare.net/tomoya-sakai/20170918-sakai

1. Finding the Storyteller: Automatic Spoiler
Tagging using Linguistic Cues
南研 M1 西村完一

2. どんなものか
映画のネタバレ検出
Abstract
Spoiler = ネタバレ
・レビューでスポイラー検出の新しいタスクを定式化し、
概要に対するユーザーのコメントのランク付け
・依存関係解析のため、ＬＤＡベースのモデルを利用する。
・4つの映画を手動でタグ付けされたコメントを使用して、ランキング評価

3. ネタバレ
事前の情報で消費者の映画の
楽しみを奪うような情報
Spoiler
ネタバレを構成するものは主に主観的な評価であり、
複雑なストーリーを持つ映画/本の場合、
ネタバレを多く含む可能性があります。

4. Bag-of-words(BOW)
生成モデルとして、LDAはトピックを示す変数の潜在的なセットから
テキストを生成する方法を説明します。
各文書はトピックの混在としてモデル化され、
トピックは単語の多項分布としてモデル化されます
引用 https://qiita.com/GushiSnow/items/8156d440540b0a11dfe6

5. LDA
生成モデルとして、LDAはトピックを示す変数の潜在的なセットから
テキストを生成する方法を説明します。
各文書はトピックをモデル化され、トピックは単語の多項分布としてモ
デル化されます
引用 https://qiita.com/GushiSnow/items/8156d440540b0a11dfe6

6. LDAベースのネタバレランキング
Predictive perplexity：予測的当惑度
Wcom: 映画のコメント
Wsyn: 映画の概要
Mcom・Msyn :コメント・概要の長さ
予測尤度ランキングと呼ばれる

7. Symmetrized KL-divergence
トピック分布の類似性を測定することで、概要とコメントの類似性を計算できる
2つの文書のトピック分布の違いを測定するために、広く使用されている
LPU(Learning from Positive and Unlabeled Data)
コメントがラベルなしのデータセット
ポジティブなトレーニングデータとして、
明白なネタバレコメントをまとめた概要をまとめる。

8. 依存構文解析(Dependency Parsing)
解析ツール:the Stanford typed dependency parser
「NN」、「VB」、「JJ」、「PRP」、「RB」

9. ラベル付け
・203,000以上の映画のコレクションを、映画に対するコメント
とレビューの数は970,000
・概要を持つ映画の場合、それらの概要の平均長は約2422文字。
・これら4つの映画の2148のコメントすべてに手動でラベルを付
け
・2148のコメントのうち、1659のコメントがIMDbと同じ
ラベルを持ってるが、他の489のコメントは異なる

10. データセット
すべてのコメントをクロールした後、LingPipeツールキット
(英語の形態素解析)を使用して文章のまとまりを作成
4つの映画のあらすじ356文、コメント26964文を取得
これらの文を解析して、依存関係情報を抽出
概要文5655、コメント文について448170の依存関係を取得

11. LDA analysis process
「bag-of-words」を使用した基本モデル
依存関係解析情報のみを使用したモデル
およびBOWと依存関係情報の両方を混在させ
たモデルを試しました。
PP1 PP2
sKL LPU

12. 精度と再現率
n-best評価では、4つの映画コメントすべてで、
PP1_mixとPP1が他の方法よりもはるかに優れた
パフォーマンスを示し、依存関係情報は、特に
大きなサイズのコレクションの場合、精度を大
幅に向上させるのに役立つことがわかった。
ＬＰＵは、ポジティブトレーニングデータの一
部を使用しているが、あまりうまく機能しな
かった。
→何人かのユーザが彼らのコメントの前に警告
フレーズ（「ネタバレ注意」のような）を置く
が、コメントが間接的なプロットを明らかにす
る情報だけを含むかもしれないということかも
しれません。キーワードのみを使用したスポイ
ラーのタグ付け方法が通常は機能しないことを
反映しています。
最後に、対称化されたKL発散を直接計算する方
法もまた適切ではないようです。

13. まとめ
スポイラーの検出問題を紹介し、トピックモデルを使用して、
映画のコメントをランク付けすることを提案
特に、依存関係情報はランキングの精度を著しく向上させた。
今後の作業では、コメントを分割して関連するネタバレ部分を自動的に識
別することができる方式を検討することを目指し、名前付きエンティティ
の認識や意味的役割のラベル付けなど、より深い言語分析も実行できま
す。
さらに、トピックモデルを評価したり、依存関係情報を使用して適切な数
のトピックを選択したりすることもできます。 最後に、依存関係をより直
接的に確率的グラフィカルモデルに統合することもまた検討に値する。