Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ネタバレ確信度を考慮した試合実況データセット構築と分析手法の検討.pdf

79 views

Published on

第12回WI2学会で発表したプレゼン資料

Published in: Sports
  • Be the first to comment

  • Be the first to like this

ネタバレ確信度を考慮した試合実況データセット構築と分析手法の検討.pdf

  1. 1. 1 何の数字だかわかりますか?
  2. 2. 2018ロシアW杯が開催した日! 2
  3. 3. 日本代表の試合 3
  4. 4. 日本代表の試合 4
  5. 5. スポーツ観戦 勝つか負けるかわからないハラハラ感を楽しめる (リアルタイムで観戦したいという人も多い) 5
  6. 6. スポーツ観戦 勝つか負けるかわからないハラハラ感を楽しめる (リアルタイムで観戦したいという人も多い) 仕事や学業などでリアルタイムで観られない場合は 録画視聴 6
  7. 7. スポーツ観戦 勝つか負けるかわからないハラハラ感を楽しめる (リアルタイムで観戦したいという人も多い) 仕事や学業などでリアルタイムで観られない場合は 録画視聴 ある問題が発生 7
  8. 8. ネタバレ問題
  9. 9. ネタバレ例 ニュースで 9
  10. 10. ネタバレ例 LINEで 10
  11. 11. ネタバレ例 Twitterで 11
  12. 12. 検索結果 12
  13. 13. ネタバレ防止研究 スポーツの勝敗にまつわるネタバレ防止手法の検討 : Web上のネタバレを隠す表現手法(誤情報混入など)を検討 Spoiler detection in TV program tweets : テレビ番組におけるTwitter上のネタバレを高精度に判定 する手法を検討 [中村ら 2013] [Jeonら 2015]
  14. 14. ネタバレ防止研究 スポーツの勝敗にまつわるネタバレ防止手法の検討 : Web上のネタバレを隠す表現手法(誤情報混入など)を検討 Spoiler detection in TV program tweets : テレビ番組におけるTwitter上のネタバレを高精度に判定 する手法を検討 [中村ら 2013] [Jeonら 2015] スポーツにおけるSNS上のネタバレを 高精度に判定する手法の検討は不十分
  15. 15. これまでの取り組み スポーツにおけるネタバレの特性調査と判定手法の検討 : Twitter上のスポーツのネタバレを判定する手法について, 試合状況別にSVMを切り替える手法の有効性を確認 15 [2017]
  16. 16. これまでの取り組み スポーツにおけるネタバレの特性調査と判定手法の検討 : Twitter上のスポーツのネタバレを判定する手法について, 試合状況別にSVMを切り替える手法の有効性を確認 16 [2017] 最も高精度な手法で6割 実用性に乏しい
  17. 17. 問題点の原因 データセット構築時に「ネタバレか否か」を直接聞いていた 17
  18. 18. 問題点の原因 データセット構築時に「ネタバレか否か」を直接聞いていた 18 データセットでネタバレとされているツイート例: 「長友足つってるw」 「日本: 11宇佐美→8原口」
  19. 19. 問題点の原因 データセット構築時に「ネタバレか否か」を直接聞いていた 19 実際にネタバレを受ける側の目線に 固定できていない どの程度の暴露をネタバレとするかの 基準が固定できていない データセットでネタバレとされているツイート例: 「長友足つってるw」 「日本: 11宇佐美→8原口」
  20. 20. 問題点の原因 データセット構築時に「ネタバレか否か」を直接聞いていた 20 実際にネタバレを受ける側の目線に 固定できていない どの程度の暴露をネタバレとするかの 基準が固定できていない データセットでネタバレとされているツイート例: 「長友足つってるw」 「日本: 11宇佐美→8原口」ラベル付けの評価基準を明確にした データセットを構築する必要がある
  21. 21. 判断基準を明確化したデータセット の構築と判定手法の再検討 21
  22. 22. ネタバレデータセット再構築 22 ツイートから「試合結果がどのくらいの確信度で予測可能か」を聞いた (判断基準の固定と評価視点の固定が狙い)
  23. 23. ネタバレデータセット再構築 23 ツイートから「試合結果がどのくらいの確信度で予測可能か」を聞いた (判断基準の固定と評価視点の固定が狙い) ネタバレツイートを 「試合の最終結果が高い確信度 で予測できてしまうツイート」 と定義 確信度が高ければ危険なツイート
  24. 24. ネタバレデータセット再構築 24 ツイートから「試合結果がどのくらいの確信度で予測可能か」を聞いた (判断基準の固定と評価視点の固定が狙い) 9000ツイート × 5人(以上) = 45000(以上)データ 1000ツイート × 9試合 = 9000 ツイート 結果の予測とその確信度を クリックすることでラベル付け
  25. 25. 用意した試合 25 結果: 5勝1敗3分 サッカー日本代表の試合 9試合 (以前用いたものを流用)
  26. 26. 構築結果(抜粋) 26 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120
  27. 27. 構築結果 27 試合の経過時間に対する 平均確信度の推移 平均確信度 経過時間
  28. 28. 構築結果 28 試合の経過時間に対する 平均確信度の推移 試合開始からの経過時間が 長いほど危険なネタバレ 平均確信度 経過時間
  29. 29. 構築結果 29 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120
  30. 30. 構築結果 30 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 50を超えると試合結果に 対するツイートが出現
  31. 31. 構築結果 31 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 今回は最終結果に対する 記述が現れる確信度50を 境界線とした
  32. 32. 構築結果 32 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 ネタバレ
  33. 33. 構築結果 33 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 ネタバレ 非ネタバレ
  34. 34. ネタバレ判定実験 34 SVM ランダムフォレスト パターンマッチ ネタバレツイート(確信度50以上)かどうかを判別 比較内容: 単語を特徴量とした3手法の判定精度を比較 F値 再現率 適合率 手法 比較項目
  35. 35. 判定結果 35 手法 適合率 再現率 F値 パターンマッチ 0.570 0.935 0.708 ランダムフォレスト 0.808 0.857 0.826 SVM 0.809 0.883 0.843
  36. 36. 判定結果 36 手法 適合率 再現率 F値 パターンマッチ 0.570 0.935 0.708 ランダムフォレスト 0.808 0.857 0.826 SVM 0.809 0.883 0.843 機械学習を用いた 手法の方が高い
  37. 37. 判定結果 37 手法 適合率 再現率 F値 パターンマッチ 0.570 0.935 0.708 ランダムフォレスト 0.808 0.857 0.826 SVM 0.809 0.883 0.843 SVMが最も効果的 以前の精度(0.6程度) よりもかなり上昇
  38. 38. 判定結果 38 手法 適合率 再現率 F値 パターンマッチ 0.570 0.935 0.708 ランダムフォレスト 0.808 0.857 0.826 SVM 0.809 0.883 0.843 SVMが最も効果的 以前の精度(60%程度) よりもかなり上昇 ネタバレデータセットは評価視点と判断基準 の固定を考慮して構築する必要がある
  39. 39. 試合状況を考慮したSVM (SVM+試合状況) 試合1: 試合2: 試合3: 0-1 0-2試合開始 1-0 1-11-0 試合終了
  40. 40. 試合状況を考慮したSVM (SVM+試合状況) 試合1: 試合2: 試合3: 0-1 0-2試合開始 1-0 1-11-0 試合終了 勝ちモデル 勝ちモデル
  41. 41. 試合状況を考慮したSVM (SVM+試合状況) 試合1: 試合2: 試合3: 0-1 0-2試合開始 1-0 1-11-0 試合終了 負けモデル 負けモデル 勝ちモデル 勝ちモデル
  42. 42. 試合状況を考慮したSVM (SVM+試合状況) 試合1: 試合2: 試合3: 0-1 0-2試合開始 1-0 1-11-0 試合終了 同点モデル 同点モデル 同点モデル 同点モデル 負けモデル 負けモデル 勝ちモデル 勝ちモデル
  43. 43. 試合状況を考慮したSVM (SVM+試合状況) 試合1: 試合2: 試合3: ネタバレを防止したい試合: 0-1 0-2試合開始 1-0 1-11-0 試合終了 1-0 同点モデル 同点モデル 同点モデル 同点モデル 負けモデル 負けモデル 勝ちモデル 勝ちモデル 同点モデル 勝ちモデル 適用 試合状況により SVMの学習モデルを 使い分け システム自身は ネタバレされても 問題ない! 判定 判定
  44. 44. 判定結果(SVM+試合状況手法) 44 手法 適合率 再現率 F値 SVM 0.809 0.883 0.843 SVM+試合状況 0.831 0.880 0.852
  45. 45. 判定結果(SVM+試合状況手法) 45 手法 適合率 再現率 F値 SVM 0.809 0.883 0.843 SVM+試合状況 0.831 0.880 0.852 F値が0.01上昇した
  46. 46. 判定結果(SVM+試合状況手法) 46 手法 適合率 再現率 F値 SVM 0.809 0.883 0.843 SVM+試合状況 0.831 0.880 0.852 特に適合率が高かった 異なる時間帯での誤学習 (「久しぶり」など)が 少なくなったため
  47. 47. 判定結果(SVM+試合状況手法) 47 手法 適合率 再現率 F値 SVM 0.809 0.883 0.843 SVM+試合状況 0.831 0.880 0.852 特に適合率が高かった 異なる時間帯での誤学習 (「久しぶり」など)が 少なくなったため スポーツのネタバレ判定では試合状況別に モデルを切り替えるのが良い
  48. 48. 構築結果 48 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120
  49. 49. 構築結果 49 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 50付近では試合結果に 対する感想ツイートが出現
  50. 50. 構築結果 50 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 70を超えると直接試合結果 を述べるツイートが出現
  51. 51. 構築結果 51 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 80を超えると試合結果の 詳細(スコアなど)を述べる ツイートが出現
  52. 52. 構築結果 52 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 ネタバレ 非ネタバレ 50以上をネタバレ, 50未満を非ネタバレ とした場合 (以後50-49)
  53. 53. 構築結果 53 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 ネタバレ 非ネタバレ 60以上をネタバレ, 40以下を非ネタバレ とした場合 (以後60-40)
  54. 54. 構築結果 54 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 ネタバレ 非ネタバレ 70以上をネタバレ, 30以下を非ネタバレ とした場合 (以後70-30)
  55. 55. 構築結果 55 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 ネタバレ 非ネタバレ 80以上をネタバレ, 20以下を非ネタバレ とした場合 (以後80-20)
  56. 56. 構築結果 56 平均確信度 ツイート 経過時間 0〜9 柏木うめぇ 31 10〜19 長かった。ここから。 29 20〜29 森重ごーーる 34 30〜39 1-0で前半終了。 48 40〜49 アメリカ3点目 14 50〜59 よかった。ほんとよかった。 香川とか岡崎とか原口とか酒 井とか。 116 60〜69 【後半35分経過】 日本 1 × 1 イラン 98 70〜79 勝った勝った 112 80〜89 イラン1-1日本 113 90〜100 3-0か〜。 あと2点くらい欲しかったな。 120 ネタバレ 非ネタバレ 90以上をネタバレ, 10以下を非ネタバレ とした場合 (以後90-10)
  57. 57. 判定結果(確信度帯別) 57 確信度帯 適合率 再現率 F値 50-49 0.883 0.851 0.866 60-40 0.891 0.856 0.873 70-30 0.873 0.946 0.907 80-20 0.873 0.927 0.893 90-10 0.774 0.890 0.797
  58. 58. 判定結果(確信度帯別) 58 確信度帯 適合率 再現率 F値 50-49 0.883 0.851 0.866 60-40 0.891 0.856 0.873 70-30 0.873 0.946 0.907 80-20 0.873 0.927 0.893 90-10 0.774 0.890 0.797 確信度帯70-30の F値が一番高かった 80-20以上ではデータ量が 極端に少なかった
  59. 59. 判定実験全体の考察 SVMの精度が以前のデータセットと比べ格段に高かった ネタバレのデータセット構築には評価視点と判断基準の固定が必要だった (構築のための1つのガイドラインを示すことができた) 試合状況別にSVMのモデルを切り替えると精度が上昇した 試合状況別に分離することで他の時間帯のツイートによる誤学習を防げたためだと 考えられる 確信度帯別では70-30が最も精度が高かった より危険なネタバレほど特徴が単純で判定難易度が下がったためだと考えられる 59
  60. 60. 今後の展開: ネタバレしないSNS 60 ネタバレコメントを 自動的に伏せる
  61. 61. 今後の展開: ネタバレしない予告ダイジェスト 61 確信度が高いツイートが多い時間帯のシーンを ダイジェストから省く 平均確信度 時間 省く 省く
  62. 62. まとめ ネタバレデータセットを再構築 ネタバレデータセット構築のガイドラインを1つ示した ネタバレツイートを「試合の最終結果が高い確信度で予測できてしまう投稿」と定義 試合開始からの経過時間が長いほど確信度が高い より単純な言葉やより詳細な情報があるほど確信度が高い 様々な条件でネタバレ判定実験を試行 評価視点と判断基準の固定を考慮してデータセットを構築したら精度が上昇 SVM+試合状況手法が最も効果的 確信度70以上のツイートは9割以上の精度で判定可能 62

×