SlideShare a Scribd company logo
1 of 19
Download to read offline
ユーザコメントのtf-idf法による分析を用いた
  インタラクティブな関連動画の提示

   複雑系工学講座 調和系工学研究室
      修士2年 江端 佑介
研究背景
 動画の特徴を表す情報

動画のメタ情報 … 動画に付随する,動画自身の特徴を表す情報(タイトル,タグ等)
  → 動画内容をすべて網羅しているわけではない
    動画にはメタ情報に含まれない情報がまだある
      タイトル   飛行機(着陸)           タイトル   飛行機(着陸)2
      タグ     飛行機       メタ情報    タグ     飛行機,大阪空港
      説明文    伊丹空港で…            説明文    大阪空港の…




          ANA が好き!                JAL はオシャレ
        ジャンボが見たかった      コメント      飛行機乗りたい

動画コメント … 動画を見たユーザが書き込む文書
  → メタ情報には存在しない,動画の特徴を表す情報 を含む可能性がある

       動画コメントから動画の特徴を表す情報の取得が実現
                   ↓
   動画説明文生成や関連動画表示などの情報源として応用できる可能性
目的
    目的
動画の特徴を表す情報を動画コメントから取得

    応用

動画コメントから取得した情報を用いたサービスモデル
ユーザの視聴した動画のコメントの特徴を考慮しインタラクティブに関連動画を提示




            提示
                            視聴
コメントからの動画情報の抽出
      仮定と手法
<仮定> コメントの特徴が似ている動画どうしは関連性がある


     異なる動画のコメント文書間の類似度を定義する必要
                 (情報検索におけるベクトル空間モデルの応用[04 大谷])

     tf-idf法を利用しコメント文書をベクトル表現


     コメント文書のベクトル表現によって得られた特徴語が
     動画の特徴を表すか否か予備実験にて検討


   予備実験概要
①YouTubeから動画毎にコメント(英語)を収集

②tf-idf法により動画毎のコメント文書をベクトル表現し特徴語を定義

③得られた特徴語が動画の特徴を表すかをアンケート調査
予備実験
        コメントの収集
 YouTube Data APIのカテゴリ検索を利用

 ①15カテゴリ・15000動画のIDを取得                                                                ・・・・
 ②各IDにつき最大1000件のコメントを取得
    14381動画分のコメント文書Dを保存                                          D1          D2                  D14381
                                                                                      ・・・・

         特徴語の定義                                             名               名                     名
 ①コメント文書を名詞・動詞・形容詞に絞り込み                                    動 形             動 形                   動 形

 ②カテゴリ毎にtf-idf法を用いてコメント文書の特徴ベクトルを求める
                                                                      D : コメント文書
             log( tfreq (T , D))                    M
tf (T , D)                       idf (T )  log            1        T : 文書D内の単語
               log( NoT ( D))                    dfreq (T )           tfreq (T , D) : 文書D中に単語Tが出現する回数
                                                                      NoT ( D)  
                                                                               : 文書Dの総単語数
w(T , D)  tf (T , D)  idf (T )                                      M 
                                                                       : カテゴリ内の総文書数
 
d D  ( w(T1 , D), w(T2 , D), w(TN , D))                             dfreq (T )  
                                                                                 : 単語Tが出現する文書数
                                                                      w(T , D)  
                                                                               : 文書Dにおける単語Tの重要度
                                                                      N : カテゴリ内の総単語数
                                                                      
 ③特徴語の定義                                                              d D : 文書Dの特徴ベクトル

 名詞・動詞・形容詞のそれぞれについて w(T , D) が最大値をとる単語を特徴語と定義
予備実験
   アンケート調査
①動画を視聴(収集した14381動画のうち10動画)
②質問への回答
 問: 特徴語として定義した名詞・動詞・形容詞が
    動画から読み取れたかどうか

             結果
        動画から特徴語が読み取れたユーザの割合と
            特徴語とメタ情報との合致

        名詞  メタ情報  動詞
       特徴語が動画から読み取れた割合 メタ情報      形容詞    メタ情報
        (%) との合致   (%) との合致       (%)   との合致
            (10動画の平均)
動画1     64.7      ×   70.6   ○   64.7    ○
動画2     43.8      ○   18.8   ×   61.5    ×
                                                     アンケート例
動画3     100       ○   69.2   ×   38.5    ×
動画4     80.0      ○   20.0   ×   40.0    ×     特徴語がメタ情報に含まれず,かつ
動画5      0        ○   87.5   ×   25.0    ×     動画から読み取れた被験者が半数以上
動画6     85.7      ×   100    ×   71.4    ×
                                                        ↓
動画7     28.6      ×   28.6   ×   42.9    ×
                                                コメント文書から抽出した特徴語が
動画8     57.1      ○   28.6   ○   14.3    ×
                                                  動画の特徴を表す可能性
動画9     42.9      ×   100    ×   57.1    ×

動画10     0        ×   57.1   ×    100    ○
インタラクティブな関連動画提示への利用モデル
   モデル概要

                                       START


      ①動画の提示       ④関連動画の選択          検索キー入力


                                      ①動画の提示
                                     ④関連動画提示



                                     ②気になった
                                なし   動画の選択

                                               あり
      ②気になった   ③ユーザが選択した動画の      ③コメント傾向ベクトル算出
                                    関連動画の選択
      動画の選択    コメントの傾向ベクトルを算出
                                       END




「①動画の提示」~「④関連動画の選択」までを一試行とする
インタラクティブな関連動画提示への利用モデル
 傾向ベクトル
「ユーザが選択した動画のコメントの特徴ベクトル」
           及び                              を考慮して定義
    「前の試行における傾向ベクトル」


                                            
                                          
    un    d Da    d Db    d Dc  k  un1
          ユーザが気になった動画のコメント文書ベクトルの和               前の試行におけるユーザの
          (但し  ,  , :ユーザが選択したら1,しなかったら0)         視聴傾向ベクトル
                                                  (但し減衰率kを掛ける)

関連動画の選択
カテゴリ内の既に視聴した動画を除くすべての動画に対し
コメントの特徴ベクトルと傾向ベクトルとの類似度を求める
                               
                            u n  d Di
   類似度    Sim (u n , d Di )   
                              u n d Di
                  ↓
          類似度の上位三動画を関連動画と定義
0
                         1
                             2
                                 3
                                     4
                                         5
                                             6
                                                 7
                                                     8
         messi
        globus




                                                               重要度
          goles
         futbol
            cr9
           pero
                                                                                                                                                               目的


         javier
          hacia
               lo
   seleccion
               si




                                             
          d10s




                                             d D1
               ni
        benoit
                                                                         


wrestlemania
                                                                         d D1


          kane
                                                                                D1 : LIONEL MESSI TOP 30 GOALS!!!




           wcw
              dx
   mcmahon
          eddie
        macho
  hartaustin
                                                                                                                                                                                             実験




  willjohnboy
        owens
                                             


        cyruss
                                             d D2
                                                         選択した動画の単語と重要度




         tenta
    inducties
            iirc
              fn
       sounds
        match
            x12
                                                                                                                           ・ユーザが気になった動画として既に2つを選択したと仮定し実験を行う




         jawoll
            clic
             dh
                                                                         




   yokozuna
                                                                         d D2
                                                                                                                                                               選択した動画のコメント傾向を反映した関連動画提示の確認




       stirring
                rl
          sabu
                                                                                D2 : Bret Hart: 2006 Hall of Fame Speech




          nitro
             単語




                h
0
                         1
                             2
                                 3
                                     4
                                         5
                                             6
                                                 7
                                                     8
         messi
        globus




                                                         重要度
                                                                        関連
                                                                        動画
          goles




                                                                      (1回目)
         futbol
            cr9
           pero
         javier
          hacia
               lo
   seleccion
               si




                                             
          d10s




                                             d D1
               ni
        benoit
                                                               

wrestlemania
                                                               d D3
          kane
           wcw
              dx
   mcmahon
                                                                        




          eddie
                                                                        d D1




        macho
  hartaustin
                                                                               結果




  willjohnboy
        owens
                                             


        cyruss
                                             d D2


         tenta
    inducties
                                                               




            iirc
                                                               d D4




              fn
       sounds
        match
            x12
         jawoll
            clic
                                                                        




             dh
                                                                        d D2




   yokozuna
       stirring
                rl
          sabu
                                                               




          nitro
                                                               d D5




             単語




                h
0
                         1
                             2
                                 3
                                     4
                                         5
                                             6
                                                 7
                                                     8
         messi
        globus




                                                         重要度
                                                                             関連
                                                                             動画
          goles




                                                                           (1回目)
         futbol
            cr9
           pero
         javier
          hacia
               lo
   seleccion
               si



                                                               選択



                                             
          d10s




                                             d D1
               ni
        benoit
                                                                    

wrestlemania
                                                                    d D3
          kane
           wcw
              dx
   mcmahon
                                                                             




          eddie
                                                                             d D1




        macho
  hartaustin
                                                                                    結果




  willjohnboy
                                                               選択




        owens
                                             


        cyruss
                                             d D2


         tenta
    inducties
                                                                




            iirc
                                                                d D4




              fn
       sounds
        match
            x12
         jawoll
            clic
                                                                             




             dh
                                                                             d D2




   yokozuna
       stirring
                rl
          sabu
          nitro
             単語




                h
0
                         1
                             2
                                 3
                                     4
                                         5
                                             6
                                                 7
                                                     8
         messi
        globus




                                                         重要度
                                                                                      関連
                                                                                      動画
          goles




                                                                                    (1回目)
         futbol
             cr9
           pero
         javier
          hacia
               lo
   seleccion
               si



                                                                       選択



                                             
           d10s




                                             d D1
               ni
        benoit
                                                                             

wrestlemania
                                                                             d D3
           kane
           wcw
              dx
   mcmahon
                                                                                      




          eddie
                                                                                      d D1




        macho
  hartaustin
                                                                                             結果




  willjohnboy
                                                                      選択




        owens
                                             


        cyruss
                                             d D2


         tenta
              be
                                                                            




          plisss
                                                                            d D4




         wm25
     lmaoooo
   dynamite
            x12
                                             




         jawoll
                                             d D3




             clic
                                                                                      




              dh
                                                                                      d D2




   yokozuna
       stirring
                                                          重要度が増した語




                rl
           sabu
                                                          bret,hart,hogan,owen,


                                             




           nitro
                                                          hbk,shawn,hitman etc….




単語
                                             d D4




                h
結果
                                                                          
  関連                                      d D1                             d D2
  動画
(1回目)


                                                         
  関連
                               d D3                       d D4
                                                                  重要度が増した語
  動画                                                              bret,hart,hogan,owen,
(2回目)                                                             hbk,shawn,hitman etc….




        >Ric Flair and Shawn                                     >it cause of hulk hogan…
        Michaels...                   >Bret and HBK totally….
                                                                 >He and shawn Michaels  …
                                      >the hitman in a wwe ring
        >Best of all time with Bret                              >With all due respect to
        Hart right there             again but…
                                                                 Bret Hart....
結果
                                                              
  関連                          d D1                             d D2
  動画
(1回目)


                                                                        
                     d D3   重要度が増した語                                     d D5
             選択             messi,ronaldo,barca,
                            bret,hart,hogan,owen,              選択
                            bret,hart,hogan etc….
                            hbk,shawn,hitman etc….
重要度
 6                                                                   
 5            d D1                   d D2               d D3            d D5
 4
 3
 2
 1
 0
                           dx
                         hulk




                                                         somfing



                                                                   thoughtss
       leo

      que




                                                              be
     balon




                                                       mierdaldo
                         suit
     messi




              1messi




                                     tyson




                                                                    aguantee
                                             wounded




                                                          soccer


                                                                      gooner
                tna




                       cinzia




                                                                          単語
結果
                                                                                 
  関連                                         d D1                                 d D2
  動画
(1回目)


                                                                                           
  関連
                                d D3      重要度が増した語                                          d D5
  動画                 選択                   messi,ronaldo,barca,
                                          bret,hart,hogan,owen,                   選択
(2回目)                                     bret,hart,hogan etc….
                                          hbk,shawn,hitman etc….




        >Ric Flair and Shawn                                            > people said ronaldo
                                       > didn't kick ric in the nads    should've won it?
        Michaels...
                                       like he did bret hart...         > the best lionel
                                                                                         messi
        >Best of all time with Bret
                                       > Flair is just like Hogan ...   video ive watched
        Hart right there
まとめ
    目的
動画の特徴を表す情報を動画コメントから取得
↓応用
ユーザの選択した動画の特徴を考慮しインタラクティブな関連動画の提示

   達成事項
・動画コメントからtf-idf法によって抽出した特徴語が動画の特徴を表すものとして
 利用できる可能性を示した
・ユーザが視聴し,気になった動画のコメントの特徴ベクトルを合成した傾向ベクトルを
 用いて,ユーザの視聴傾向を反映した関連動画の提示ができる可能性を示した



   研究業績
国内学会発表:1件
0
                1
                    2
                        3
                            4
                                5
   messi                            6
     leo
   balon
    que


  1messi
    tna
     hulk
       dx
     suit
   cinzia
   tyson

wounded
       be
  somfing
mierdaldo
   soccer
thoughtss
   gooner
 aguantee
結果
                            
  関連                d1, D1   d1, D2
  動画
(1回目)


                                     
             d D3                     d D5
        選択                    選択

More Related Content

Viewers also liked

第三回さくさくテキストマイニング勉強会 入門セッション
第三回さくさくテキストマイニング勉強会 入門セッション第三回さくさくテキストマイニング勉強会 入門セッション
第三回さくさくテキストマイニング勉強会 入門セッションantibayesian 俺がS式だ
 
素人がTF-IDFでキーワード抽出をやってみた
素人がTF-IDFでキーワード抽出をやってみた素人がTF-IDFでキーワード抽出をやってみた
素人がTF-IDFでキーワード抽出をやってみたsmzkng
 
勉強会資料:プログラムもアルゴリズム理解も不要な 機械学習テキストマイニング
勉強会資料:プログラムもアルゴリズム理解も不要な 機械学習テキストマイニング勉強会資料:プログラムもアルゴリズム理解も不要な 機械学習テキストマイニング
勉強会資料:プログラムもアルゴリズム理解も不要な 機械学習テキストマイニングMasahiro Yamaguchi
 
プログラマのための文書推薦入門
プログラマのための文書推薦入門プログラマのための文書推薦入門
プログラマのための文書推薦入門y-uti
 
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?hoxo_m
 
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用JubatusOfficial
 
Jubatus 新機能ハイライト
Jubatus 新機能ハイライトJubatus 新機能ハイライト
Jubatus 新機能ハイライトJubatusOfficial
 
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化JubatusOfficial
 
Jubakit の紹介
Jubakit の紹介Jubakit の紹介
Jubakit の紹介kmaehashi
 
jubarecommenderの紹介
jubarecommenderの紹介jubarecommenderの紹介
jubarecommenderの紹介JubatusOfficial
 
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定JubatusOfficial
 
単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)JubatusOfficial
 
新聞から今年の漢字を予測する
新聞から今年の漢字を予測する新聞から今年の漢字を予測する
新聞から今年の漢字を予測するJubatusOfficial
 

Viewers also liked (18)

第三回さくさくテキストマイニング勉強会 入門セッション
第三回さくさくテキストマイニング勉強会 入門セッション第三回さくさくテキストマイニング勉強会 入門セッション
第三回さくさくテキストマイニング勉強会 入門セッション
 
素人がTF-IDFでキーワード抽出をやってみた
素人がTF-IDFでキーワード抽出をやってみた素人がTF-IDFでキーワード抽出をやってみた
素人がTF-IDFでキーワード抽出をやってみた
 
勉強会資料:プログラムもアルゴリズム理解も不要な 機械学習テキストマイニング
勉強会資料:プログラムもアルゴリズム理解も不要な 機械学習テキストマイニング勉強会資料:プログラムもアルゴリズム理解も不要な 機械学習テキストマイニング
勉強会資料:プログラムもアルゴリズム理解も不要な 機械学習テキストマイニング
 
プログラマのための文書推薦入門
プログラマのための文書推薦入門プログラマのための文書推薦入門
プログラマのための文書推薦入門
 
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
 
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
 
jubabanditの紹介
jubabanditの紹介jubabanditの紹介
jubabanditの紹介
 
JubaQLご紹介
JubaQLご紹介JubaQLご紹介
JubaQLご紹介
 
Jubaanomalyについて
JubaanomalyについてJubaanomalyについて
Jubaanomalyについて
 
Jubatus 新機能ハイライト
Jubatus 新機能ハイライトJubatus 新機能ハイライト
Jubatus 新機能ハイライト
 
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
 
Jubakit の紹介
Jubakit の紹介Jubakit の紹介
Jubakit の紹介
 
jubarecommenderの紹介
jubarecommenderの紹介jubarecommenderの紹介
jubarecommenderの紹介
 
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
 
JUBARHYME
JUBARHYMEJUBARHYME
JUBARHYME
 
小町の溜息
小町の溜息小町の溜息
小町の溜息
 
単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)
 
新聞から今年の漢字を予測する
新聞から今年の漢字を予測する新聞から今年の漢字を予測する
新聞から今年の漢字を予測する
 

More from harmonylab

【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也harmonylab
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究harmonylab
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...harmonylab
 
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究harmonylab
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究harmonylab
 
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...harmonylab
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backboneharmonylab
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Modelsharmonylab
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimationharmonylab
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Modelsharmonylab
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimationharmonylab
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Modelsharmonylab
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究harmonylab
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究harmonylab
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究harmonylab
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究harmonylab
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究harmonylab
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究harmonylab
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...harmonylab
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究harmonylab
 

More from harmonylab (20)

【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
 
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
 
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
 

Ebata m

  • 1. ユーザコメントのtf-idf法による分析を用いた インタラクティブな関連動画の提示 複雑系工学講座 調和系工学研究室 修士2年 江端 佑介
  • 2. 研究背景 動画の特徴を表す情報 動画のメタ情報 … 動画に付随する,動画自身の特徴を表す情報(タイトル,タグ等) → 動画内容をすべて網羅しているわけではない 動画にはメタ情報に含まれない情報がまだある タイトル 飛行機(着陸) タイトル 飛行機(着陸)2 タグ 飛行機 メタ情報 タグ 飛行機,大阪空港 説明文 伊丹空港で… 説明文 大阪空港の… ANA が好き! JAL はオシャレ ジャンボが見たかった コメント 飛行機乗りたい 動画コメント … 動画を見たユーザが書き込む文書 → メタ情報には存在しない,動画の特徴を表す情報 を含む可能性がある 動画コメントから動画の特徴を表す情報の取得が実現 ↓ 動画説明文生成や関連動画表示などの情報源として応用できる可能性
  • 3. 目的 目的 動画の特徴を表す情報を動画コメントから取得 応用 動画コメントから取得した情報を用いたサービスモデル ユーザの視聴した動画のコメントの特徴を考慮しインタラクティブに関連動画を提示 提示 視聴
  • 4. コメントからの動画情報の抽出 仮定と手法 <仮定> コメントの特徴が似ている動画どうしは関連性がある 異なる動画のコメント文書間の類似度を定義する必要 (情報検索におけるベクトル空間モデルの応用[04 大谷]) tf-idf法を利用しコメント文書をベクトル表現 コメント文書のベクトル表現によって得られた特徴語が 動画の特徴を表すか否か予備実験にて検討 予備実験概要 ①YouTubeから動画毎にコメント(英語)を収集 ②tf-idf法により動画毎のコメント文書をベクトル表現し特徴語を定義 ③得られた特徴語が動画の特徴を表すかをアンケート調査
  • 5. 予備実験 コメントの収集 YouTube Data APIのカテゴリ検索を利用 ①15カテゴリ・15000動画のIDを取得 ・・・・ ②各IDにつき最大1000件のコメントを取得 14381動画分のコメント文書Dを保存 D1 D2 D14381 ・・・・ 特徴語の定義 名 名 名 ①コメント文書を名詞・動詞・形容詞に絞り込み 動 形 動 形 動 形 ②カテゴリ毎にtf-idf法を用いてコメント文書の特徴ベクトルを求める D : コメント文書 log( tfreq (T , D)) M tf (T , D)   idf (T )  log 1 T : 文書D内の単語 log( NoT ( D)) dfreq (T ) tfreq (T , D) : 文書D中に単語Tが出現する回数 NoT ( D)   : 文書Dの総単語数 w(T , D)  tf (T , D)  idf (T ) M  : カテゴリ内の総文書数  d D  ( w(T1 , D), w(T2 , D), w(TN , D)) dfreq (T )   : 単語Tが出現する文書数 w(T , D)   : 文書Dにおける単語Tの重要度 N : カテゴリ内の総単語数  ③特徴語の定義 d D : 文書Dの特徴ベクトル 名詞・動詞・形容詞のそれぞれについて w(T , D) が最大値をとる単語を特徴語と定義
  • 6. 予備実験 アンケート調査 ①動画を視聴(収集した14381動画のうち10動画) ②質問への回答 問: 特徴語として定義した名詞・動詞・形容詞が 動画から読み取れたかどうか 結果 動画から特徴語が読み取れたユーザの割合と 特徴語とメタ情報との合致 名詞 メタ情報 動詞 特徴語が動画から読み取れた割合 メタ情報 形容詞 メタ情報 (%) との合致 (%) との合致 (%) との合致 (10動画の平均) 動画1 64.7 × 70.6 ○ 64.7 ○ 動画2 43.8 ○ 18.8 × 61.5 × アンケート例 動画3 100 ○ 69.2 × 38.5 × 動画4 80.0 ○ 20.0 × 40.0 × 特徴語がメタ情報に含まれず,かつ 動画5 0 ○ 87.5 × 25.0 × 動画から読み取れた被験者が半数以上 動画6 85.7 × 100 × 71.4 × ↓ 動画7 28.6 × 28.6 × 42.9 × コメント文書から抽出した特徴語が 動画8 57.1 ○ 28.6 ○ 14.3 × 動画の特徴を表す可能性 動画9 42.9 × 100 × 57.1 × 動画10 0 × 57.1 × 100 ○
  • 7. インタラクティブな関連動画提示への利用モデル モデル概要 START ①動画の提示 ④関連動画の選択 検索キー入力 ①動画の提示 ④関連動画提示 ②気になった なし 動画の選択 あり ②気になった ③ユーザが選択した動画の ③コメント傾向ベクトル算出 関連動画の選択 動画の選択 コメントの傾向ベクトルを算出 END 「①動画の提示」~「④関連動画の選択」までを一試行とする
  • 8. インタラクティブな関連動画提示への利用モデル 傾向ベクトル 「ユーザが選択した動画のコメントの特徴ベクトル」 及び を考慮して定義 「前の試行における傾向ベクトル」        un    d Da    d Db    d Dc  k  un1 ユーザが気になった動画のコメント文書ベクトルの和 前の試行におけるユーザの (但し  ,  , :ユーザが選択したら1,しなかったら0) 視聴傾向ベクトル (但し減衰率kを掛ける) 関連動画の選択 カテゴリ内の既に視聴した動画を除くすべての動画に対し コメントの特徴ベクトルと傾向ベクトルとの類似度を求める     u n  d Di 類似度 Sim (u n , d Di )    u n d Di ↓ 類似度の上位三動画を関連動画と定義
  • 9. 0 1 2 3 4 5 6 7 8 messi globus 重要度 goles futbol cr9 pero 目的 javier hacia lo seleccion si  d10s d D1 ni benoit  wrestlemania d D1 kane D1 : LIONEL MESSI TOP 30 GOALS!!! wcw dx mcmahon eddie macho hartaustin 実験 willjohnboy owens  cyruss d D2 選択した動画の単語と重要度 tenta inducties iirc fn sounds match x12 ・ユーザが気になった動画として既に2つを選択したと仮定し実験を行う jawoll clic dh  yokozuna d D2 選択した動画のコメント傾向を反映した関連動画提示の確認 stirring rl sabu D2 : Bret Hart: 2006 Hall of Fame Speech nitro 単語 h
  • 10. 0 1 2 3 4 5 6 7 8 messi globus 重要度 関連 動画 goles (1回目) futbol cr9 pero javier hacia lo seleccion si  d10s d D1 ni benoit  wrestlemania d D3 kane wcw dx mcmahon  eddie d D1 macho hartaustin 結果 willjohnboy owens  cyruss d D2 tenta inducties  iirc d D4 fn sounds match x12 jawoll clic  dh d D2 yokozuna stirring rl sabu  nitro d D5 単語 h
  • 11. 0 1 2 3 4 5 6 7 8 messi globus 重要度 関連 動画 goles (1回目) futbol cr9 pero javier hacia lo seleccion si 選択  d10s d D1 ni benoit  wrestlemania d D3 kane wcw dx mcmahon  eddie d D1 macho hartaustin 結果 willjohnboy 選択 owens  cyruss d D2 tenta inducties  iirc d D4 fn sounds match x12 jawoll clic  dh d D2 yokozuna stirring rl sabu nitro 単語 h
  • 12. 0 1 2 3 4 5 6 7 8 messi globus 重要度 関連 動画 goles (1回目) futbol cr9 pero javier hacia lo seleccion si 選択  d10s d D1 ni benoit  wrestlemania d D3 kane wcw dx mcmahon  eddie d D1 macho hartaustin 結果 willjohnboy 選択 owens  cyruss d D2 tenta be  plisss d D4 wm25 lmaoooo dynamite x12  jawoll d D3 clic  dh d D2 yokozuna stirring 重要度が増した語 rl sabu bret,hart,hogan,owen,  nitro hbk,shawn,hitman etc…. 単語 d D4 h
  • 13. 結果   関連 d D1 d D2 動画 (1回目)   関連 d D3 d D4 重要度が増した語 動画 bret,hart,hogan,owen, (2回目) hbk,shawn,hitman etc…. >Ric Flair and Shawn >it cause of hulk hogan… Michaels... >Bret and HBK totally…. >He and shawn Michaels … >the hitman in a wwe ring >Best of all time with Bret >With all due respect to Hart right there again but… Bret Hart....
  • 14. 結果   関連 d D1 d D2 動画 (1回目)   d D3 重要度が増した語 d D5 選択 messi,ronaldo,barca, bret,hart,hogan,owen, 選択 bret,hart,hogan etc…. hbk,shawn,hitman etc…. 重要度 6     5 d D1 d D2 d D3 d D5 4 3 2 1 0 dx hulk somfing thoughtss leo que be balon mierdaldo suit messi 1messi tyson aguantee wounded soccer gooner tna cinzia 単語
  • 15. 結果   関連 d D1 d D2 動画 (1回目)   関連 d D3 重要度が増した語 d D5 動画 選択 messi,ronaldo,barca, bret,hart,hogan,owen, 選択 (2回目) bret,hart,hogan etc…. hbk,shawn,hitman etc…. >Ric Flair and Shawn > people said ronaldo > didn't kick ric in the nads should've won it? Michaels... like he did bret hart... > the best lionel messi >Best of all time with Bret > Flair is just like Hogan ... video ive watched Hart right there
  • 16. まとめ 目的 動画の特徴を表す情報を動画コメントから取得 ↓応用 ユーザの選択した動画の特徴を考慮しインタラクティブな関連動画の提示 達成事項 ・動画コメントからtf-idf法によって抽出した特徴語が動画の特徴を表すものとして 利用できる可能性を示した ・ユーザが視聴し,気になった動画のコメントの特徴ベクトルを合成した傾向ベクトルを 用いて,ユーザの視聴傾向を反映した関連動画の提示ができる可能性を示した 研究業績 国内学会発表:1件
  • 17.
  • 18. 0 1 2 3 4 5 messi 6 leo balon que 1messi tna hulk dx suit cinzia tyson wounded be somfing mierdaldo soccer thoughtss gooner aguantee
  • 19. 結果   関連 d1, D1 d1, D2 動画 (1回目)   d D3 d D5 選択 選択