Submit Search
Upload
EMNLP 2011 reading
•
1 like
•
1,735 views
正志 坪坂
Follow
Personalized recommendation of user comments via factor model
Read less
Read more
Report
Share
Report
Share
1 of 31
Download now
Download to read offline
Recommended
混合モデルを使って反復測定分散分析をする
混合モデルを使って反復測定分散分析をする
Masaru Tokuoka
多変量解析の一般化
多変量解析の一般化
Akisato Kimura
R Study Tokyo03
R Study Tokyo03
Yohei Sato
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
Akisato Kimura
Rでコンジョイント分析
Rでコンジョイント分析
osamu morimoto
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
Akisato Kimura
Collaborativefilteringwith r
Collaborativefilteringwith r
Teito Nakagawa
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
Recommended
混合モデルを使って反復測定分散分析をする
混合モデルを使って反復測定分散分析をする
Masaru Tokuoka
多変量解析の一般化
多変量解析の一般化
Akisato Kimura
R Study Tokyo03
R Study Tokyo03
Yohei Sato
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
Akisato Kimura
Rでコンジョイント分析
Rでコンジョイント分析
osamu morimoto
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
Akisato Kimura
Collaborativefilteringwith r
Collaborativefilteringwith r
Teito Nakagawa
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
Complex network-reading 7
Complex network-reading 7
正志 坪坂
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
正志 坪坂
NIPS 2010 読む会
NIPS 2010 読む会
正志 坪坂
TokyowebminingInferNet
TokyowebminingInferNet
正志 坪坂
Cvpr2011 reading-tsubosaka
Cvpr2011 reading-tsubosaka
正志 坪坂
Infer.NETを使ってLDAを実装してみた
Infer.NETを使ってLDAを実装してみた
正志 坪坂
Prml Hackathon
Prml Hackathon
正志 坪坂
Recsys2014 recruit
Recsys2014 recruit
正志 坪坂
Recsys2016勉強会
Recsys2016勉強会
正志 坪坂
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
Masahiro Suzuki
A sequential recommendation approach for interactive personalized story gener...
A sequential recommendation approach for interactive personalized story gener...
nkazuki
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
Hyperoptとその周辺について
Hyperoptとその周辺について
Keisuke Hosaka
Model seminar shibata_100710
Model seminar shibata_100710
Kazuya Nishina
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
hoxo_m
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
第28回Tokyo.R
第28回Tokyo.R
宏喜 佐野
Thinking in Cats
Thinking in Cats
Eugene Yokota
順序データでもベイズモデリング
順序データでもベイズモデリング
. .
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Koji Matsuda
Mplusの使い方 中級編
Mplusの使い方 中級編
Hiroshi Shimizu
More Related Content
Viewers also liked
Complex network-reading 7
Complex network-reading 7
正志 坪坂
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
正志 坪坂
NIPS 2010 読む会
NIPS 2010 読む会
正志 坪坂
TokyowebminingInferNet
TokyowebminingInferNet
正志 坪坂
Cvpr2011 reading-tsubosaka
Cvpr2011 reading-tsubosaka
正志 坪坂
Infer.NETを使ってLDAを実装してみた
Infer.NETを使ってLDAを実装してみた
正志 坪坂
Prml Hackathon
Prml Hackathon
正志 坪坂
Recsys2014 recruit
Recsys2014 recruit
正志 坪坂
Recsys2016勉強会
Recsys2016勉強会
正志 坪坂
Viewers also liked
(9)
Complex network-reading 7
Complex network-reading 7
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
NIPS 2010 読む会
NIPS 2010 読む会
TokyowebminingInferNet
TokyowebminingInferNet
Cvpr2011 reading-tsubosaka
Cvpr2011 reading-tsubosaka
Infer.NETを使ってLDAを実装してみた
Infer.NETを使ってLDAを実装してみた
Prml Hackathon
Prml Hackathon
Recsys2014 recruit
Recsys2014 recruit
Recsys2016勉強会
Recsys2016勉強会
Similar to EMNLP 2011 reading
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
Masahiro Suzuki
A sequential recommendation approach for interactive personalized story gener...
A sequential recommendation approach for interactive personalized story gener...
nkazuki
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
Hyperoptとその周辺について
Hyperoptとその周辺について
Keisuke Hosaka
Model seminar shibata_100710
Model seminar shibata_100710
Kazuya Nishina
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
hoxo_m
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
第28回Tokyo.R
第28回Tokyo.R
宏喜 佐野
Thinking in Cats
Thinking in Cats
Eugene Yokota
順序データでもベイズモデリング
順序データでもベイズモデリング
. .
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Koji Matsuda
Mplusの使い方 中級編
Mplusの使い方 中級編
Hiroshi Shimizu
論文輪読(Effective LSTMs for Target-Dependent Sentiment Classification, Duyu Tang...
論文輪読(Effective LSTMs for Target-Dependent Sentiment Classification, Duyu Tang...
Masatoshi Kurihara
コンジョイント分析の方法論的検討
コンジョイント分析の方法論的検討
Jaehyun Song
みどりぼん読書会 第4章
みどりぼん読書会 第4章
Masanori Takano
Osaka.stan#2 chap5-1
Osaka.stan#2 chap5-1
Makoto Hirakawa
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
ネットワークメタ分析入門
ネットワークメタ分析入門
Senshu University
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
Similar to EMNLP 2011 reading
(20)
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
A sequential recommendation approach for interactive personalized story gener...
A sequential recommendation approach for interactive personalized story gener...
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Hyperoptとその周辺について
Hyperoptとその周辺について
Model seminar shibata_100710
Model seminar shibata_100710
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
第28回Tokyo.R
第28回Tokyo.R
Thinking in Cats
Thinking in Cats
順序データでもベイズモデリング
順序データでもベイズモデリング
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Mplusの使い方 中級編
Mplusの使い方 中級編
論文輪読(Effective LSTMs for Target-Dependent Sentiment Classification, Duyu Tang...
論文輪読(Effective LSTMs for Target-Dependent Sentiment Classification, Duyu Tang...
コンジョイント分析の方法論的検討
コンジョイント分析の方法論的検討
みどりぼん読書会 第4章
みどりぼん読書会 第4章
Osaka.stan#2 chap5-1
Osaka.stan#2 chap5-1
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
ネットワークメタ分析入門
ネットワークメタ分析入門
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
More from 正志 坪坂
Recsys2018 unbiased
Recsys2018 unbiased
正志 坪坂
WSDM2018Study
WSDM2018Study
正志 坪坂
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
正志 坪坂
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
正志 坪坂
Deeplearning勉強会20160220
Deeplearning勉強会20160220
正志 坪坂
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
正志 坪坂
Recsys2015
Recsys2015
正志 坪坂
KDD 2015読み会
KDD 2015読み会
正志 坪坂
EMNLP2014_reading
EMNLP2014_reading
正志 坪坂
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
正志 坪坂
KDD2014_study
KDD2014_study
正志 坪坂
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
正志 坪坂
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
正志 坪坂
Introduction to contexual bandit
Introduction to contexual bandit
正志 坪坂
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
正志 坪坂
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
Tokyowebmining2012
Tokyowebmining2012
正志 坪坂
static index pruningについて
static index pruningについて
正志 坪坂
NIPS 2012 読む会
NIPS 2012 読む会
正志 坪坂
More from 正志 坪坂
(20)
Recsys2018 unbiased
Recsys2018 unbiased
WSDM2018Study
WSDM2018Study
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
Deeplearning輪読会
Deeplearning輪読会
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
Deeplearning勉強会20160220
Deeplearning勉強会20160220
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
Recsys2015
Recsys2015
KDD 2015読み会
KDD 2015読み会
EMNLP2014_reading
EMNLP2014_reading
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
KDD2014_study
KDD2014_study
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
Introduction to contexual bandit
Introduction to contexual bandit
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
Tokyowebmining2012
Tokyowebmining2012
static index pruningについて
static index pruningについて
NIPS 2012 読む会
NIPS 2012 読む会
EMNLP 2011 reading
1.
EMNLP 2011読む会 Personalized recommendation
of user comments via factor model 坪坂 正志 m.tsubosaka(at)gmail(dot)com
2.
紹介する論文
Personalized recommendation of user comments via factor models Deepak Agarwal, Bee-Chung Chen, Bo Pang 3人ともYahoo! Research
3.
レビューデータについて
インターネットには多くのレビューデータが存在する amazon, 食べログ, Yelp Yahoo! News, Digg, Slashdot
4.
レビューデータの構造 (Yelpを例に)
レビューの対象物 点数 レビュー レビューアー レビューに対する評価
5.
従来研究
レビューから点数を推定する(評判分析) 発展としてレビューを複数の側面(aspect)で捉える研究 [Hu and Liu 2004, Popescu and Etzioni 2005, Synder and Barzilay 2007, Titov and McDonald 2008] 点数 レビュー レビューアー レビューに対する評価
6.
従来研究
レビューに対する評価を予測する レビューがhelpfulかどうかの予測(ある種の信憑性分析) ユーザにおける評価の平均値を予測する [Kim+ 2006, Liu+ 2007, Danescu-Niculescu-Mizil+ 2009] 点数 レビュー レビューアー レビューに対する評価
7.
この論文での研究
個々の人に対して、その人にとって好ましいレビューを 推薦する (Personalized recommendation) 例えば民主党支持者にとっては共和党支持のコメントは評価 は低いが、共和党支持者にとっては評価は高い
8.
Notation
������������������ : ユーザ������のコメント������に対して付けたrate ������������ : ユーザ������に関する特徴量ベクトル ユーザがポジティブな評価を行ったコメントの単語ベクトルな ど ������������ : コメント������に関する特徴量ベクトル コメントに関する単語ベクトル ������(������) : コメント������を書いたユーザ ������������������ : ������(������������������ ) 通常コメントは高々一回しか評価されないので、観測はできな い
9.
相互作用によらないバイアス
������������������ をいくつかのバイアスの和で表す ������������ : ユーザ������に関するバイアス ユーザ������のコメントに対する評価の平均的な傾向 ������������ : コメント������に関するバイアス コメント������に対する評価の平均的な傾向 ������������(������) : 著者a(������)に関するバイアス コメントの著者a(������)に対する評価の平均的な傾向
10.
潜在変数によるバイアス
������������ : ユーザ間のaffinityを表す������������ 次元のベクトル ������������ : ユーザコメント間のaffinityを表す������������ 次元のベクトル ������������ : ユーザコメント間のaffinityを表す������������ 次元のベクトル 上の変数を使って、バイアスは ������′ ������������ ������ : コメント著者と評価者の間の類似度 ������ ������′ ������������ : コメントと評価者の間の類似度 ������
11.
モデル
以上より������������������ は ������������������ = ������������ + ������������ + ������������ ������ + ������′ ������������ ������ ������ + ������′ ������������ ������ と書け 2 ������������������ ∼ ������(������������������ , ������������ ) また評価が二値などに対応するため一般化線形モデル の枠組みを使うと ℎ(������������������ ) = ������������ + ������������ + ������������ ������ + ������′ ������������ ������ + ������′ ������������ ������ ������ ������������������ ∼ Bernoulli(������������������ ) などとも書ける(例えば2値の場合ℎはロジット関数、通常 の連続値の場合は恒等間数)
12.
潜在変数のモデル化
このモデルの潜在変数をそのままMLEで学習しようとす ると過学習の可能性がある そこで潜在変数についての事前分布を考える 2 ������������ ∼ ������ ������′ ������������ , ������������ , ������������ ∼ ������ ������ ′ ������������ , ������������ , ������������ ������ ∼ ������(0, ������������ ) 2 2 2 2 2 ������������ ∼ ������ ������������������ , ������������ , ������������ ∼ ������ ������������������ , ������������ , ������������ ∼ ������(0, ������������ ) 以上より 潜在変数: Θ = {������������ , ������������ , ������������ } 2 2 2 2 2 2 2 パラメータ: ������ = {������, ������, ������, ������, ������������ , ������������ , ������������ , ������������ , ������������ , ������������ , ������������ } を推定すれば良いことがわかる
13.
モデルフィッティング
対数尤度関数は以下のようになる この問題ではEステップでの������(Θ|������������������������ , ������)を解析的に計 算するのは困難 Monte Carlo EMアルゴリズムを使う
14.
モンテカルロEMアルゴリズム
Mステップで計算する ������ ������, ������ ������������������ = ∫ ������ Θ ������, ������������������������ log ������(Θ, ������|������) ������Θ を現在の事後分布の推定������ Θ ������, ������������������������ からのサンプル {Θ������ }の有限和 1 ������ ������, ������ ������������������ ≃ ������ ������ log ������(Θ , ������|������) ������ で近似する PRML(11.1.6)にも解説あり この問題の場合Mステップは通常の方法で最適化できる
15.
派生モデル
全部の要素を取り入れたモデルを������������ + ������������モデルと書く ユーザ間の類似度のみ用いたモデルを������������モデルと書く ユーザとコンテントの類似度のみ用いたモデルを������������モデ ルと書く
16.
matrix factorization modelとの関係
Matrix factorization modelは ℎ(������������������ ) = ������������ + ������������ + ������′ ������������ ������ で、������ = ������ = ������ = ������ = 0としたモデルとみなせる
17.
ucモデル
matrix factorization modelと同じであるが、������, ������, ������, ������が非 ゼロであるところが異なる これは既存のregression modelである[Agarwal and Chen 2009]と類似のモデルとなっている “Regression-based latent factor models”, KDD 2009
18.
vvモデル
ℎ(������������������ ) = ������������ + ������������ ������ + ������′ ������������ ������ ������ としたモデル これはソーシャルネットワークでのインタラクションをモデ ル化するのに用いられている Hoff, Bilinear mixed-effects models for dyadic data. JASA, 2005
19.
bilinear regression modelとの関係
bilinear regression modelでは以下のような式になる Chu and Park , Personalized recommendation on dynamic content using predictive bilinear models. WWW 2009 ℎ(������������������ ) = ������′ ������������ + ������′������������ + ������′ ������������������ ������ 一方提案モデルでは ℎ(������������������ ) = ������′ ������������ + ������′������������ + ������′ ������′ ������������������ ������ 提案モデルは������ ′ ������ = ������とLow-rankの行列2つでAを分解 したモデルと捉えることができる Aの次元が大きい時はパラメータ数を少なく抑えることが できる
20.
実験データ
2010年3月から5月までのYahoo!Newsのコメント評価データを 用いる 評価はpositive/negativeのbinary 9003人の200以上のratingを行なっているユーザを用いる 189291人の20以上のratingを受けているユーザを用いる 5088個の40個以上のコメントがあるニュース記事を用いる 200以上などの条件は生データにおけるものなので、フィルタ 後のデータにおいて必ずしもこの条件が満たされるとは限ら ない 合計で444万222個のratingsと119万7089個のコメントデータと なった
21.
実験データ
5088記事のうち50%を訓練用、5%をチューニング用、45% をテスト用に用いる。 すべてのコメントはトークナイズされ、小文字に正規化さ れ、ストップワードと句読点は除外される 単語は頻出10000語に制限される コメントの特徴量ベクトル������������ のBOF表現として表される 重み付けにはtf-idfを用いる 評価者の特徴ベクトル������������ は評価者がポジティブの評価を したコメントの特徴ベクトルの合計として表される
22.
比較手法
������������ + ������������モデル, ������������モデル, ������������モデル ������������ = 2, ������������ = 3 low-rank bilinear (bilinear) ランクは3 コサイン類似度 (cos) ������′ ������������ を利用 ������ Per-user SVM (svm) 評価者ごとに������������ を使ってSVMで学習を行う Per-user Naive Bayes (nb) NBで学習を行う
23.
パフォーマンスメトリックス
ROC(AUC) False positive rateを横軸に、True positive rateを縦軸に取っ た時の下側の面積 ランダムな推論のとき0.5となる P@k 各rankerに関してテストセットの評価を行ったデータに関して スコアを計算し、k位までの精度を算出する 全rankerに関して平均をとる
24.
各手法におけるROCカーブ
25.
各手法におけるAUCおよび精度の値
26.
Paired t-testの結果
2つの手法に関して有意な差があるかの検定を行った
27.
各手法の順序関係
uc+vv uc vv bilinear svm nb cos
28.
activity レベルの差による精度の違い
ユーザのアクティビティの数が多いほどユーザ間の affinityを考慮したvvモデルの精度は上がる
29.
特徴量のサイズによる精度の違い
ucモデルに関して������������ の特徴量の数を変えた時の精度を 見た サイズを5Kから10Kに変えても殆ど変わらないため、論文に おいては10Kで行なっている
30.
潜在次元の観察
潜在次元を1にしたとき、������������ = ������������������ , ������������ = ������������������ の正負に注 目する 2つの符号が等しければraterはそのコメントを好む 実際符号のサイズの大きいものを見ると、片方には repukes, repugsなどの共和党を貶す単語が見られ、もう 一方にはlibtards, nobama, obummerなど反オバマの単 語が見られる
31.
まとめ
評価者とコメントの関係、評価者とコメントの著者との関 係を取り入れたモデルを提案した ニュースの記事などの潜在変数は時間と共に変わって いくと思われるので、このような時間変化を捉えれるモデ ルは今後の検討課題である このようなモデルは通常の商品のレコメンデーションなど にも応用できると考えられる コールドスタート問題の解決など
Download now