藤井 流華, 岡本 一志: モデルベース協調フィルタリングにおける推薦の透明性に関する検討, Webインテリジェンスとインタラクション研究会 第13回研究会, 2018.12.03

1. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 1
モデルベース協調フィルタリングにおける
推薦の透明性に関する検討
藤井 流華, 岡本 一志
電気通信大学 大学院情報理工学研究科 情報学専攻

2. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 2
はじめに
情報推薦システム
アイテム（商品や店舗，記事など）の内容や特徴，
好みの度合いなどからユーザの好みそうなアイテムを予測するシステム
・内容ベースフィルタリング
アイテムの内容（ジャンルや著者，俳優など）に基づいて推薦を行う手法
・協調フィルタリング
購入履歴やアイテムに付与されたスコアなどから
類似ユーザ・アイテムの発見や付与されるスコアを予測する手法
メモリベース法：スコアの類似関係から予測
モデルベース法：事前に学習したモデルを用いて予測
推薦処理の計算コスト
メモリベース法 ＞ モデルベース法

3. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 3
研究目的
推薦の透明性：推薦アイテムの他に推薦理由を提供すること
推薦の透明性は，推薦の受け入れられやすさやシステムへの信頼性，
迅速な意思決定やシステムの利用満足度などに寄与する
[Shinha+, 2012][Gedikli+, 2014][Herlocker+, 2000]
→ メモリベース法での研究が主流であり，推薦処理の計算コストが高くなる可能性
モデルベース協調フィルタリングによる推薦の透明性の実現
Sinha, R. and Swearingen, K.: The Role of Transparency in Recommender Systems, Proc. of SIGCHI Conf. on Human
Factors in Computing Systems, pp. 830-831, 2002.
Gedikli, F., Jannach, D., and Mouzhi, G.: How Should I Explain? A Comparison of Different Explanation Types for
Recommender Systems, Int. J. of Human-Computer Studies, Vol. 72, No. 4, pp. 367-382, 2014.
Herlocker, J.L., Konstan, J.A., and John, R.: Explaining collaborative filtering recommendations, Proc. of the 2000 ACM
Conf. on Computer Supported Cooperative Work, pp.241-250, 2000.

4. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 4
モデルベース協調フィルタリング
代表的な手法 スコア予測 推薦の透明性
行列因子分解
ベイジアンネットワーク
線形回帰
• 行列因子分解: 推薦の透明性に関する解釈を人手で行う必要がある
• ベイジアンネットワーク: 学習処理の計算コストが高い
変数が多いとき
• ベイジアンネットワークより学習処理の計算コストが低い
• 推薦の透明性の解釈が容易
線形回帰: y = ↵0 + ↵1x1 + ↵2x2 + · · · + ↵nxn

5. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 5
線形回帰に基づいたモデル（1 / 3）
説明変数
データセット
m
ユ
ー
ザ
n アイテム
n…
…
m
… …
1 1
1 1
1 1
1 1
m+n
ユーザ・アイテムベクトル x スコア y
5
1
2
4
U1
U
U
2
U U U1 2 mI I I I1 2 3 I II I1 2 3 n
目的変数
線形回帰モデル（LR）
ˆy = ↵0 + ↵T
x = ↵0 +
m+nX
i=1
↵ixi
: 予測値 : 説明変数x ↵0 : バイアス ↵ : 偏回帰係数ˆy

6. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 6
Factorization Machinesモデル（FM）
ˆy = ↵0 +
m+nX
i=1
↵ixi +
m+nX
i=1
m+nX
j=i+1
hvi, vjixixj
hvi, vji: 組み合わせ特徴量に対する重みの内積（ ）vi, vj 2 Rd
線形回帰に基づいたモデル（2 / 3）
ˆy = ↵0 +
m+nX
i=1
↵ixi +
m+nX
i=1
m+nX
j=i+1
hvi, vjixixj
= ↵0 +
m+nX
i=1
0
@↵ixi +
m+nX
j=i+1
hvi, vjixixj
1
A
= ↵0 +
m+nX
i=1
0
@↵i +
m+nX
j=i+1
hvi, vjixj
1
A xi
↵0
i
Steffen, R.: Factorization Machines, Proc. of the 2010 IEEE Int. Conf. on Data Mining, pp.995-1000, 2010.
[Steffen, 2010]

7. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 7
線形回帰に基づいたモデル（3 / 3）【提案法】
ニューラルネットワークによる予測モデル（NN）
W , W 0
: 結合パラメータ
input
layer
hidden
layer
confidence
layer
output
layer
g(·) f(·)
W W 0
↵
x c y=
g(·) = relu，活性化関数 f(·) = softmax
入力層 隠れ層 コンフィデンス層 出力層
ˆy = ↵0 + ↵T
c

8. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 8
input
layer
hidden
layer
confidence
layer
output
layer
g(·) f(·)
W W 0
↵
x c y=
ニューラルネットワークによる予測モデルの構築
①autoencoderで事前学習
入力層 隠れ層
②出力層をつけてファインチューニング
出力層コンフィデンス層

9. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 9
モデルの予測精度と偏回帰係数の分析に関する評価実験
1. 適切な正則化の寄与率λの探索（LRモデル, NNモデル）
・偏回帰係数に正則化を適用することでスパースになり，
推薦の透明性の解釈が容易になる
・高次元の入力データを扱うため，学習データ数が足りず過学習が発生する可能性
2. 予測精度の検証（FMモデル，LRモデル，NNモデル）
３種類のモデルの予測精度を比較
4. コンフィデンス層の変化の検証（NNモデル）
入力層とコンフィデンス層が1対1対応しているかを確認
3. 偏回帰係数の分析（LRモデル，NNモデル）
→ L1正則化およびL2正則化を適用したモデルについても検証

10. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 10
Factorization Machinesモデル（FM）
libFM [Steffen, 2012] を用いて実装
実験環境（1 / 2）
• 圧縮次元数: 150
• epoch: 100
• 最適化アルゴリズム: 確率的勾配降下法
• その他のパラメータはデフォルトの値を使用
ハイパーパラメータ
Steffen R.: Factorization Machines with libFM, ACM Trans. on Intel. Sys. and Tech., Vol. 3, No. 3, pp. 1-22, 2012.

11. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 11
実験環境（2 / 2）
線形回帰モデル（LR）とニューラルネットワークモデル（NN）
• 隠れ層の次元数: 150 （NNモデル）
• 事前学習とファインチューニングの各epoch: 100
• バッチサイズ: 32
• 最適化アルゴリズム: 確率的勾配降下法
• 損失関数: 平均二乗誤差
• すべての層にdropoutを適用
ハイパーパラメータ
pythonのkerasライブラリ [Chollet+, 2015] を用いて実装
Chollet, F. and others: Keras, https://keras.io, 2015.

12. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 12
結合パラメータと偏回帰係数の初期値の設定
初期値を決定しない場合
学習モデルが安定せず，予測精度がばらつく
low-discrepancy sequenceのひとつであるHalton数列を使用
Halton数列
• 他の乱数生成手法に比べ均等にばらつく性質
• 実装が容易（pythonのghaltonライブラリを使用）

13. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 13
東京大学 スーパーコンピュータ Reedbush
計算マシン
CPU
メモリ容量
GPU
プロセッサ名
コア数
プロセッサ名
コア数（単体）
メモリ容量（単体）
搭載数
プロセッサ名プロセッサ名 Intel Xeon E5-2695 v4
36
256GB
NVIDIA Tesla P100 (Pascal)
56
16GB
2

14. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 14
使用するデータセットと予測精度の評価方法
データセット ユーザ数 アイテム数 総スコア数 スパース率
Movie Lens 100k
(ml-100k) 943 1,682 100,000 93.70%
Yahoo! Webscope R3
(webscope)
7,642 11,915 221,367 99.76%
Movie Lens 1M
(ml-1m)
6,040 3,900 1,000,209 95.75%
＊ 汎化性能を計るために10分割交差検証法を使用
予測精度の評価方法
平均二乗誤差（MSE: Mean Squared Error）
MSE =
1
N
NX
i=1
(yi − ˆyi)2
N: データ数 yi : 真値 ˆyi : 予測値

15. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 15
モデルの予測精度と偏回帰係数の分析に関する評価実験
1. 適切な正則化の寄与率λの探索（LRモデル, NNモデル）
・正則化を適用することで偏回帰係数がスパースになり，
推薦の透明性の解釈が容易になる可能性
・高次元の入力データを扱うため，学習データ数が足りず過学習が発生する可能性
2. 予測精度の検証（FMモデル，LRモデル，NNモデル）
３種類のモデルの予測精度を比較
→ L1正則化およびL2正則化を適用したモデルについても検証
4. コンフィデンス層の変化の検証（NNモデル）
入力層とコンフィデンス層が1対1対応しているかを確認
3. 偏回帰係数の分析（LRモデル，NNモデル）

16. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 16
適切な正則化の寄与率λの探索
ml-100k
データセット
webscope
モデル
LR
NN
LR
NN
正則化
L1
L2
L1
L1
L2
L2
L2
L1
0.001 0.01 0.1 1 10
1.253 1.397 1.448 1.450 1.457
1.181 1.346 1.437 1.448 1.450
1.104 1.064 1.454 1.452 1.459
1.107 1.099 1.182 1.403 1.447
1.057 1.249 1.258 1.252 1.263
0.979 1.159 1.245 1.254 1.257
0.952 0.934 1.252 1.261 1.253
0.953 0.935 1.011 1.236 1.254
L1
L2
L1
L2
LR
NN
ml-1m
1.2861.192 1.277 1.278 1.282
1.056 1.273 1.274 1.274 1.276
0.832 0.850 1.279 1.277 1.278
0.842 0.854 0.940 1.130 1.272

17. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 17
モデルの予測精度と偏回帰係数の分析に関する評価実験
1. 適切な正則化の寄与率λの探索（LRモデル, NNモデル）
・正則化を適用することで偏回帰係数がスパースになり，
推薦の透明性の解釈が容易になる可能性
・高次元の入力データを扱うため，学習データ数が足りず過学習が発生する可能性
2. 予測精度の検証（FMモデル，LRモデル，NNモデル）
３種類のモデルの予測精度を比較
→ L1正則化およびL2正則化を適用したモデルについても検証
4. コンフィデンス層の変化の検証（NNモデル）
入力層とコンフィデンス層が1対1対応しているかを確認
3. 偏回帰係数の分析（LRモデル，NNモデル）

18. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 18
予測精度の検証（ml-100k）
• LRモデルの予測精度が最も良い
• 正則化を適用する場合はNNモデルのほうが精度が良くなる傾向
FM LR LR(L1) LR(L2) NN NN(L1) NN(L2)
1.8
1.6
1.4
1.2
1.0
MSE

19. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 19
予測精度の検証（webscope）
FM LR LR(L1) LR(L2) NN NN(L1) NN(L2)
1.8
1.6
1.4
1.2
1.0
MSE
• LRモデルの予測精度が最も良い
• 正則化を適用する場合はNNモデルのほうが精度が良くなる傾向

20. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 20
予測精度の検証（ml-1m）
FM LR LR(L1) LR(L2) NN NN(L1) NN(L2)
2.2
1.6
1.4
1.2
1.0
MSE
2.0
1.8
0.8
• LRモデルの予測精度が最も良い
• 正則化を適用する場合はNNモデルのほうが精度が良くなる傾向

21. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 21
モデルの予測精度と偏回帰係数の分析に関する評価実験
1. 適切な正則化の寄与率λの探索（LRモデル, NNモデル）
・正則化を適用することで偏回帰係数がスパースになり，
推薦の透明性の解釈が容易になる可能性
・高次元の入力データを扱うため，学習データ数が足りず過学習が発生する可能性
2. 予測精度の検証（FMモデル，LRモデル，NNモデル）
３種類のモデルの予測精度を比較
→ L1正則化およびL2正則化を適用したモデルについても検証
4. コンフィデンス層の変化の検証（NNモデル）
入力層とコンフィデンス層が1対1対応しているかを確認
3. 偏回帰係数の分析（LRモデル，NNモデル）

22. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 22
偏回帰係数の分析（ml-100k）
• 正則化を適用すると，考慮すべき偏回帰係数の数が減る
• NNモデルのほうがスパースな偏回帰係数になりやすい傾向
LR LR(L1) LR(L2) NN NN(L1) NN(L2)
ユーザアイテム
0~942943~2624

23. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 23
偏回帰係数の分析（webscope）
• 正則化を適用すると，考慮すべき偏回帰係数の数が減る
• NNモデルのほうがスパースな偏回帰係数になりやすい傾向
ユーザアイテム
0~76417642~19556
LR LR(L1) LR(L2) NN NN(L1) NN(L2)

24. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 24
偏回帰係数の分析（ml-1m）
• 正則化を適用すると，考慮すべき偏回帰係数の数が減る
• NNモデルのほうがスパースな偏回帰係数になりやすい傾向
ユーザアイテム
0~60396040~9939
LR LR(L1) LR(L2) NN NN(L1) NN(L2)

25. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 25
モデルの予測精度と偏回帰係数の分析に関する評価実験
1. 適切な正則化の寄与率λの探索（LRモデル, NNモデル）
・正則化を適用することで偏回帰係数がスパースになり，
推薦の透明性の解釈が容易になる可能性
・高次元の入力データを扱うため，学習データ数が足りず過学習が発生する可能性
2. 予測精度の検証（FMモデル，LRモデル，NNモデル）
３種類のモデルの予測精度を比較
→ L1正則化およびL2正則化を適用したモデルについても検証
4. コンフィデンス層の変化の検証（NNモデル）
入力層とコンフィデンス層が1対1対応しているかを確認
3. 偏回帰係数の分析（LRモデル，NNモデル）

26. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 26
コンフィデンス層の変化の検証（1 / 3）
ファインチューニングでどの程度コンフィデンス層が変化しているかの検証
評価方法 カルバック・ライブラ-情報量
D(P(x)||Q(x)) =
X
i
p(i) log
p(i)
q(i)
P(x) : 真の確率分布 Q(x) : 予測した確率分布
Q(x)＊ と に0が含まれないよう，P(x) xを " = 0.00001だけかさ増しし，
の総和が1となるように正規化するx

27. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03
• 入力ベクトルと再学習後のコンフィデンス層の出力のKL情報量（KL-2）
input
layer
hidden
layer
confidence
layer
output
layer
g(·) f(·)
W W 0
↵
x c y=
27
コンフィデンス層の変化の検証（2 / 3）
• 入力ベクトルと事前学習後のコンフィデンス層の出力のKL情報量（KL-1）
出力層入力層 隠れ層 コンフィデンス層
x c0
input
layer
hidden
layer
confidence
layer
output
layer
g(·) f(·)
W W 0
↵
x c y=
出力層入力層 隠れ層 コンフィデンス層
x c

28. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 28
コンフィデンス層の変化の検証（3 / 3）
ml-100k [データ0]
• ファインチューニングでコンフィデンス層が変化している
• autoencoderでうまく学習できていない可能性

29. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 29
おわりに（1 / 2）
モデルベース強調フィルタリングで推薦の透明性を実現研究目的
実験内容
線形回帰モデルに着目し，偏回帰係数を推薦の透明性の尺度として活用
1. 適切な正則化の寄与率λの探索（LRモデル，NNモデル）
LRモデルではλ= 0.001が，NNモデルではλ= 0.01が適している
2. 予測精度の検証（FMモデル，LRモデル，NNモデル）
3種類のモデルについて比較
• LRモデルが最も予測精度が良い
• 正則化を適用する場合はNNモデルが適している

30. 第13回Webインテリジェンスとインタラクション研究会 / 302018/12/03 30
おわりに（2 / 2）
4. コンフィデンス層の変化の検証（NNモデル）
• ファインチューニングでコンフィデンス層が変化している
3. 偏回帰係数の分析（LRモデル，NNモデル）
今後の課題
• コンフィデンス層と入力層を対応付ける手法の検討
• Factorization Machinesモデルで得られる偏回帰係数の分析
• 偏回帰係数の具体的な解釈法について検討する
• 正則化を適用すると考慮すべき偏回帰係数の数を減らすことができる
• NNモデルのほうがスパースな偏回帰係数が得られやすい可能性
• 入力層とコンフィデンス層は1対1対応がとれていない可能性