![Jester5k
• ジョークのレコメンデーションシステム
• ５０００人分のジョークに対する評価が含まれている。
• http://eigentaste.berkeley.edu/user/index.php
#サンプルデータの読み込み
data(Jester5k)
Jester5k
as(Jester5k[1:10], "matrix")[1:2, 1:2]
# j1 j2
# u2841 7.91 9.17
# u15547 -3.20 -3.50
Recommendelabに含まれるユーザ×ジョークのサンプルデータセット](https://image.slidesharecdn.com/collaborativefilteringwithr-130416090214-phpapp02/85/Collaborativefilteringwith-r-33-320.jpg)
![データの整形
as(Jester5k[1:10], "matrix")[1:2, 1:2]
# j1 j2
# u2841 7.91 9.17
# u15547 -3.20 -3.50
#二値データ化
as(binarize(Jester5k[1:10], minRating=-3.2), "matrix")[1:2, 1:2]
# j1 j2
# [1,] 1 1
# [2,] 1 0
as(binarize(Jester5k[1:10], minRating=-3.5), "matrix")[1:2, 1:2]
# j1 j2
# [1,] 1 1
# [2,] 1 1
#正規化を行う
as(normalize(Jester5k[1:10], method="center", row=TRUE), "matrix")[1:2, 1:2]
#j1 j2
#u2841 4.0548148 5.3148148
#u15547 -0.4180282 -0.7180282
ユーザ2841と15547のジョー
ク1,2に対する評価を確認
binarize
二値行列化
normalize
正規化](https://image.slidesharecdn.com/collaborativefilteringwithr-130416090214-phpapp02/85/Collaborativefilteringwith-r-34-320.jpg)
![基本計算
##############基本計算##############
#データより、サンプル１０００件を取得
ratings<-sample(Jester5k, 1000)
#ユーザ１の評価の平均
rowMeans(ratings[1,])
# u18940
# -2.439
#ジョーク１の評価の集計
colCounts(ratings[,1])
#j1
#655
#類似性の計算 method="cosine", "pearson", "jaccard"
similarity(x=Jester5k[1:10], method="Jaccard")
# u2841 u15547 u15221 u15573 u21505 u15994 u238 u5809 u16636
# u15547 0.8536585
# u15221 0.8100000 0.7100000
# u15573 0.8100000 0.7100000 1.0000000
# u21505 0.8433735 0.9324324 0.7200000 0.7200000
…
sample
サンプルを取得
rowMeans, colCounts
行、列に対する集計
similarity
類似性の計算](https://image.slidesharecdn.com/collaborativefilteringwithr-130416090214-phpapp02/85/Collaborativefilteringwith-r-35-320.jpg)
![データの可視化
#ジョーク別評価平均
hist(colMeans(ratings), breaks=50)
#ヒートマップによる可視化
image(ratings[1:100,])](https://image.slidesharecdn.com/collaborativefilteringwithr-130416090214-phpapp02/85/Collaborativefilteringwith-r-38-320.jpg)
![基本の計算
############レコメンデーション################
#実数タイプのユーザ評価マトリックスのレジストリを取得する。
recommenderRegistry$get_entries(dataType="realRatingMatrix")
# ......
# $UBCF_realRatingMatrix
# Recommender method: UBCF
# Description: Recommender based on user-based collaborative filtering (real data).
#Recommenderクラスの生成
recom<-Recommender(Jester5k[1:1000], method="POPULAR")
names(getModel(recom))
#[1] "topN" "ratings" "normalize" "aggregation"
#モデルrecomにより、Top-10レコメンデーションを作成
pred.recom<-predict(recom, Jester5k[1001:1003])
#レコメンデーションを表示する。
as(bestN(pred.recom, n=11), "list")
# [[1]]
# [1] "j89" "j72" "j47" "j93" "j76" "j10" "j96" "j83" "j81" "j87"
#
# [[2]]
# [1] "j89" "j93" "j76" "j88" "j96" "j83" "j81" "j87" "j91" "j78"
recommenderRegistry
レコメンデーション
アルゴリズムのセット
Recommender
レコメンドクラスの作成
predict
与えたデータに対して
予測を行う](https://image.slidesharecdn.com/collaborativefilteringwithr-130416090214-phpapp02/85/Collaborativefilteringwith-r-39-320.jpg)
![レコメンデーションの評価
#評価スキーマを作成する（K交差検証法を行う）
es<-evaluationScheme(Jester5k[1:1000], method="cross", k=4, goodRating=5)
results<-evaluate(es, method="POPULAR", n=c(1,3,5,10,15,20))
# POPULAR run
# 1 [0.03sec/0.59sec]
# 2 [0.04sec/0.61sec]
# 3 [0.03sec/0.59sec]
# 4 [0.03sec/0.56sec]
#混同行列の取得
getConfusionMatrix(results)[[1]]
# n TP FP FN TN PP recall precision FPR TPR
# 1 0.452 0.548 17.712 78.288 1 0.02488439 0.4520 0.006951139 0.02488439
# 3 1.200 1.800 16.964 77.036 3 0.06606474 0.4000 0.022832209 0.06606474
# 5 2.024 2.976 16.140 75.860 5 0.11142920 0.4048 0.037749252 0.11142920
# 10 3.868 6.132 14.296 72.704 10 0.21294869 0.3868 0.077781724 0.21294869
# 15 5.652 9.348 12.512 69.488 15 0.31116494 0.3768 0.118575270 0.31116494
# 20 7.204 12.796 10.960 66.040 20 0.39660868 0.3602 0.162311634 0.39660868
evaluationScheme
評価スキーマを作成
method
split データを分割
cross k交差検証法
bootstrap ブートストラップ
evaluate
評価の実行
getConfusion
Matrix
混同行列の
作成](https://image.slidesharecdn.com/collaborativefilteringwithr-130416090214-phpapp02/85/Collaborativefilteringwith-r-40-320.jpg)
![レコメンデーションの評価
#評価スキーマを作成する（３つのアルゴリズムを比較する。）
es2<-evaluationScheme(Jester5k[1:1000], method="split", k=4, train=0.85, goodRating=5)
algorithms <- list(
"random items" = list(name="RANDOM", param=NULL),
"popular items" = list(name="POPULAR", param=NULL),
"user-based CF" = list(name="UBCF", param=list(method="Cosine",nn=50, minRating=5))
)
#結果を評価する。
results2<-evaluate(es2, algorithms, n=c(1:8))
# RANDOM run
# 1 [0sec/0.39sec]
# 2 [0sec/0.36sec]
# 3 [0sec/0.39sec]
# 4 [0.01sec/0.39sec] POPULAR run
# 1 [0.04sec/0.34sec]
# 2 [0.03sec/0.33sec]
# 3 [0.04sec/0.32sec]
# 4 [0.04sec/0.33sec] UBCF run
# 1 [0.01sec/5.59sec]
# 2 [0.01sec/5.43sec]
# 3 [0.02sec/5.42sec]
# 4 [0.03sec/5.43sec]](https://image.slidesharecdn.com/collaborativefilteringwithr-130416090214-phpapp02/85/Collaborativefilteringwith-r-41-320.jpg)
Uploaded byTeito Nakagawa
Collaborativefilteringwith r
This is written in Japenese. What is Collaborative filtering. How to use it using R.
More Related Content
![[부스트캠프 Tech Talk] 진명훈_datasets로 협업하기](https://cdn.slidesharecdn.com/ss_thumbnails/boostcampaitechtechtalkjinmyunghoon-211210113319-thumbnail.jpg?width=640&height=640&fit=bounds)
![제 17회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [Catch, Traffic!] : 지하철 혼잡도 및 키워드 분석 데이터 파이프라인 구축](https://cdn.slidesharecdn.com/ss_thumbnails/catchtrafficppt-230220154703-8361d63a-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Collaborativefilteringwith r
Collaborativefilteringwith r
- 1. Collaborative Filtering WithR Ver 1.1 Teito Nakagawa
- 2. 目次 • 協調フィルタリング • メモリベースの協調フィルタリング •協調フィルタリングの評価 • Rでの実行例 • まとめ • 自己紹介
- 3.
- 4. 協調フィルタリング • ユーザの類似性に 基づいてアイテムを レコメンドする方法 • AmazonやNetflixの 例が有名 •Tescoが3年ほど前に DMで実践 画像：Wikipdiaより
- 5.
- 6.
- 7. モデルベース協調フィルタリング • 用いられる統計的アルゴリズム – ベイジアンネットワーク –クラスタリング – 回帰モデル – MDP – 潜在意味解析 統計的モデルを構築してユーザの評価を予測する方法
- 8.
- 9. 協調フィルタリングの課題 1. データのスパース性・・・データが圧倒的に疎であること。以下の ような問題を引き起こす。 – コールドスタート問題・・・新しいアイテムやユーザが追加された時に 類似のアイテムを見つけるのが難しい問題。 –少カバー率問題・・・ユーザの評価が少ないアイテムは類似するアイ テム等のレコメンデーションの提示が不可能になること。 – 同類推移問題・・・スパースなデータベースの場合、類似のユーザで あっても、全く同じアイテムを共に評価しないと類似であると判別され ない問題。 2. スケーラビリティ・・・ユーザ・アイテム行列は直ぐに巨大なものに なること。 3. シノニム・・・ほとんど同じだけど異なるとされている商品がレコメ ンド精度を下げる。 4. 灰色の羊・・・複数のタイプの人と一致するあいまいなユーザ、レ コメンドの恩恵にあずかれない人々 5. シリングアタック・・・不正な商品に対する利益目的の評価を指す。
- 10. 協調フィルタリングを 実装しているライブラリ ソフトウェア名 言語 URL ApacheMahout Java http://mahout.apache.org 並列分散処理 Cofi Java http://www.nongnu.org/cofi/ オワタ Crab Python https://github.com/murioca/cra b お手軽 Easyrec Java http://easyrec.org 登録必要 LensKit Java http://lenslit.grouplens.org/ 新しい MyMediaLite C# http://mloss.org/software/view /282/ シンプルらしい SVDFeature C++ http://mloss.org/software/view /333 特異値分解に特化 Vogoo PHP LIB PJP http://sourceforge.net/projects/ vogoo/ 日本語情報多数 DB要
- 11.
- 12.
- 13.
- 14.
- 15. 1.2.集計による予測 Uu ua Uu uauiu ia w wrr P || )( , ,, , １．他者評価の重み付き和（ユーザベースの協調フィルタリング） 類似性の高い ユーザを高く評 価している。 5312 44 423 124 55?4アクティブ ユーザ Uu Ii 2,1P 3.95 ２ 12,1w 04,1 w 756.05,1 w アクティブユーザの特定商品への評価を 集計により予測する。
- 16. あなたにおすすめの商品は 2.1.ユーザベースTop-N レコメンデーション • ユーザの類似性に基づいて、TopN個まで推薦可能な商品を提示する。 • 「あなたと似たユーザはこんな商品も買っています。」 １．ユーザaと他のユーザ間の類似性を計算 ２．予測 似ているユーザk人を抽出 他者評価の重み付き和 0.750 -1 -1 類似性 k=2 7.27.07.17.0 5312 423 ３．Top-Nの商品を推薦する。 メリット：ユーザに無条件でアイテムを サジェスト出来る。 デメリット：計算量が大きい N=3
- 17. あなたにおすすめの商品は 2.2.アイテムベースTop-N レコメンデーション • アイテムの類似性に基づいて、TopN個まで推薦可能な商品を提示する。 • 「この商品を買ったユーザはこんな商品も買っています。」 １．アイテムaと他のアイテム間の類似性を計算 ２．予測 似ているアイテムk個を抽出 単純重み付き和 0.750.18 0 類似性 ３．Top-Nの商品を推薦する。 メリット：事前にアイテム間類似性を計 算しておけば、計算量は早い デメリット：アイテムを選択するアクショ ンが必要 ・・・ )33.333.4( 上位N個 35
- 18.
- 19. 協調フィルタリングの評価の枠組み • k-given法を用いたTop-Nレコメンデーションの 場合 1. データを2値判別問題と考える（goodRatingで 2値の閾を作成）。 2.データセットを学習セットと検証セットに分割 （methodで分割方法を指定する。） 3. 検証セットデータのk個のデータを除外して、 これを入力とする。 4. 入力と学習セットを用いてレコメンドを実施す る。 5. 除外したk個に対して、レコメンドによる予測 と実績を比較する。 6. ROC曲線などパターン認識の評価の枠組み を用いて評価する。
- 20. 協調フィルタリングの評価の枠組み • k-given法を用いたTop-Nレコメンデーションの 場合 1. データを2値判別問題と考える（goodRatingで 2値の閾を作成）。 2.データセットを学習セットと検証セットに分割 （methodで分割方法を指定する。） 3. 検証セットデータのk個のデータを除外して、 これを入力とする。 4. 入力と学習セットを用いてレコメンドを実施す る。 5. 除外したk個に対して、レコメンドによる予測 と実績を比較する。 6. ROC曲線などパターン認識の評価の枠組み を用いて評価する。
- 21.
- 22.
- 23.
- 24.
- 25. 協調フィルタリングの評価の枠組み • k-given法を用いたTop-Nレコメンデーションの 場合 1. データを2値判別問題と考える（goodRatingで 2値の閾を作成）。 2.データセットを学習セットと検証セットに分割 （methodで分割方法を指定する。） 3. 検証セットデータのk個のデータを除外して、 これを入力とする。 4. 入力と学習セットを用いてレコメンドを実施す る。 5. 除外したk個に対して、レコメンドによる予測 と実績を比較する。 6. ROC曲線などパターン認識の評価の枠組み を用いて評価する。
- 26. MAE MAE(誤り率)：予測が間違っていた 割合 MAE=(b+c)/(a+b+c+d) 実/予 良い 悪い 良いa b 悪い c d 実/予 良い 悪い 良い a b 悪い c d
- 27. Precision、Recall Precision(再生率)：良いと予測され たものの中で、実績が良いもの。 Precision=(a)/(a+c) Recall(再認率)：良いという実績の中 で予測が良いとなっているもの Recall=(a)/(a+b) 実/予 良い 悪い 良いa b 悪い c d 実/予 良い 悪い 良い a b 悪い c d 実/予 良い 悪い 良い a b 悪い c d
- 28. TPR、FPR TPR(陽性率)：興味のあるクラスに 関して、正しく判別できた割合 TPR=(a)/(a+c) FPR(偽陽性率)：興味のないクラス に関して、正しく判別できなかった 割合 FPR=(b)/(b+d) 実/予 良い 悪い 良いa b 悪い c d 実/予 良い 悪い 良い a b 悪い c d 実/予 良い 悪い 良い a b 悪い c d
- 29. ROC曲線 • （0,0）、（1,1）を結ぶ • 直角が理想的 •対角線だと完全にラン ダム • 傾きは常に正 • 横軸との面積＝AUC、 判別器の指標となる。 2値判別に関して、判別器のパラメータCを-∞から∞まで動かし た時の、(FPR(C),TPR(C))のプロット。 FPR TPR
- 30.
- 31. RecommendarLab • 持っている機能 – レコメンデーションアルゴリ ズム –レコメンデーションの評価 – レコメンド用データの整形 • 軽量にレコメンデーション を試してみたい場合はい いかも • 公開されているpdfの質が 良いので試してみよう。
- 32.
- 33. Jester5k • ジョークのレコメンデーションシステム • ５０００人分のジョークに対する評価が含まれている。 •http://eigentaste.berkeley.edu/user/index.php #サンプルデータの読み込み data(Jester5k) Jester5k as(Jester5k[1:10], "matrix")[1:2, 1:2] # j1 j2 # u2841 7.91 9.17 # u15547 -3.20 -3.50 Recommendelabに含まれるユーザ×ジョークのサンプルデータセット
- 34. データの整形 as(Jester5k[1:10], "matrix")[1:2, 1:2] #j1 j2 # u2841 7.91 9.17 # u15547 -3.20 -3.50 #二値データ化 as(binarize(Jester5k[1:10], minRating=-3.2), "matrix")[1:2, 1:2] # j1 j2 # [1,] 1 1 # [2,] 1 0 as(binarize(Jester5k[1:10], minRating=-3.5), "matrix")[1:2, 1:2] # j1 j2 # [1,] 1 1 # [2,] 1 1 #正規化を行う as(normalize(Jester5k[1:10], method="center", row=TRUE), "matrix")[1:2, 1:2] #j1 j2 #u2841 4.0548148 5.3148148 #u15547 -0.4180282 -0.7180282 ユーザ2841と15547のジョー ク1,2に対する評価を確認 binarize 二値行列化 normalize 正規化
- 35. 基本計算 ##############基本計算############## #データより、サンプル１０００件を取得 ratings<-sample(Jester5k, 1000) #ユーザ１の評価の平均 rowMeans(ratings[1,]) # u18940 #-2.439 #ジョーク１の評価の集計 colCounts(ratings[,1]) #j1 #655 #類似性の計算 method="cosine", "pearson", "jaccard" similarity(x=Jester5k[1:10], method="Jaccard") # u2841 u15547 u15221 u15573 u21505 u15994 u238 u5809 u16636 # u15547 0.8536585 # u15221 0.8100000 0.7100000 # u15573 0.8100000 0.7100000 1.0000000 # u21505 0.8433735 0.9324324 0.7200000 0.7200000 … sample サンプルを取得 rowMeans, colCounts 行、列に対する集計 similarity 類似性の計算
- 36.
- 37.
- 38.
- 39. 基本の計算 ############レコメンデーション################ #実数タイプのユーザ評価マトリックスのレジストリを取得する。 recommenderRegistry$get_entries(dataType="realRatingMatrix") # ...... # $UBCF_realRatingMatrix #Recommender method: UBCF # Description: Recommender based on user-based collaborative filtering (real data). #Recommenderクラスの生成 recom<-Recommender(Jester5k[1:1000], method="POPULAR") names(getModel(recom)) #[1] "topN" "ratings" "normalize" "aggregation" #モデルrecomにより、Top-10レコメンデーションを作成 pred.recom<-predict(recom, Jester5k[1001:1003]) #レコメンデーションを表示する。 as(bestN(pred.recom, n=11), "list") # [[1]] # [1] "j89" "j72" "j47" "j93" "j76" "j10" "j96" "j83" "j81" "j87" # # [[2]] # [1] "j89" "j93" "j76" "j88" "j96" "j83" "j81" "j87" "j91" "j78" recommenderRegistry レコメンデーション アルゴリズムのセット Recommender レコメンドクラスの作成 predict 与えたデータに対して 予測を行う
- 40. レコメンデーションの評価 #評価スキーマを作成する（K交差検証法を行う） es<-evaluationScheme(Jester5k[1:1000], method="cross", k=4,goodRating=5) results<-evaluate(es, method="POPULAR", n=c(1,3,5,10,15,20)) # POPULAR run # 1 [0.03sec/0.59sec] # 2 [0.04sec/0.61sec] # 3 [0.03sec/0.59sec] # 4 [0.03sec/0.56sec] #混同行列の取得 getConfusionMatrix(results)[[1]] # n TP FP FN TN PP recall precision FPR TPR # 1 0.452 0.548 17.712 78.288 1 0.02488439 0.4520 0.006951139 0.02488439 # 3 1.200 1.800 16.964 77.036 3 0.06606474 0.4000 0.022832209 0.06606474 # 5 2.024 2.976 16.140 75.860 5 0.11142920 0.4048 0.037749252 0.11142920 # 10 3.868 6.132 14.296 72.704 10 0.21294869 0.3868 0.077781724 0.21294869 # 15 5.652 9.348 12.512 69.488 15 0.31116494 0.3768 0.118575270 0.31116494 # 20 7.204 12.796 10.960 66.040 20 0.39660868 0.3602 0.162311634 0.39660868 evaluationScheme 評価スキーマを作成 method split データを分割 cross k交差検証法 bootstrap ブートストラップ evaluate 評価の実行 getConfusion Matrix 混同行列の 作成
- 41. レコメンデーションの評価 #評価スキーマを作成する（３つのアルゴリズムを比較する。） es2<-evaluationScheme(Jester5k[1:1000], method="split", k=4,train=0.85, goodRating=5) algorithms <- list( "random items" = list(name="RANDOM", param=NULL), "popular items" = list(name="POPULAR", param=NULL), "user-based CF" = list(name="UBCF", param=list(method="Cosine",nn=50, minRating=5)) ) #結果を評価する。 results2<-evaluate(es2, algorithms, n=c(1:8)) # RANDOM run # 1 [0sec/0.39sec] # 2 [0sec/0.36sec] # 3 [0sec/0.39sec] # 4 [0.01sec/0.39sec] POPULAR run # 1 [0.04sec/0.34sec] # 2 [0.03sec/0.33sec] # 3 [0.04sec/0.32sec] # 4 [0.04sec/0.33sec] UBCF run # 1 [0.01sec/5.59sec] # 2 [0.01sec/5.43sec] # 3 [0.02sec/5.42sec] # 4 [0.03sec/5.43sec]
- 42.
- 43. まとめ • 協調フィルタリングには、メモリベース、モデ ルベース、ハイブリッドの3タイプ存在する。 • メモリベースの協調フィルタリングは、ユーザ とアイテムの類似性よりレコメンドするアイテ ムを決定するアルゴリズムである。 •協調フィルタリングの評価には、誤り率、ROC 曲線などを用いる。 • Recommenderlabを用いると、Rで簡単に協調 フィルタリングの実行と、評価が実装できる。
- 44. まとめ カテゴリ 代表的な手法 長所短所 メモリベース協調 フィルタリング •類似ユーザベース協調フィルタリング •Top-Nレコメンデーション •実装が容易 •データの追加が簡単 •コンテンツの内容について の考慮が不要 •共に評価されたアイテムの スケーリングが容易 •人の評価への依存 •疎なデータでの性能悪さ •新ユーザとアイテムをレコメ ンデーションが不可能 •スケーラビリティ モデルベース協 調フィルタリング •ベイジアンネットワーク協調フィルタリング •クラスタリング協調フィルタリング •潜在意味協調フィルタリング •粗因子分析 •次元削減を用いた協調フィルタリング •疎なデータへの対応がよい •予測性能の向上 •直感的な説明を与える •モデルの構築が複雑 •予測性能とパフォーマンス のトレードオフ •次元削減により有益な情報 を失う ハイブリッド協調 フィルタリング •コンテントベース協調フィルタリング •コンテントブーステッド協調フィルタリング •メモリベースとモデルベースのハイブリッ ド協調フィルタリング •それぞれの協調フィルタリ ングの問題を克服可能 •予測性能の古城 •データのスパース性や灰色 の羊に対応可能 •実装が複雑 •外部の情報が必要
- 45. 参考 • 協調フィルタリングのサーベイ論文 – ASurvey of Collaborative Filtering Techniques （Xiaoyuan Su and Taghi M. Khoshgoftaar,Advances in Artificial Intelligence Volume 2009 (2009), Article ID 421425,） • Recommenderlabの作者によるチュートリアル http://cran.r- project.org/web/packages/recommenderlab/vignettes/recommenderlab.pdf
Editor's Notes
- #27 あるCに関して