Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

High-order factorization machines with R #tokyor 61

1,181 views

Published on

TokyoR 61のスライドです

Published in: Data & Analytics
  • Hello! High Quality And Affordable Essays For You. Starting at $4.99 per page - Check our website! https://vk.cc/82gJD2
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

High-order factorization machines with R #tokyor 61

  1. 1. High-order factorization machines with R Twitter: @siero5335 20170520: Tokyo.R 61@Recruit 1 2 3 4 u1 NA 4 2 NA u2 3 NA 1 NA u3 NA 5 NA 5 x1 x2 x3 x4 x5 x6 x7 1 2 3 4 Y
  2. 2. J. Knoll, Recommending with Higher-Order Factorization Machines: Research and Development in Intelligent Systems XXXIII, 2016. pp 103-116 https://link.springer.com/chapter/10.1007/978-3-319-47175-4_7 https://cran.r-project.org/web/packages/FactoRizationMachines/index.html High-order factorization machines with R
  3. 3. Factorization machines? 1 2 3 4 u1 NA 4 2 NA u2 3 NA 1 NA u3 NA 5 NA 5 x1 x2 x3 x4 x5 x6 x7 1 2 3 4 Y ユーザと商品それぞれに列を⽤意するので 交互作⽤が計算できるのが良いところ
  4. 4. Factorization machines? 購⼊記録からの推薦などにおいて広く利⽤ 回帰, 判別いずれにも対応 スパースなデータセットに強い 切⽚, 線形重み付け, 2次の交互作⽤の組み合わせで予測 2次の交互作⽤項切⽚ 重み
  5. 5. High-order factorizations ? 3-way 購⼊記録からの推薦などにおいて広く利⽤ 回帰, 判別いずれにも対応 スパースなデータセットに強い 切⽚, 線形重み付け, 3次の交互作⽤の組み合わせで予測 2次の交互作⽤項 3次の交互作⽤項
  6. 6. High-order factorizations ? 購⼊記録からの推薦などにおいて広く利⽤ 回帰, 判別いずれにも対応 スパースなデータセットに強い 切⽚, 線形重み付け, ⾼次の交互作⽤の組み合わせで予測 ⾼次の交互作⽤項
  7. 7. Factorization machines with R Factorization machines with r: https://www.slideshare.net/shotayasui/factorization-machines-with-r libFMexeを動かすまで: http://qiita.com/siero5335/items/8a8eb8de8633041d865a#_reference-283face5098f5fc19bd1 Factorization Machinesのおはなし。: http://www.housecat442.com/?p=676
  8. 8. Factorization machines with r: https://www.slideshare.net/shotayasui/factorization-machines-with-r libFMexeを動かすまで: http://qiita.com/siero5335/items/8a8eb8de8633041d865a#_reference-283face5098f5fc19bd1 Factorization Machinesのおはなし。: http://www.housecat442.com/?p=676 devtools::install_github("andland/libFMexe") 広く使われているlibFMのwrapper Factorization machines with R
  9. 9. Factorization machines with r: https://www.slideshare.net/shotayasui/factorization-machines-with-r libFMexeを動かすまで: http://qiita.com/siero5335/items/8a8eb8de8633041d865a#_reference-283face5098f5fc19bd1 Factorization Machinesのおはなし。: http://www.housecat442.com/?p=676 devtools::install_github("andland/libFMexe") 広く使われているlibFMのwrapper libFMのパスを指定するのが⾯倒だしRそのまま使いたい High-order未対応 Factorization machines with R
  10. 10. J. Knoll, Recommending with Higher-Order Factorization Machines: Research and Development in Intelligent Systems XXXIII, 2016. pp 103-116 https://link.springer.com/chapter/10.1007/978-3-319-47175-4_7 High-order factorization machines with R https://cran.r-project.org/web/packages/FactoRizationMachines/index.html
  11. 11. https://cran.r-project.org/web/packages/FactoRizationMachines/index.html 今は回帰だけだがそのうち分類にも対応する予定らしい High-order factorization machines with R
  12. 12. SVM.train() FM.train HoFM.train() (x, y, factors = 1, intercept = T, iter = 100, regular = 0, stdev = 0.1) x: dgTMatrix, matrix, data.frameいずれかの⽬的変数を除いたデータ y: ⽬的変数(今は回帰のみ) factors: svmなら0 or 1, FMなら c(0, 10)のように2つ, HoFMならc(0, 10, 5)のように3つ指定 c()の左から線形重み付けする (1) か否 (0) か, 2~n次のfactorizeをするパラメータ数 intercept: 切⽚項を⼊れるかどうか iter: iterationの回数 regular: 線形の項における正則化の度合い FM, HoFMの場合は複数の値を⼊れることができる 1つだけの場合はこの値で全体を正則化 複数なら1つめが線形項, それ以降が⾼次係数項についての正則化値になる stdev: SDを使ってモデルのパラメータを初期化 High-order factorization machines with R
  13. 13. Ml100k: 映画の評価点に関係するデータ matrixパッケージでスパースな形に変更 説明変数: userID, items(映画タイトル), wdays (公開からの⽇にち) ⽬的変数: 評価点 High-order factorization machines with R
  14. 14. ⽇時 x1 x2 x3 x4 x5 x6 x7 1 2 3 Y ユーザ 映画 レート ユーザ*映画*⽇時の交互作⽤を 予測に組み込むことができる High-order factorization machines with R
  15. 15. トレーニング, テストセットに分割 High-order factorization machines with R
  16. 16. 試し切りとしてSVM.trainを使う RMSEは関数の組み合わせで普通に計算 トレーニング, テストセットを可視化 High-order factorization machines with R
  17. 17. RMSE = 0.9430634 赤: test, 緑: training High-order factorization machines with R
  18. 18. HoFM.trainを使う 正則化はつけておくがfactorについてはdefault (defaultのfactorはc(1, 10, 5)の設定) High-order factorization machines with R
  19. 19. RMSE = 0.9155181 赤: test, 緑: training High-order factorization machines with R
  20. 20. References Factorization Machines https://www.ismll.uni-hildesheim.de/pub/pdfs/Rendle2010FM.pdf J. Knoll, Recommending with Higher-Order Factorization Machines: Research and Development in Intelligent Systems XXXIII, 2016. pp 103-116 https://link.springer.com/chapter/10.1007/978-3-319-47175-4_7 Blondel et al., Higher-Order Factorization Machines: https://arxiv.org/abs/1607.07195 Factorization Machinesについて調べてみた: http://qiita.com/wwacky/items/b402a1f3770bee2dd13c Factorization machines with r: https://www.slideshare.net/shotayasui/factorization-machines-with-r libFMexeを動かすまで: http://qiita.com/siero5335/items/8a8eb8de8633041d865a#_reference-283face5098f5fc19bd1 Factorization Machinesのおはなし。: http://www.housecat442.com/?p=676 Higher-Order Factorization Machinesを聞いてきた!: http://blog.goo.ne.jp/xmldtp/e/faec17b2a409316f3aba6159d5477957
  21. 21. Enjoy !

×