Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Personalized TV recommender systems - Marko Krstic

66 views

Published on

As huge number of traditional TV programs and on demand video streams offered via Internet is now simultaneously available through hybrid broadcast broadband television, the search for an interesting content often turns into a time-consuming task for a viewer. In a situation like this, both the providers and the viewers would benefit from personalized recommender systems. The choice of neural network architecture and learning algorithm is mainly influenced by users’ privacy concerns and characteristics of data collected from user interactions. In this session, it will be discussed how to overcome these challenges by using feedforward neural network trained by cost-sensitive version of Extreme Learning Machine (ELM) algorithm and sparse ELM autoencoder trained with fast iterative shrinkage-thresholding algorithm, considering cases with and without “dislike” interactions, respectively. Through a series of tests it will be shown that proposed solutions improve system performance and consequently increase users’ satisfaction."

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Personalized TV recommender systems - Marko Krstic

  1. 1. Marko Krstić, IT Advisor at RATEL marko.krstic@ratel.rs Personalized TV Recommender Systems
  2. 2. Sistemi za pružanje preporuka Sistemi za pružanje preporuka (recommender systems) su softverski agenti koji pomažu korisnicima da izaberu objekte od interesa u okruženjima u kojima broj raspoloživih objekata nadmašuje sposobnost korisnika da ih pojedinačno pregledaju u razumnom vremenu.
  3. 3. Tipičan primer - Televizija
  4. 4. HBB TV (Hybrid Broadcast Broadband TV)
  5. 5. Podela sistema • Filtriranje sadržaja (content filtering, content based) • Kolaborativno filtriranje (collaborative filtering) • Hibridni (hybrid)
  6. 6. Razlozi za korišćenje filtriranja sadržaja • Tradicionalna TV difuzija • Zaštita privatnosti korisnika • Diferencijacija proizvođača opreme na tržištu
  7. 7. Sistemi na bazi neuralnih mreža
  8. 8. O čemu se mora voditi računa pri izboru algoritma učenja? • Ograničeni resursi korisničkih uređaja (procesorska snaga, memorija, baterija) • Karakteristike prikupljenih podataka o korisničkim interesovanjima
  9. 9. Extreme Learning Machine (ELM) metodologija • Nova metodologija za treniranje neuralnih mreža sa jednim skrivenim slojem kod koje se podešavaju samo izlazne težine neuralne mreže • Obezbeđuje odlične performanse u realnom vremenu (s, ms, μs) uz minimalna podešavanja od strane projektanta sistema.
  10. 10. ELM algoritam (1) • Kada se ulazne težine neuralne mreže slučajno izaberu, neuralne mreža se može smatrati linearnim sistemom opisanim sa: gde su - izlazne težine neuralne mreže, - očekivani izlazi neuralne mreže Hβ Z ),,,,,( 111 PKK bb xxwwH  1 1 1 1 1 1 ( ) ( ) , ( ) ( ) K K P K P K f b f b f b f b            w x w x w x w x L M O M L β Z
  11. 11. ELM algoritam (2) Rešenje sistema dato je sa: gde je H+ generalizovana inverzna matrica matrice H, u Moore-Penroseovom smislu ZHβ  ˆ
  12. 12. Sposobnost univerzalne aproksimacije • Ukoliko je za aktivacionu funkciju skrivenih čvorova mreže izabrana bilo koja nekonstantna deo po deo kontinualna funkcija, neuralna mreža kod koje su ulazne težine slučajno izabrane po bilo kojoj kontinualnoj raspodeli i čiji broj skrivenih čvorova teži beskonačnosti, sa verovatnoćom jedan može aproksimirati bilo koju kontinualnu funkciju.
  13. 13. Sposobnost klasifikacije • Neuralna mreža sa jednim skrivenim slojem kod koje su ulazne težine slučajno izabrane može u posmatranom prostoru razdvojiti proizvoljno raspoređene regione bilo kojeg oblika.
  14. 14. Sposobnost generalizacije • Kod neuralne mreže trenirane ELM algoritmom pored male trening greške postiže se i najmanja norma težina neuralne mreže pa se na osnovu Bartlett-ove teorije očekuje da ovakva mreža ima odličnu sposobnost generalizacije. β
  15. 15. Poređenje performansi sa tradicionalnim algoritmima učenja • Algoritmi  Resilient backpropagation (RP),  Scaled conjugate gradient (SCG),  Levenberg – marquardt (LM). • Mere performansi  Tačnost pružanja preporuka (Accuracy)  Vreme treniranja neuralne mreže TP TN Accuracy TP FP TN FN     
  16. 16. Tačnost pružanja preporuka (Accuracy)
  17. 17. Vreme treniranja neuralne mreže • AMD Athlon(tm) 64 Processor 3500+ 2.21GHz, 2GB RAM Broj skrivenih čvorova Algoritmi učenja ELM RPROP SCG LM 1 0.0022s 0.3628s 0.4009s 0.4055s 2 0.0022s 0.3614s 0.4206s 0.4155s
  18. 18. Karakteristike prikupljenih podataka • Izražena tendencija korisnika da češće pružaju informacije o TV sadržajima koji im se sviđaju nego o onima koji im se ne sviđaju. • Znatno veći broj interakcija u jednoj klasi u odnosu na drugu (Class Imbalance).
  19. 19. Class Imbalance utiče na: • Izbor mera performansi • Izbor algoritma učenja
  20. 20. Izbor mera performansi • Kada postoji Class Imbalance problem tačnost pružanja preporuka (Accuracy) nije adekvatna mera performansi. • G-mean • Receiver Operating Characteristics (ROC) graph TP TN G mean TP FN TN FP    
  21. 21. ROC Graph _ # TP TP rate P  _ # FP FP rate N 
  22. 22. Izbor algoritma učenja Weighted ELM (WELM) 1 1 1 , kada je broj trening sekvenci manji od broja skrivenih čvorova ˆ 1 , kada je broj trening sekvenci veći od broja skrivenih čvorova T T T T R R                       H I BHH BZ β H Z I H BH H BZ 1 , za trening sekvence iz pozitivne klase # WS1: 1 , za trening sekvence iz negativne klase # pp P B N       1 , za trening sekvence iz pozitivne klase # WS2: 0.618 , za trening sekvence iz negativne klase # pp P B N       - dijagonalna matrica težinskih koeficijenataB - regularizacioni parametarR
  23. 23. G-mean za optimalan izbor parametara
  24. 24. ROC graph za optimalan izbor parametara
  25. 25. Zavisnost G-mean performansi od parametara WS2
  26. 26. Šta ako sistem nema informacije o sadržajima koje korisnik ne voli? • One-class klasifikatori koji mogu da prepoznaju koji se TV sadržaji korisniku sviđaju a koji ne, samo na osnovu informacija o klasi sadržaja koje korisnik voli da gleda.
  27. 27. Autoencoder neuralna mreža
  28. 28. ELM verzije autoencoder neuralne mreže • ELM autoencoder • ELM sparse autoencoder
  29. 29. ELM autoencoder • Regularized ELM (RELM) algoritam • L2 regularizacija • Ortogonalizacija vektora ulaznih težina radi poboljšanja generalizacionih sposobnosti mreže ZHHHIZHβ TT R 1 1ˆ         
  30. 30. ELM sparse autoencoder • FISTA (Fast Iterative Shrinkage-Thresholding Algorithm) • L1 regularizacija • Brza globalna konvergencija O(1/i2)
  31. 31. Kako izabrati parametre sistema ako postoje samo informacije o jednoj klasi? • Consistency-Based Model Selection • Bira model sa najvećom kompleksnošću (najbolje aproksimira trening sekvence) koji je i dalje pouzdan (ima dobru sposobnost generalizacije) 2 (1 )v e v e ep p N p p   - procenat validacionih sekvenci koje je sistem greškom dodelio klasi sadržaja koji korisnik ne želi da gledavp - procenat trening sekvenci koje je sistemgreškomdodelio klasi sadržaja koji korisnik ne želi da gledaep - broj validacionih sekvenci u validacionom skupuvN
  32. 32. G-mean za optimalan izbor parametara
  33. 33. Vreme treniranja neuralne mreže • Rezultati mereni na laptopu sa dva jezgra, 2900MHz CPU i 4GB RAM. • Eksperimentalno određeno da ih treba skalirati sa faktorom od 1.8 do 2.2 da bi se dobilo vreme treniranja na Texas Instruments AM3351 Starter Kit
  34. 34. Uticaj informacija o drugoj klasi na performanse sistema
  35. 35. Zaključak • Uz pomoć algoritama baziranih na ELM metodologiji moguće je koristiti mašinsko učenje u primenama koje zahtevaju učenje u realnom vremenu čak i na uređajima sa ograničenim resursima. • Karakteristike prikupljenih podataka su veoma važne i moraju se uzeti u obzir pri projektovanju sistema baziranih na mašinskom učenju.
  36. 36. HVALA NA PAŽNJI! Marko Krstić IT Advisor at RATEL marko.krstic@ratel.rs

×