As huge number of traditional TV programs and on demand video streams offered via Internet is now simultaneously available through hybrid broadcast broadband television, the search for an interesting content often turns into a time-consuming task for a viewer. In a situation like this, both the providers and the viewers would benefit from personalized recommender systems. The choice of neural network architecture and learning algorithm is mainly influenced by users’ privacy concerns and characteristics of data collected from user interactions. In this session, it will be discussed how to overcome these challenges by using feedforward neural network trained by cost-sensitive version of Extreme Learning Machine (ELM) algorithm and sparse ELM autoencoder trained with fast iterative shrinkage-thresholding algorithm, considering cases with and without “dislike” interactions, respectively. Through a series of tests it will be shown that proposed solutions improve system performance and consequently increase users’ satisfaction."
Geospatial Analysis and Open Data - Forest and Climate
Personalized TV recommender systems - Marko Krstic
1. Marko Krstić, IT Advisor at RATEL
marko.krstic@ratel.rs
Personalized TV Recommender Systems
2. Sistemi za pružanje
preporuka
Sistemi za pružanje preporuka (recommender systems) su
softverski agenti koji pomažu korisnicima da izaberu objekte
od interesa u okruženjima u kojima broj raspoloživih objekata
nadmašuje sposobnost korisnika da ih pojedinačno pregledaju
u razumnom vremenu.
8. O čemu se mora voditi računa
pri izboru algoritma učenja?
• Ograničeni resursi korisničkih uređaja
(procesorska snaga, memorija, baterija)
• Karakteristike prikupljenih podataka o korisničkim
interesovanjima
9. Extreme Learning Machine
(ELM) metodologija
• Nova metodologija za treniranje neuralnih mreža sa
jednim skrivenim slojem kod koje se podešavaju
samo izlazne težine neuralne mreže
• Obezbeđuje odlične performanse u realnom
vremenu (s, ms, μs) uz minimalna podešavanja
od strane projektanta sistema.
10. ELM algoritam (1)
• Kada se ulazne težine neuralne mreže slučajno
izaberu, neuralne mreža se može smatrati linearnim
sistemom opisanim sa:
gde su
- izlazne težine neuralne mreže,
- očekivani izlazi neuralne mreže
Hβ Z
),,,,,( 111 PKK bb xxwwH
1 1 1 1
1 1
( ) ( )
,
( ) ( )
K K
P K P K
f b f b
f b f b
w x w x
w x w x
L
M O M
L
β
Z
11. ELM algoritam (2)
Rešenje sistema dato je sa:
gde je H+ generalizovana inverzna matrica matrice H,
u Moore-Penroseovom smislu
ZHβ
ˆ
12. Sposobnost univerzalne
aproksimacije
• Ukoliko je za aktivacionu funkciju skrivenih čvorova
mreže izabrana bilo koja nekonstantna deo po deo
kontinualna funkcija, neuralna mreža kod koje su
ulazne težine slučajno izabrane po bilo kojoj
kontinualnoj raspodeli i čiji broj skrivenih čvorova teži
beskonačnosti, sa verovatnoćom jedan može
aproksimirati bilo koju kontinualnu funkciju.
13. Sposobnost klasifikacije
• Neuralna mreža sa jednim skrivenim slojem kod koje
su ulazne težine slučajno izabrane može u
posmatranom prostoru razdvojiti proizvoljno
raspoređene regione bilo kojeg oblika.
14. Sposobnost generalizacije
• Kod neuralne mreže trenirane ELM algoritmom
pored male trening greške postiže se i najmanja
norma težina neuralne mreže pa se na osnovu
Bartlett-ove teorije očekuje da ovakva mreža ima
odličnu sposobnost generalizacije.
β
17. Vreme treniranja neuralne
mreže
• AMD Athlon(tm) 64 Processor 3500+ 2.21GHz, 2GB
RAM
Broj
skrivenih
čvorova
Algoritmi učenja
ELM RPROP SCG LM
1 0.0022s 0.3628s 0.4009s 0.4055s
2 0.0022s 0.3614s 0.4206s 0.4155s
18. Karakteristike prikupljenih
podataka
• Izražena tendencija korisnika da češće pružaju
informacije o TV sadržajima koji im se sviđaju nego
o onima koji im se ne sviđaju.
• Znatno veći broj interakcija u jednoj klasi u odnosu
na drugu (Class Imbalance).
20. Izbor mera performansi
• Kada postoji Class Imbalance problem tačnost
pružanja preporuka (Accuracy) nije adekvatna mera
performansi.
• G-mean
• Receiver Operating Characteristics (ROC) graph
TP TN
G mean
TP FN TN FP
22. Izbor algoritma učenja
Weighted ELM (WELM)
1
1
1
, kada je broj trening sekvenci manji od broja skrivenih čvorova
ˆ
1
, kada je broj trening sekvenci veći od broja skrivenih čvorova
T T
T T
R
R
H I BHH BZ
β H Z
I H BH H BZ
1
, za trening sekvence iz pozitivne klase
#
WS1:
1
, za trening sekvence iz negativne klase
#
pp
P
B
N
1
, za trening sekvence iz pozitivne klase
#
WS2:
0.618
, za trening sekvence iz negativne klase
#
pp
P
B
N
- dijagonalna matrica težinskih koeficijenataB - regularizacioni parametarR
26. Šta ako sistem nema informacije
o sadržajima koje korisnik ne voli?
• One-class klasifikatori koji mogu da prepoznaju
koji se TV sadržaji korisniku sviđaju a koji ne, samo
na osnovu informacija o klasi sadržaja koje korisnik
voli da gleda.
31. Kako izabrati parametre sistema ako
postoje samo informacije o jednoj klasi?
• Consistency-Based Model Selection
• Bira model sa najvećom kompleksnošću (najbolje
aproksimira trening sekvence) koji je i dalje pouzdan
(ima dobru sposobnost generalizacije)
2 (1 )v e v e ep p N p p
- procenat validacionih sekvenci koje je sistem greškom dodelio klasi sadržaja koji korisnik ne želi da gledavp
- procenat trening sekvenci koje je sistemgreškomdodelio klasi sadržaja koji korisnik ne želi da gledaep
- broj validacionih sekvenci u validacionom skupuvN
33. Vreme treniranja neuralne
mreže • Rezultati mereni na
laptopu sa dva jezgra,
2900MHz CPU i 4GB
RAM.
• Eksperimentalno
određeno da ih treba
skalirati sa faktorom od
1.8 do 2.2 da bi se
dobilo vreme treniranja
na Texas Instruments
AM3351 Starter Kit
35. Zaključak
• Uz pomoć algoritama baziranih na ELM metodologiji
moguće je koristiti mašinsko učenje u primenama
koje zahtevaju učenje u realnom vremenu čak i na
uređajima sa ograničenim resursima.
• Karakteristike prikupljenih podataka su veoma
važne i moraju se uzeti u obzir pri projektovanju
sistema baziranih na mašinskom učenju.
HbbTV je novi servis koji omogućava da dok gledamo neki program putem „klasične“ televizije, prozovemo i gledamo na istom TV ekranu i dodatni sadržaj koji stiže preko interneta i na taj način se dopunjuju informacije iz redovnog programa. Za ovu funkciju neophodno da prijemnik (televizor ili Set top boks) podržava ovu opciju i da bude povezan sa internetom.
Shodno tome, imajući u vidu da rastojanje između granice klasa kod binarne klasifikacije iznosineuralna mreža trenirana ELM algoritmom će maksimizovati marginu razdvajanja klasa.