Cosa distingue le reti sociali? Quali algoritmi permettono di calcolare la "rilevanza" di una pagina web?

1. Reti sociali, algoritmi spettrali,
SNAP
●
Perché le reti sociali sono diverse dalle altre?
Il PageRank e le comunità
●
SNAP: un laboratorio per tutti
●

2. Le reti sociali
Le reti sociali studiate in letteratura sono
“complesse”:
Pochi gradi di separazione
●
Elevato clustering
●
… ma hanno una particolarità.

3. Assortative mixing nelle reti sociali
Nelle reti sociali i nodi della rete tendono a
collegarsi preferibilmente con nodi con un grado
k simile.
I gradi dei nodi vicini sono correlati
positivamente.
➔
In sociologia, per le reti in cui i gradi dei nodi
vicini sono correlati si parla di assortative
mixing.

4. Come si osserva l'assortatività?
r di Pearson: coefficiente di correlazione tra il
“grado in eccesso” (excess degree qi = ki) dei nodi
vicini
∑ jk jk (e jk −q j q k )
r=
2
2
∑k k q k −(∑k qk )

5. Come si osserva l'assortatività?
Knn(k): grado medio dei vicini dei nodi di grado k
∑ ∑
K nn (k )=
k i =k j ∈I (i)
kj
NP (k ) k
Knn(k) crescente → mixing assortativo
Knn(k) decrescente → mixing disassortativo

6. Come si osserva l'assortatività?
r : quantitativo e non ambiguo
Knn(k): qualitativo ma più utile se il rumore
statistico è elevato e il coefficiente r è troppo
vicino a 0.

7. Le correlazioni nelle reti sociali

8. Perché le reti sociali sono diverse?
Nelle reti sociali i nodi sono organizzati in
comunità
Le reti sociali sono soprattutto reti collaborative

9. Il modello di rete sociale
di Newman e Park
N nodi, G comunità
● r : probabilità che un nodo appartenga a m
m
●
comunità
● s : probabilità che un gruppo contenga n nodi
n
nodi distribuiti nelle comunità in modo casuale
●
due nodi nella stessa comunità sono connessi
con probabilità p
●

10. Il modello di rete sociale
di Newman e Park
Nodi e comunità
Link possibili

11. Il modello di rete sociale
di Newman e Park
Nodi e comunità
Link possibili

12. Il calcolo della correlazione r
Nel modello di Newman e Park, la correlazione
r si può calcolare analiticamente.
●
rn e sn siano distribuzioni poissoniane
●
→ probabilità costante che un nodo appartenga
ad una comunità

13. Il calcolo della correlazione r
In questo caso, la correlazione r si può calcolare
analiticamente:
p
r=
>0
1+ ν+ νμ p
dove
ν=∑n n r n
μ=∑n n s n

14. Il calcolo della correlazione r
Verifica del modello
Rete degli autori di articoli scientifici
rreal = 0.145
rteor = 0.174 ± 0.45
Rete dei manager
rreal = 0.276
rteor = 0.116

15. Il calcolo della correlazione r
Verifica del modello
Rete degli autori di articoli scientifici
rreal = 0.145
rteor = 0.174 ± 0.45 OK
Rete dei manager
rreal = 0.276
rteor = 0.116

16. Il calcolo della correlazione r
Verifica del modello
Rete degli autori di articoli scientifici
rreal = 0.145
rteor = 0.174 ± 0.45 OK
Rete dei manager
rreal = 0.276
rteor = 0.116 ???

17. Algoritmi spettrali
Algoritmi basati sullo studio di matrici associate
alle reti
●
PageRank
●
Community detection

18. PageRank
Algoritmo con cui Google “valuta” la rilevanza
delle pagine web
Una pagina web è rilevante se la probabilità di
visitarla navigando sui link della rete è alta
Ad ogni pagina web viene assegnato un valore
detto “PageRank”, PR(i).

19. PageRank
PageRank: distribuzione stazionaria di un
random walk a tempi discreti sulla rete WWW
(diretta)
PR(i) : probabilità che un navigatore casuale si trovi
sul nodo i dopo un tempo t → ∞

20. Il calcolo del PageRank

21. Il calcolo del PageRank
Probabilità
di transizione

22. Il calcolo del PageRank
v = distribuzione iniziale
vi = probabilità di trovare un random walk sul
nodo i al tempo iniziale
v(t) = distribuzione del random walk dopo t passi
(t)
i
v = probabilità di trovare un random walk sul
nodo i al tempo t
PR(i) = v
(∞)
i

23. Il calcolo del PageRank
v = distribuzione iniziale
vi = probabilità di trovare un random walk sul
nodo i al tempo iniziale
v(t) = distribuzione del random walk dopo t passi
(t)
i
v = probabilità di trovare un random walk sul
nodo i al tempo t
PR(i) = v
(∞)
i
∑ v i =∑ v
i
i
=∑ v =∑ PR(i)=1
(t )
i
i
(∞)
i
i

24. Il calcolo del PageRank
La distribuzione al primo step evolve così :
(1)
v i =∑ j Aij v j
Per un generico intervallo t →t +1 :
(t +1)
(t )
v i =∑ j Aij v j
Se t →∞
(∞)
(∞)
v i =∑ j Aij v j

25. Il calcolo del PageRank
Usando il formalismo vettoriale
(∞ )
v = Av
(∞)
Quindi
il PageRank è l'autovettore principale
della matrice A associato all'autovalore 1

26. Le “patologie” della rete
Loop e nodi con out­degree nullo possono ridurre
lo stato stazionario in uno stato banale.
Per ovviare a questo problema, Brin e Page
modificarono il processo stocastico così:
con probabilità 1­p, ad ogni passo il “random
surfer” segue i link della rete
●
con probabilità p il “random surfer” salta su
un'altra pagina scelta casualmente
●

27. Le “patologie” della rete
Il processo stocastico ora è descritto
dall'equazione
v
p
=(1− p) ∑ Aij v +
N
j
(t +1)
i
(t )
j
e tende all'autovettore principale della matrice
con

28. Teorema di Perron-Frobenius
La matrice M:
ha un autovalore 1 di molteplicità 1
●
1 è l'autovalore massimo
●
l'autovettore corrispondente ha tutti elementi
positivi
●
●

29. Le comunità
La matrice A
T
ha un autovalore pari a 1
●
corrisponde ad un autovalore con
componenti costanti
●

30. Le comunità
Se una rete ha componenti disconnesse...

31. Le comunità
… la matrice A è a blocchi...

32. Le comunità
… e la trasposta ha più autovettori principali
con un aspetto particolare.

33. Le comunità
Dunque
La molteplicità dell'autovalore 1 ci dice il
numero di componenti disconnesse
●
Le componenti dell'autovettore di AT che hanno
lo stesso valore corrispondono a nodi che
appartengono alla stessa componente
●
Lo studio di autovettori e autovalori di A e AT ci
permette di capire la presenza di comunità
all'interno della rete
●

34. Bibliografia
M. E. J. Newman e Juyong Park
“Why social networks are different from other types of networks”
Phys. Rev. E 68, 036122 (2003)
Page, Lawrence, Sergey Brin, Rajeev Motwani, and Terry
Winograd.
"The PageRank citation ranking: bringing order to the web."
(1999).
Capocci, Andrea, et al.
"Detecting communities in large networks."
Physica A: Statistical Mechanics and its Applications 352.2
(2005): 669­676.

35. Analizzare le reti con Awk
http://snap.stanford.edu/data/ca-CondMat.html
Scrivi la P(k):
awk ' { k[$1]++; k[$2]++ } END{for (i in k) count[k[i]]++; for (i in
count) print i,count[i]}' ca-CondMat.txt | sort -n >
pdk_condmat.dat