Extraction of Users' Personality from FriendFeed Italian Posts - Fabio Celli

1. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Computer Science
Comp. Linguistics
Social
Network
Analysis
Sociology
Psychology
Urbino
sep.30.2010

2. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Computer Science
Comp. Linguistics
Social
Network
Analysis
Sociology
Psychology
Urbino
sep.30.2010

3. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
- extract information from text
- development of ontologies
- development of search engines
...
- estrazione di informazioni da testi
Comp. Linguistics - sviluppo di ontologie
- sviluppo dei motori di ricerca
...
Urbino
sep.30.2010

4. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
1) collect text data and annotate it
2) build model of information in text
4) develop programs that extract info modelized
1) collezione e annotazione di dati testuali
Comp. Linguistics 2) sviluppo di modelli dell'informazione nei testi
3) sviluppo di programmi per estrarre info
Urbino
sep.30.2010

5. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
SNSs provide tons of data (text+users)
Problems:
1) formalization of personality
2) annotation of data with personality
judgements
SNSs I Social Networks contengono un sacco di dati
Problemi:
1) formalizzazione della personalità
2) annotazione dei dati con valutazioni della
personalità
Urbino
sep.30.2010

6. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
BIG 5: standard model used in Psychology [Norman 1963]
Extraversion
Emotional stability
Psychology Agreebleness
Conscientiousness
Openness to experience
BIG 5: modello standard in Psicologia [Norman 1963]
Estroversione
Stabilità emotiva
Cooperatività
Precisione
Immaginatività
Urbino
sep.30.2010

7. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Linguistic Features correlating with BIG 5 [Mairesse et al 2007]
Tratti linguistici associati al BIG 5 [Mairesse et al 2007]
Psychology Features Extrav. Emot. st. Agreebl. Consc. Openn.
.:;- - -
, +
@user - +
! + +
Links
io mi mio + - -
no non - + + -
:( + - -
0-9 -
()[]{} - +
:) + +
di a da … + +
? - - +
Swears - - +
N° Words +
Word freq - + -
Urbino
...
sep.30.2010

8. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Example of personality (formalized)
Esempio di personalità (formalizzata)
Psychology
yyonn
yes yes balance no no
extraversion emotivity agreebleness consciousness openness
Urbino
sep.30.2010

9. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Here comes the hard part:
- it is hard for human annotators to reach consensus on personality judgenments.
Assumption:
- one user has one and only one (complex) personality. So I can evaluate it
comparing more posts of the same user.
Qui viene il difficile:
- il consenso sui giudizi della personalità dato dagli annotatori è difficile da ottenere
Assunto:
-un utente ha una e una sola personalità (complessa). Dunque Possiamovalutarla
confrontando più post dello stesso utente.
Urbino
sep.30.2010

10. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Personality recognizer:
- input: 1) posts+users 2) list of all users
- process: calculate features for each user
- modelize: produce a personality model for each user
Computer Science - evaluate: compare personality model with users' posts
- output: 1) personality 2) accuracy 3) validity
Riconoscitore della personalità
-input: 1) post+utente 2) lista degli utenti
- calcola i tratti per ciascun utente
- produce un modello della personalità per ciascun utente
- compara il modello con tutti i post dell'utente
- output: 1) personalità 2) accuracy 3) validity
Urbino
sep.30.2010

11. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Personality recognizer:
- input: 1) posts+users 2) list of all users
- process: calculate features for each user
- modelize: produce a personality model for each user
Computer Science - evaluate: compare personality model with users' posts
- output: 1) personality 2) accuracy 3) validity
Riconoscitore della personalità
-input: 1) post+utente 2) lista degli utenti
- calcola i tratti per ciascun utente
- produce un modello della personalità per ciascun utente
- compara il modello con tutti i post dell'utente
Measure of the reliability
- output: 1) personalità 2) accuracy 3) validity
of the personality model
tp=true positives
Misura dell'affidabilità del tn=true negatives
modello della personalità fp=false positives
fn=false negatives Urbino
sep.30.2010

12. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Personality recognizer:
- input: 1) posts+users 2) list of all users
- process: calculate features for each user
- modelize: produce a personality model for each user
Computer Science - evaluate: compare personality model with users' posts
- output: 1) personality 2) accuracy 3) validity
Riconoscitore della personalità
-input: 1) post+utente 2) lista degli utenti
- calcola i tratti per ciascun utente
- produce un modello della personalità per ciascun utente
Measurecompara il modello con tutti i post dell'utente
- of the variability
of the user's personality
- output: 1) personalità 2) accuracy 3) validity
Misura della variabilità a=accuracy
della personalità P=number of user's posts
dell'utente Urbino
sep.30.2010

13. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Sample from FriendFeed dataset [Celli, Magnani, DiLascio, Pacelli, Rossi 2010]
captured from http://friendfeed.com/public
748 Italian FriendFeed users, 1065 posts. 156 users have more than one post.
Mean accuracy = .631
Mean validity = .729
Campione da FriendFeed [Celli, Magnani, DiLascio, Pacelli, Rossi 2010]
http://friendfeed.com/public
748 utenti, 1065 posts, 156 utenti con più di un post.
Accuracy media = .631
Validity media = .729
Urbino
sep.30.2010

14. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Rank Model Freq
1 ynyyn 16.6%
2 ynyon 12.1%
3 onoyn 7.6%
4 ooooo 7.6%
5 ynoyn 4.5%
6 yoooo 4.5%
7 ynooo 3.8%
8 ynoyo 3.8%
9 ynoon 3.2%
10 onyoo 3.2%
... (other) 39.1%
Urbino
sep.30.2010

15. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Urbino
sep.30.2010

16. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Pearson's correlation test reveal that there is a strong (+0.79) and highly significant
correlation (p-value = .0003) between the accuracy and personality model types
Il test di correlazione (Pearson) rivela che c'è una forte correlazione tra alcuni tipi di
personalità e l'accuratezza
Urbino
sep.30.2010

17. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Pearson's correlation test reveal that there is a strong (+0.79) and highly significant
correlation (p-value = .0003) between the accuracy and personality model types
Il test di correlazione (Pearson) rivela che c'è una forte correlazione tra alcuni tipi di
personalità e l'accuratezza
Althought there is no correlation (p-value = .413) between personality and posting
activity, once ltered out the long tail of users with sparse personality models,
emerges that there is one personality type that produces more posts than others
Anche se non c'è correlazione tra tra le personalità è il numero di post prodotti,
presi solo i tipi di personalità più frequenti emerge che c'è una personalità che
produce più delle altre
Urbino
sep.30.2010

18. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Urbino
sep.30.2010

19. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
A manual look to the data reveals that there are some users (the ones with higher
validity) that are focused on a topic, example: “styleandthecity”, “ultimora",
“cronaca24"
Uno sguardo più ravvicinato ai dati rivela che ci sono alcuni utenti con alta validity
che parlano di un preciso argomento. Esempio: “styleandthecity”, “ultimora",
“cronaca24"
Urbino
sep.30.2010

20. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
CONCLUSIONS
The work presented here is a first survey of personality in SNSs. In the future it
would be interesting to run experiments following threads of users checking for their
personality in order to study how personalities interact together, and what are the
features that make a post interesting to a certain personality type (requires topc
analysis).
CONCLUSIONI
Il lavoro presentato qui è solo un primo approccio allo studio della personalità nei
Social Networks, nel futuro sarebbe interessante studiare l'andamento delle
discussioni tra utenti monitorando la loro personalità e studiando come le
personalità interagiscono tra loro, e quali contenuti sono interessanti per quali
personalità (questo richiede analisi dei topic).
Urbino
sep.30.2010

21. Intro
Fabio Celli Personality
E x tra c tio n o f U s ers ' P ers o na lity
Evaluation
fro m FriendFeed I ta lia n P o s ts
Results
Thank you!!!
Urbino
sep.30.2010