Extraction of Users' Personality from FriendFeed Italian Posts

1,121 views
1,086 views

Published on

Extraction of Users' Personality
from FriendFeed Italian Posts - Fabio Celli

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,121
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Extraction of Users' Personality from FriendFeed Italian Posts

  1. 1. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Computer Science Comp. Linguistics Social Network Analysis Sociology Psychology Urbino sep.30.2010
  2. 2. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Computer Science Comp. Linguistics Social Network Analysis Sociology Psychology Urbino sep.30.2010
  3. 3. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results - extract information from text - development of ontologies - development of search engines ... - estrazione di informazioni da testi Comp. Linguistics - sviluppo di ontologie - sviluppo dei motori di ricerca ... Urbino sep.30.2010
  4. 4. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results 1) collect text data and annotate it 2) build model of information in text 4) develop programs that extract info modelized 1) collezione e annotazione di dati testuali Comp. Linguistics 2) sviluppo di modelli dell'informazione nei testi 3) sviluppo di programmi per estrarre info Urbino sep.30.2010
  5. 5. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results SNSs provide tons of data (text+users) Problems: 1) formalization of personality 2) annotation of data with personality judgements SNSs I Social Networks contengono un sacco di dati Problemi: 1) formalizzazione della personalità 2) annotazione dei dati con valutazioni della personalità Urbino sep.30.2010
  6. 6. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results BIG 5: standard model used in Psychology [Norman 1963] Extraversion Emotional stability Psychology Agreebleness Conscientiousness Openness to experience BIG 5: modello standard in Psicologia [Norman 1963] Estroversione Stabilità emotiva Cooperatività Precisione Immaginatività Urbino sep.30.2010
  7. 7. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Linguistic Features correlating with BIG 5 [Mairesse et al 2007] Tratti linguistici associati al BIG 5 [Mairesse et al 2007] Psychology Features Extrav. Emot. st. Agreebl. Consc. Openn. .:;- - - , + @user - + ! + + Links io mi mio + - - no non - + + - :( + - - 0-9 - ()[]{} - + :) + + di a da … + + ? - - + Swears - - + N° Words + Word freq - + - Urbino ... sep.30.2010
  8. 8. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Example of personality (formalized) Esempio di personalità (formalizzata) Psychology yyonn yes yes balance no no extraversion emotivity agreebleness consciousness openness Urbino sep.30.2010
  9. 9. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Here comes the hard part: - it is hard for human annotators to reach consensus on personality judgenments. Assumption: - one user has one and only one (complex) personality. So I can evaluate it comparing more posts of the same user. Qui viene il difficile: - il consenso sui giudizi della personalità dato dagli annotatori è difficile da ottenere Assunto: -un utente ha una e una sola personalità (complessa). Dunque Possiamovalutarla confrontando più post dello stesso utente. Urbino sep.30.2010
  10. 10. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalità -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalità per ciascun utente - compara il modello con tutti i post dell'utente - output: 1) personalità 2) accuracy 3) validity Urbino sep.30.2010
  11. 11. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalità -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalità per ciascun utente - compara il modello con tutti i post dell'utente Measure of the reliability - output: 1) personalità 2) accuracy 3) validity of the personality model tp=true positives Misura dell'affidabilità del tn=true negatives modello della personalità fp=false positives fn=false negatives Urbino sep.30.2010
  12. 12. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalità -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalità per ciascun utente Measurecompara il modello con tutti i post dell'utente - of the variability of the user's personality - output: 1) personalità 2) accuracy 3) validity Misura della variabilità a=accuracy della personalità P=number of user's posts dell'utente Urbino sep.30.2010
  13. 13. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Sample from FriendFeed dataset [Celli, Magnani, DiLascio, Pacelli, Rossi 2010] captured from http://friendfeed.com/public 748 Italian FriendFeed users, 1065 posts. 156 users have more than one post. Mean accuracy = .631 Mean validity = .729 Campione da FriendFeed [Celli, Magnani, DiLascio, Pacelli, Rossi 2010] http://friendfeed.com/public 748 utenti, 1065 posts, 156 utenti con più di un post. Accuracy media = .631 Validity media = .729 Urbino sep.30.2010
  14. 14. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Rank Model Freq 1 ynyyn 16.6% 2 ynyon 12.1% 3 onoyn 7.6% 4 ooooo 7.6% 5 ynoyn 4.5% 6 yoooo 4.5% 7 ynooo 3.8% 8 ynoyo 3.8% 9 ynoon 3.2% 10 onyoo 3.2% ... (other) 39.1% Urbino sep.30.2010
  15. 15. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Urbino sep.30.2010
  16. 16. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Pearson's correlation test reveal that there is a strong (+0.79) and highly significant correlation (p-value = .0003) between the accuracy and personality model types Il test di correlazione (Pearson) rivela che c'è una forte correlazione tra alcuni tipi di personalità e l'accuratezza Urbino sep.30.2010
  17. 17. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Pearson's correlation test reveal that there is a strong (+0.79) and highly significant correlation (p-value = .0003) between the accuracy and personality model types Il test di correlazione (Pearson) rivela che c'è una forte correlazione tra alcuni tipi di personalità e l'accuratezza Althought there is no correlation (p-value = .413) between personality and posting activity, once ltered out the long tail of users with sparse personality models, emerges that there is one personality type that produces more posts than others Anche se non c'è correlazione tra tra le personalità è il numero di post prodotti, presi solo i tipi di personalità più frequenti emerge che c'è una personalità che produce più delle altre Urbino sep.30.2010
  18. 18. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Urbino sep.30.2010
  19. 19. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results A manual look to the data reveals that there are some users (the ones with higher validity) that are focused on a topic, example: “styleandthecity”, “ultimora", “cronaca24" Uno sguardo più ravvicinato ai dati rivela che ci sono alcuni utenti con alta validity che parlano di un preciso argomento. Esempio: “styleandthecity”, “ultimora", “cronaca24" Urbino sep.30.2010
  20. 20. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results CONCLUSIONS The work presented here is a first survey of personality in SNSs. In the future it would be interesting to run experiments following threads of users checking for their personality in order to study how personalities interact together, and what are the features that make a post interesting to a certain personality type (requires topc analysis). CONCLUSIONI Il lavoro presentato qui è solo un primo approccio allo studio della personalità nei Social Networks, nel futuro sarebbe interessante studiare l'andamento delle discussioni tra utenti monitorando la loro personalità e studiando come le personalità interagiscono tra loro, e quali contenuti sono interessanti per quali personalità (questo richiede analisi dei topic). Urbino sep.30.2010
  21. 21. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Thank you!!! Urbino sep.30.2010

×