Recommended
More Related Content
More from Stefano Dalla Palma
More from Stefano Dalla Palma (10)
Detecting controversy in microposts: an approach based on word similarity with an application to the analysis of tweets
- 1. DETECTING CONTROVERSY IN MICROPOSTS An approach based on word similarity with an application to the analysis of tweets #Candidato #Relatore @stefanodp0 @remo_pareschi UNIVERSITÀ DEGLI STUDI DEL MOLISE DIPARTIMENTO DI BIOSCIENZE E TERRITORIO
- 5. 129 km 15 x
- 8. 1 Aziende 2 Governi 4 Compagnie di marketing 3 Agenzie di sicurezza Identificarle Comprenderle Raggrupparle Necessità di Per…
- 9. ATOMICAN APPROACH TO DETECT CONTROVERSY IN MICROPOSTS
- 12. 𝑪 𝟏 [𝟎 ÷ 𝜶) 𝑪𝒊 [(𝒊 − 𝟏)𝜶 ÷ 𝒊𝜶) 𝑪 𝒏 [(𝒏 − 𝟏)𝜶 ÷ 𝒏𝜶) Cluster Classi di similarità tweet1 𝑡𝑤𝑒𝑒𝑡1 ∞ tweet2 𝑡𝑤𝑒𝑒𝑡2 ∞ … … tweeti 𝑡𝑤𝑒𝑒𝑡𝑖 ∞ … …
- 13. 𝑪 𝟏 [𝟎 ÷ 𝜶) 𝑪𝒊 [(𝒊 − 𝟏)𝜶 ÷ 𝒊𝜶) 𝑪 𝒏 [(𝒏 − 𝟏)𝜶 ÷ 𝒏𝜶) Cluster Classi di similarità tweet1 𝑡𝑤𝑒𝑒𝑡1 ∞ tweet2 𝑡𝑤𝑒𝑒𝑡2 ∞ … … tweeti 𝑡𝑤𝑒𝑒𝑡𝑖 ∞ … … 10 3,4 -4,567 1 -1,234
- 14. 𝒔𝒆𝒏𝒕𝒊𝒎𝒆𝒏𝒕 𝑺𝑪 = 𝒂𝒅𝒋∈𝑺𝑪 𝒔𝒆𝒏𝒕𝒊𝑾𝒐𝒓𝒅𝒔(𝒂𝒅𝒋) ∙ 𝒐𝒄𝒄𝒖𝒓𝒓𝒆𝒏𝒄𝒆𝒔(𝒂𝒅𝒋) 𝒄𝒐𝒏𝒕𝒓𝒐𝒗𝒆𝒓𝒔𝒚 𝑪 = 𝑺𝑪∈𝑪 𝒔𝒆𝒏𝒕𝒊𝒎𝒆𝒏𝒕(𝑺𝑪) ∙ |𝑺𝑪| 𝑺𝑪𝝐𝑪 |𝑺𝑪| 𝑺𝑪 = 𝑺𝒊𝒎𝒊𝒍𝒂𝒓𝒊𝒕𝒚 𝑪𝒍𝒂𝒔𝒔 𝑪 = 𝑪𝒍𝒖𝒔𝒕𝒆𝒓
- 15. Qual è il miglior numero di cluster ?
- 16. Non vengono fatte distinzioni nelle osservazioni CLUSTER RIDOTTI
- 17. Vengono fatte troppe distinzioni nelle osservazioni CLUSTER ELEVATI
- 18. Miglior bilanciamento tra informazione e omogeneità dei dati associati a ciascun cluster 𝜶
- 19. − 𝒊=𝟏 𝒌 𝜶 𝒇𝒊 𝒍𝒐𝒈 𝒇𝒊 ENTROPIA
- 20. − 𝒊=𝟏 𝒌 𝜶 𝒇𝒊 𝒍𝒐𝒈 𝒇𝒊 ENTROPIA … 112 cluster
- 21. ENTROPIA PENALIZZATA − 𝒊=𝟏 𝒌 𝜶 𝒇𝒊 𝒍𝒐𝒈 𝒇𝒊 − 𝒍𝒐𝒈(𝒌 𝛼) 0.755
- 22. ENTROPIA PENALIZZATA − 𝒊=𝟏 𝒌 𝜶 𝒇𝒊 𝒍𝒐𝒈 𝒇𝒊 − 𝒍𝒐𝒈(𝒌 𝛼) 0.755 2 cluster
- 23. ENTROPIA PONDERATA − 𝒊=𝟏 𝒌 𝜶 𝒇𝒊 𝟐 𝒍𝒐𝒈 𝒇𝒊 0.130
- 24. ENTROPIA PONDERATA − 𝒊=𝟏 𝒌 𝜶 𝒇𝒊 𝟐 𝒍𝒐𝒈 𝒇𝒊 0.130 12 cluster
- 25. Risultati su 13000 tweets analizzati L’entropia ponderata dà i migliori risultati
Editor's Notes
- la piattaforma di microblogging è usata da numerosi utenti per esprimere le loro opinioni riguardo vari argomenti e risulta così essere una valida sorgente delle opinioni delle persone; il “pubblico” di Twitter…
- il “pubblico” di Twitter varia dal normale utente alla celebrità, alle organizzazioni e aziende più famose, fino al presidente di una nazione. Questi postano brevi messaggi riguardo un’ampia varietà di topics - a differenza di altri siti in cui si è legati ad argomenti specifici – e spesso il valore attribuito ai loro messaggi dipende dal ruolo che questi hanno all’interno della società
- Twitter contiene un enorme numero e varietà di dati. Da quanto è nato sono stati inviati piu di 300 miliardi di tweets.
- Si pensi che, se pensassimo di scrivere i tweets su dei fogli A4 e creare una pila di fogli, il numero di tweets inviati finora sarebbe tale da formare una pila alta 129 km: 155 volte lo skyline di Dubai, il palazzo più alto del mondo che misura circa 800m.
- È in continua espansione. È pertanto facile poter collezionare milioni di tweet e spaziare su diversi argomenti;
- Dato il numero crescente di questi messaggi, la rilevazione della controversia è molto importante, soprattutto per…
- Trovare il giusto numero di cluster è importante. Infatti, individuare un numero ridotto di cluster o troppo elevato può portare a risultati poco producenti, dovuti al fatto che nel primo caso, la differenza tra la quantità di informazione totale e quella contenuta nei cluster viene persa a causa del fatto che non vengono fatte distinzioni nelle osservazioni, mentre nel secondo ne vengono fatte troppe. Trovare alpha che permette di bilanciare la quantità di informazione e l’omogeneità dei dati associati a ciascun cluster. A tal proposito ci viene in aiuto l’entropia con la quale misuriamo il grado di informazione presente in ciascun cluster.
- Andremo a scegliere, tra un intervallo di possibili valori di alpha, quello che massimizza l’entropia.
- PARLARE DEI PROBLEMI DOVUTI ALL’ENTROPIA: scelta della soglia minore
- PARLARE DEI PROBLEMI DOVUTI ALL’ENTROPIA: scelta della soglia minore
- PARLARE DEI PROBLEMI DOVUTI ALL’ENTROPIA PENALIZZATA: scelta di alpha tale che numero di cluster sempre = 2
- Nonostante un elevata omogeneità dei dati, pago un prezzo troppo alto in termini di informazione persa, pertanto, a fronte di questi problemi ho introdotto una misura di entropia ponderata su….