Il Linguaggio dell'Odio sui Social Network

IL LINGUAGGIO DELL’ODIO
SUI SOCIAL NETWORK
Cataldo Musto
Università degli Studi di Bari – Dipartimento di Informatica
Liceo Scientifico Statale ‘Piero Bottoni’ – Milano
Progetto Alternanza Scuola-Lavoro «Una bussola contro l’intolleranza»
17 Gennaio 2018

Chi sono @UniBa
Semantic Web Access and Personalization
http://www.di.uniba.it/~swap

La Mappa dell’Intolleranza
Silvia Brena
Prof. Giovanni Semeraro
Cataldo Musto
Prof. Vittorio Lingiardi
Nicola Carone
Prof.ssa Marilisa D’Amico
Cecilia Siccardi

La Mappa dell’Intolleranza – Obiettivo
Analizzare i contenuti
pubblicati in Rete, individuare
post di natura intollerante
(omofoba, razzista, sessista,
etc.) e geo-localizzare questi
contenuti.

La Mappa dell’Intolleranza – La Genesi
(American)
Hate Map
Progetto della
Humboldt State University
http://users.humboldt.edu/mstephens/hate/hate_map.html

1854
John Snow utilizza
una mappa per
analizzare le cause
dell’epidemia di colera
di Londra

1854  2018
Cosa è cambiato in 164 anni ?

Cosa è cambiato?
Paradigmi comportamentali
consolidati sono stati
radicalmente modificati
dall’uso delle nuove tecnologie
(Conclave 2005 vs Conclave 2013)

Cosa è cambiato?
Paradigmi comportamentali
consolidati sono stati
radicalmente modificati
dall’uso delle nuove tecnologie

Social Networks
Meccanismi per la
costruzione di relazioni
sociali (es. amicizia)
sono stati radicalmente
stravolti dai social
networks

Social Networks
(…anche i
rapporti di
coppia!)

Social Networks
I social network hanno cambiato le modalità con cui condividiamo,
produciamo ed acquisiamo le informazioni

Teoria dei Sei Gradi di Separazione
Ogni persona sulla Terra è collegata a qualunque altra
attraverso un «percorso» di cinque persone
https://it.wikipedia.org/wiki/Sei_gradi_di_separazione

Teoria dei Sei Gradi di Separazione
Ogni persona sulla Terra è collegata a qualunque altra
attraverso un «percorso» di cinque persone
Su Facebook: 4.74 (nel 2011)
https://it.wikipedia.org/wiki/Sei_gradi_di_separazione

Numero di Dunbar
Numero medio di «connessioni» attive nel corso della vita: 150
Quanti amici avete su Facebook?

Social Networks
I social network agiscono da enormi «contenitori» di dati

Social Networks
I social network vengono quotidianamente utilizzati per
condividere informazioni su gusti, preferenze, relazioni
sociali, sensazioni, etc.

Social Networks
Black Mirror episodio 3x01
I social networks dicono chi sei?

Informazione prodotta
in un minuto sul Web

Trend 2010  2020
Dati Prodotti in un anno

67% delle persone controlla il proprio
telefono anche se non ci sono notifiche
29% delle persone sostiene di non
poter vivere senza il proprio telefono
(2012)

(Source: Adrian C.Ott,
The 24-hour customer)
we can handle 126 bits
of information/day
we deal with 393bits of
information/day
ratio: more than 3x
Information Overload

… in digital life

… in digital life
(4482 sneakers!)

… in real life

Paradox of Choice (Barry Schwartz)
https://www.ted.com/talks/barry_schwartz_on_the_paradox_of_choice?language=it

Obstacle
Or
Opportunity?

Risalire la Piramide della Conoscenza

(Francis Bacon, 17° secolo)
Scientia
Potentia Est
Knowledge is power!

La conoscenza (e dunque il potere) è nei dati!

I possessori della conoscenza, oggi

Asimmetria Informativa
“Information asymmetry deals with the
study of decisions in transactions where one
party has more or better information than the
other. This creates an imbalance of
power in transactions”
J.Stiglitz
Nobel Prize 2001
I processi decisionali (e gli algoritmi) basati su «conoscenza» estratta dai
dati sono un’applicazione concreta del principio dell’Asimmetria Informativa

Applicazioni…basate su asimmetria informativa
“A team of scientists, engineers and
technicians from Google, all
volunteers, is cooperating with
UNICEF to cross all this data to other
elements, ranging from weather
conditions to travel flows, and as a
result identify and view any new
outbreaks.”

Prevenzione dei crimini - Londra
Significative Riduzioni nel Numero di
Furti (-33%), Crimini (-21%)
e violazioni di proprietà privata (-12%).

Algoritmi  Microscopi
L’introduzione di algoritmi per l’estrazione e
l’analisi di contenuti prodotti in Rete ha la
valenza dell’introduzione del microscopio
Micro-fenomeni, apparentemente
complessi da spiegare, possono essere
analizzati con nuove chiavi di lettura!

Dove stiamo andando?
1984
George Orwell

Dove stiamo andando?
La Rete è oggi simile al Panopticon?
Progetto di Prigione (Jeremy Bentham, 1871)

La Mappa dell’Intolleranza
La «nostra» asimmetria informativa

Perché una «Mappa» dell’Intolleranza?
• 7 giovani su 10 (69,9%) l’hanno sperimentato in prima
persona
• il 90% degli intervistati (89,4%) ne ha un’opinione negativa.
• 13% ammette di aver insultato un Vip sui social network
almeno una volta.
• Solo il 21% lo disapprova totalmente gli insulti nei confronti
dei vip e meno del 10% segnalerebbe alla piattaforma il
contenuto offensivo
• il 10% degli intervistati dice di aver rivolto insulti sul web a
ragazzi della stessa età.
• il 28% di quelli pronti a mettere alla gogna un coetaneo sul
web non lo farebbe se avesse la persona di fronte.
• Ancora meno se il destinatario del commento è un
personaggio famoso: neanche 1 su 3 (il 32%) se la sentirebbe
di ripetere quanto detto sul social al diretto interessato.
Fonti: indagine dell’Osservatorio Giovani dell’Istituto Toniolo
sul tema “Diffusione, uso, insidie dei social network” e
Indagine di Generazioni Connesse realizzata da Skuola.net e
Università di Firenze

Metodologia
Connessione ai
Social Network
Estrazione dei
Contenuti
Individuazione dei
Tweet di natura
intollerante
Localizzazione dei
Tweet
Costruzione
delle
Mappe

1. Connessione ai Social Network
Ogni social network offre degli strumenti (detti API,
Application Programming Interface) per estrarre le
informazioni prodotte sulle piattaforme.

2. Estrazione dei Contenuti
Omofobia
Antisemitismo
Razzismo
Violenza contro le Donne
Disabilità
Islamofobia
Definizione delle «dimensioni dell’intolleranza»

Con che criterio abbiamo estratto i Tweet?
Come facciamo a capire se un Tweet è intollerante?

Definizione di un lessico per un ognuna delle dimensioni
dell’intolleranza

76 termini sensibili, definiti dal gruppo
di psicologia dell’Università di Roma La Sapienza

3. Individuazione dei Tweet intolleranti
Problemi
Semantica
Ambigua
Sentiment
Positivo
Tweet non
Geolocalizzati

Semantica Ambigua

Semantica Ambigua
Entrambi contengono la parola chiave «nano», ma solo il primo è
un tweet di natura intollerante

Semantica Ambigua
I contenuti testuali possono avere una semantica
ambigua. I computer non sono in grado di comprendere
il significato dei contenuti.

Semantica Ambigua
(evidenze recenti ☺)

Semantica Ambigua
Soluzione: utilizzo di algoritmi di analisi semantica per la
comprensione del testo e filtraggio dei Tweet non intolleranti.

Calcolo del ‘sentiment’
I contenuti postati in Rete hanno un sentiment (una polarità)
associata. Ovviamente siamo interessati ai contenuti aventi
polarità negativa!

Entrambi contengono la parola chiave «nano», ma solo il primo è
un tweet di natura intollerante. Il secondo Tweet è ironico.

Soluzione: utilizzo di algoritmi di «sentiment analysis» per la
comprensione della «polarità» del testo e filtraggio dei Tweet
non intolleranti.

4. Geo-localizzazione dei contenuti
Soluzione: utilizzo di semplici tecniche per la localizzazione dei
contenuti, al fine di aumentare il numero di Tweet geolocalizzati
Problema: una piccolissima
percentuale dei Tweet contiene
informazioni sulla localizzazione

5. Generazione delle Mappe
Anno Tweet Totali Tweet Geo
2015 ~2 milioni ~40k
2016 ~3 milioni ~110k

Violenza contro le Donne Disabilità
Razzismo Anti-Semitismo
(mappe edizione 2015)

Oltre alle mappe, sono state prodotte delle analisi linguistiche e temporali che ci
hanno permesso di analizzare meglio le dinamiche degli utenti in corrispondenza di
picchi di Tweet intolleranti

Come abbiamo «costruito» le mappe?

CrowdPulse
Una piattaforma per l’analisi semantica di contenuti sociali

CrowdPulse
Permette di visualizzare i risultati delle analisi e
delle estrazioni dati (es. mappe, grafici temporali,
tag cloud dei termini, etc.)

CrowdPulse
Permette di generare le analisi creando dei
«progetti»

CrowdPulse
 La piattaforma è basata sul concetto di plug-in
 Un plug-in è un piccolo programma che effettua
delle operazioni
 Immaginiamolo come un mattoncino Lego

CrowdPulse
 La piattaforma è basata sul concetto di plug-in
 Un plug-in è un piccolo programma che effettua delle
operazioni
 Immaginiamolo come un mattoncino Lego
 Esempi di plug-in disponibili
 Estrazione messaggi da Twitter
 Estrazione post da Facebook
 Riconoscimento della Lingua
 Elaborazione e Analisi del Testo
 Identificazione del «topic» (politica, sport, tecnologia, etc.)
 Sentiment Analysis
 Geolocalizzazione degli Utenti
 Geolocalizzazione dei Contenuti
 etc…

CrowdPulse
 Come utilizziamo i plug-in ?

CrowdPulse
 Come utilizziamo i plug-in ?
 La piattaforma è basata sul concetto di
progetto
 Un progetto è una sequenza di plug-in, ordinati
in modo da permetterci di ottenere il risultato
che ci interessa

CrowdPulse
Sulla sinistra abbiamo l’elenco dei progetti.
Cliccando sul nome è possibile visualizzare il contenuto dei
progetti (i plug-in e l’ordine in cui devono essere eseguiti).

CrowdPulse
Un progetto CrowdPulse

CrowdPulse
Terminata la definizione del
progetto, si clicca su «Save» in
alto e poi su «Run» in basso.
Il progetto è in esecuzione!

CrowdPulse
Terminata la definizione del
progetto, si clicca su «Save» in
alto e poi su «Run» in basso.
Il progetto è in esecuzione!
Una volta lanciato il progetto, possiamo
controllare la sua esecuzione.
Cliccando su «Runs e Logs» si possono controllare
le singole esecuzioni del progetto. In alto abbiamo
quelle attualmente in esecuzione (Now Running),
in basso quelle che sono state eseguite in passato
(Past Executions)

CrowdPulse Cliccando sul nome del progetto è possibile leggere dei dettagli relativi
all’esecuzione del progetto.

CrowdPulse
Quando l’esecuzione del progetto è completata, verrà visualizzata la scritta
«Execution: Completed» e il progetto finirà nell’elenco delle Past Executions.

CrowdPulse – Un esempio di progetto
Social
Extractor
Data
Persister

Social
Extractor
Data
Persister
Questo è il più semplice progetto CrowdPulse. Estraiamo dei dati e li
salviamo sul nostro computer, per poterli visualizzare.

Social
Extractor
Data
Persister
Nel gergo di CrowdPulse ogni plug-in che vogliamo inserire in un
progetto si chiama «nodo» , mentre invece la sequenza di operazioni si
definisce in funzione di alcuni «archi» che collegano dei nodi.

Social
Extractor
Data
Persister
Come si traduce tutto questo in CrowdPulse?

Ogni progetto CrowdPulse è
composto da tre parti

process  definisce il nome del progetto e il
nome del file su cui salvare il «log» di
esecuzione

esecuzione
nodes  indica quali sono i plug-in che
vogliamo utilizzare

esecuzione
nodes  indica quali sono i plug-in che
vogliamo utilizzare
edges  indica qual è l’ordine con cui vengono
eseguiti

Proviamo a costruire un progetto insieme!

CrowdPulse – Una «piccola» HateMap
Social
Extractor
Text Processing
Sentiment
Analysis
Geolocalization Data Persister

Tutorial 0
Lanciamo CrowdPulse

Tutorial 1
Plug-in di Estrazione Dati da Twitter

Social
Extractor
Text Processing
Sentiment
Analysis
Step 1: Estrazione Dati da Twitter

Social Extractor
Source
Extraction
Heuristics
Step 1: Definire la sorgente

Social Extractor
Source
Extraction
Heuristics
Step 2: Definire i criteri
Content
User
Geo
#democrats
#www2015
@barack_obama
@comunefi
#earthquake #traffic
Content+Geo
Page
Group

Come procediamo all’estrazione?

Tutorial 1 – Estrazione Dati
Cliccando su «Admin» troverete un progetto «tutorial-1-extraction»

Quali sono i nodi?

Quali sono i nodi?
Estrazione dei Messaggi (Tweet)
Salvataggio dei Mesaggi (Tweet)

Quali sono i nodi?
Come possiamo modificare il progetto?

Quali sono i nodi?
1) Definite il vostro lessico
IMPORTANTE: separate le parole con la
virgola. L’ultima parola non deve avere la
virgola!

Omofobia
Antisemitismo
Razzismo
Violenza contro le Donne
Disabilità
Islamofobia
Suggerimento: scegliete un aspetto che volete analizzare e definite il vostro
lessico! Anche 5-10 termini sono sufficienti

Quali sono i nodi?
2) Date un nome al progetto in
corrispondenza della voce ‘db’
IMPORTANTE: ricordatelo perché servira
nei prossimi passi (es. «mappa-cataldo»)

Quali sono i nodi?
3) Cliccate su «Save» in alto e poi
premete il bottone «Run» in basso
Avete appena lanciato il vostro primo
progetto ☺

Tutorial 1 – Estsrazione Dati
Una volta lanciato, potete controllarne l’esecuzione.
Attendete qualche minuto il
completamento dell’esecuzione!

Cliccando su «View» possiamo cominciare a visualizzare i dati estratti

Cliccate su ‘Data Visualization’

Selezionate ‘Message Timeline’

In basso cliccate su ‘Database’ e selezionate il nome del
progetto che avete indicato prima

Stiamo visualizzando quanti dati abbiamo estratto!

Tutorial 2
Plug-in di Elaborazione del Testo

Social
Extractor
Text Processing
Sentiment
Analysis
CrowdPulse – Text Processing

Social
Extractor
Text Processing
Sentiment
Analysis
A cosa ci serve elaborare il testo?

Tutorial 2 – Elaborazione Testo
Cliccando su «Admin» troverete un progetto «tutorial-2-tokenizer»

Quali sono i nodi?
Recupero dei Tweet
Tokenizzazione
Salvataggio dei Tweet

Quali sono i nodi?
Recupero dei Tweet
Tokenizzazione?????

Quali sono i nodi?
Recupero dei Tweet
Tokenizzazione?????
La tokenizzazione è l’operazione in cui
un testo (es. un Tweet) viene suddiviso
in singole parole, per poterle
analizzare e visualizzare

Come modifichiamo il progetto?

Come modifichiamo il progetto?
Sostituite il nome del vostro progetto
a «inserire-nome-db».
Salvate, lanciate e controllate
l’esecuzione!

Tutorial 2 – Elaborazione del Testo
Cliccate su ‘Data Visualization’

Selezionate ‘Word Cloud’

In basso cliccate su ‘Database’ e selezionate il nome del
progetto che avete indicato prima

Il risultato è soddisfacente? No!

Molte parole non significative sono inserite nella Word Cloud.
Quali sono queste parole?

Articoli, Avverbi, Congiunzioni…anche punteggiatura! Queste parole si chiamano STOP WORDS

Dobbiamo eliminarle!

Cliccando su «Admin» troverete un progetto «tutorial-2b-stopwords»

Quali sono i nodi?
Recupero dei Tweet
Rimozione StopWords

Quali sono i nodi?
Recupero dei Tweet
Rimozione StopWords
Come funziona?
La rimozione delle stopwords
confronta il testo con un
«dizionario» di parole che non ci
interessa visualizzare. Le parole di
troppo vengono eliminate!

Ricordate i modificare il nome!
Sostituite il nome del vostro
progetto a «inserire-nome-db».
Salvate, lanciate e controllate
l’esecuzione!

Numerosi termini non rilevanti (es. «che», «non», etc.) sono stati eliminati, rendendo la
visualizzazione molto più significativa

Tutorial 3
Plug-in di Sentiment Analysis

Social
Extractor
Text Processing
Sentiment
Analysis
CrowdPulse – Sentiment Analysis

Sentiment Analysis
Motivazioni
Questo Tweet cerca di convogliare una «opinione» ?

Sentiment Analysis
Motivazioni
Questo Tweet cerca di convogliare una «opinione» ?
SI

Sentiment Analysis
Un esempio
Sentiment: :-(

Sentiment Analysis
Un esempio
Sentiment: :-(
In numerose applicazioni è di fondamentale
importanza capire l’opinione degli individui verso
ciò di cui parlano!

Sentiment Analysis
Cosa ci serve per sviluppare un algoritmo?

Sentiment Analysis
Lessici
Sono dei vocabolari
Che associano a ciascun termine uno score
Questo score è detto «polarità»
gioia ?
rabbia ?

Sentiment Analysis
Lessici
Sono dei vocabolari
Che associano a ciascun termine uno score
Questo score è detto «polarità»
gioia +++
rabbia ---

Sentiment Analysis
Utilizzando questi «vocabolari» è possibile
associare uno score a ciascun termine

Sentiment Analysis
Un semplice algoritmo
 Intuizione
 La polarità di un testo (es. un Tweet, o un post su Facebook) dipende dalla
polarità delle frasi che la compongono.

Sentiment Analysis
 Intuizione
 La polarità di un testo (es. un Tweet, o un post su Facebook) dipende dalla
polarità delle frasi che la compongono.
 Come ricaviamo le frasi?
 Ogni qual volta identifichiamo un segno di punteggiatura o delle
congiunzioni.

Sentiment Analysis
 Intuizione
 La polarità di un testo (es. un Tweet, o un post su Facebook) dipende dalla polarità
delle frasi che la compongono.
 Ogni qual volta identifichiamo un segno di punteggiatura o delle congiunzioni.
 Esempio
 Non mi piace questo cibo, è terribile
 Frasi = 2

Sentiment Analysis
 Intuizione
 La polarità di un testo (es. un Tweet, o un post su Facebook) dipende dalla polarità
delle frasi che la compongono.
 Ogni qual volta identifichiamo un segno di punteggiatura o delle congiunzioni.
 Esempio
 Non mi piace questo cibo, è terribile
 Frasi = 2
{
{

Sentiment Analysis
 Come calcoliamo la polarità (il sentiment) ?
 Il sentiment di un contenuto testuale è pari alla somma del sentiment delle
frasi che la compongono
 Intuitivamente: se in un testo abbiamo due frasi «positivi», l’intero testo sarà
positivo. Viceversa se abbiamo una porzione di testo positiva e una negativa
cerchiamo di capire qual è la parte «dominante»

Sentiment Analysis
 Come calcoliamo la polarità (il sentiment) ?
 Il sentiment di un contenuto testuale è pari alla somma del sentiment delle
frasi che la compongono
 Intuitivamente: se in un testo abbiamo due frasi «positive», l’intero testo sarà
positivo. Viceversa se abbiamo una porzione di testo positiva e una negativa
cerchiamo di capire qual è la parte «dominante»
pol(T) = ∑pol(fi)
i=1
testo frasi
F={f1…fk}

Sentiment Analysis
 Come si calcola la polarità di una frase?
 Il sentiment di una frase è pari alla somma del sentiment delle parole che la
compongono!
pol(fi) = ∑score(tj)
j=1
termine
Ti={t1…tn}

Sentiment Analysis
compongono!
 Come calcoliamo score(tj) ?
 Utilizzando i lessici !
j=1
termine
Ti={t1…tn}

Sentiment Analysis
compongono!
 Un banale algoritmo di sentiment analysis scorre i termini presenti in una frase,
ignora quelli «neutri» e determina la polarità sommando la polarità dei singoli
termini
 Ovviamente l’algoritmo ha anche dei piccoli accorgimenti, ad esempio se viene trovata una
negazione
j=1
termine
Ti={t1…tn}

Sentiment Analysis
Esempi
Frase Sentiment
Non mi piace questo cibo, è terribile NEGATIVO
Adoro questo ristorante POSITIVO
Domani parto per Milano NEUTRO
Mi piace la pizza, ma odio la verdura
Bari è una città bellissima ma un po’ caotica
Ma qui le metro non arrivano mai ?!?
Davvero bello stare un’ora in coda. Mah!

Sentiment Analysis
Esempi
Frase Sentiment
Mi piace la pizza, ma odio la verdura NEUTRO
Bari è una città bellissima ma un po’ caotica

Sentiment Analysis
Esempi
Frase Sentiment
Bari è una città bellissima ma un po’ caotica LEGGERMENTE POSITIVO

Sentiment Analysis
Esempi
Frase Sentiment
Ma qui le metro non arrivano mai ?!? NEGATIVO

Sentiment Analysis
Esempi
Frase Sentiment
Ma qui le metro non arrivano mai ?!? NEGATIVO
Davvero bello stare un’ora in coda. Mah! NEGATIVO
Algoritmi così semplici non sono in grado di identificare correttamente il sentiment
in presenza di ironia o in presenza di frasi senza termini «polarizzati». Sono
necessari algoritmi più sofisticati!

Calcoliamo il ‘sentiment’ dei nostri Tweet?

Tutorial 3 – Calcolo del Sentiment
Cliccando su «Admin» troverete un progetto «tutorial-3-sentiment»

Quali sono i nodi?
Recupero dei Tweet
Calcolo del Sentiment

Quali sono i nodi?
Recupero dei Tweet
Calcolo del Sentiment
Come al solito modificate i nomi dei
progetti, salvate e lanciate
Controlliamo i risultati appena ha
terminato!

Clicchiamo su «View» per visualizzare i risultati
Clicchiamo su «View»  e poi selezioniamo «Bar Chart» (grafico a barre)
oppure «Pie Chart» (grafico a torta) nell’elenco dei grafici sotto la voce
«Sentiment»

Selezioniamo il nome del progetto e poi visualizziamo i risultati!

Cliccando invece su Timeline possiamo vedere l’evoluzione temporale

Possiamo provare a fare delle analisi
un po’ più complesse?

In quali giorni si è utilizzato più spesso un termine?
Quale è il sentiment associato?
Clicchiamo su «filter on»  selezioniamo «tokens» e poi inseriamo nel campo «search» il nome
del termine che ci interessa analizzare singolarmente

In quali giorni si è utilizzato più spesso un termine?
Quale è il sentiment associato?
Attraverso questa visualizzazione possiamo vedere il «picco» delle menzioni
di quel concetto nei dati estratti.

Tutorial 4
Plug-in di Geo-localizzazione

Social
Extractor
Text Processing
Sentiment
Analysis
CrowdPulse – Geolocalizzazione

Tutorial 4 – Geolocalizzazione Contenuti
Cliccando su «Admin» troverete un progetto «tutorial-4-geolocalization»
Ricordate di modificare i nomi dei progetti (‘db’) prima
di salvare e lanciare il progetto!
Il progetto richiede molti minuti per la sua esecuzione!

Tutorial 4 – Geolocalizzazione Contenuti
Visualizzazione Risultati
Selezioniamo «map» come tipologia di visualizzazione e poi selezioniamo il nostro progetto

Conclusioni
 I moderni strumenti informatici per l’estrazione e l’analisi dei dati
permettono di analizzare fenomeni complessi con nuove chiavi di
lettura!
 Algoritmi = Microscopi!
 Innumerevoli applicazioni e funzionalità
 Monitoraggio brand
 Profilazione Utente
 Smart Cities

http://www.di.uniba.it/~swap/musto
cataldo.musto@uniba.it
@cataldomusto
Contatti
Grazie!

Il Linguaggio dell'Odio sui Social Network

Recommended

Recommended

More Related Content

Similar to Il Linguaggio dell'Odio sui Social Network

Similar to Il Linguaggio dell'Odio sui Social Network (20)

More from Cataldo Musto

More from Cataldo Musto (20)

Il Linguaggio dell'Odio sui Social Network