Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Un modello di Semantic Sentiment Analysis basato su tecniche di NLP e risorse lessicali

1,212 views

Published on

Confronto tra una serie di approcci lessicali per effettuare Sentiment Analysis su Social Network, con particolare enfasi verso Twitter.

  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Un modello di Semantic Sentiment Analysis basato su tecniche di NLP e risorse lessicali

  1. 1. Un modello di Semantic Sentiment Analysis basato su tecniche di NLP e risorse lessicali Relatori: Laureando: Chiar.mo Prof. Giovanni Semeraro Luigiantonio IONIO Dott. Cataldo Musto Dipartimento di Informatica Corso di Laurea Magistrale in Informatica BARI, 22/07/2014
  2. 2. Sommario 2  Introduzione  Sentiment Analysis  Approcci lessicali  Approccio proposto  Risultati Sperimentali  Conclusioni  Sviluppi futuri
  3. 3. 3  La quantità di dati che vengono generati quotidianamente dal Web è superiore rispetto a quella che si è in grado di analizzare e gestire.  Di particolare interesse (sociale ed economico) risultano essere i dati estrapolati dai Social Network (Facebook, Twitter, ecc).  Alcuni dati. Ogni minuto:  Pubblicati 100.000 Tweet;  Condivisi 684.478 stati su Facebook;  Caricati 48h di video YouTube. Information Overload: problema o opportunità?
  4. 4. Information Overload: problema o opportunità? 4  L’obiettivo è quello di trasformare dati ‘grezzi’ presenti sulla rete in dati aggregati interessanti.  Concetto: creare «valore» da dati grezzi.  Tendenza: creazione di sistemi complessi in grado di raccogliere ed elaborare dati in maniera automatica.  Piattaforme per l’Opinion Mining  Algoritmi di Sentiment Analysis
  5. 5. Sentiment Analysis 5  Strumento di indagine che consente di comprendere opinioni, umori e punti di vista presenti in un testo.  Noto anche come Opinion Mining.  L’obiettivo è quello di classificare la polarità di un contenuto (testuale o multimediale) come positivo/negativo/neutro.  Attraverso la Sentiment Analysis è possibile determinare i pareri relativi a un prodotto, un film, un ristorante…
  6. 6. Approcci alla Sentiment Analysis 6  Approccio lessicale: utilizzo di un dizionario con informazioni riguardanti la positività/negatività di parole o frasi. La polarità di un testo viene determinata in base alla polarità dei termini che lo compongono. Pro: Nessun addestramento richiesto. Contro: Basati sulla coerenza del lessico.  Approccio Machine Learning: partendo da esempi pre- etichettati, si addestra un classificatore in grado di predire la polarità di un testo precedentemente non noto. Pro: Più performanti rispetto agli approcci lessicali. Contro: Lunghi tempi di addestramento; Necessaria etichettatura manuale.
  7. 7. Obiettivi 7  Valutare l’accuratezza di approcci lessicali per la Sentiment Analysis.  Focus: Sentiment Analysis su microblog posts (es. Twitter)  Confrontare l’efficacia di diversi lessici presenti in letteratura.
  8. 8. Approcci lessicali 8  La polarità di un testo è ottenuta tramite la combinazione della polarità associata ad ogni termine presente nel testo.  Problema: come associare una polarità a un termine?  Soluzione: utilizzo di lessici a stato dell’arte.  SentiWordNet  WordNet Affect  SenticNet  MPQA
  9. 9. SentiWordNet[1] 9  Risorsa lessicale per l’Opinion Mining che assegna ad un synset di WordNet tre punteggi sentimentali.  Composto da 117.659 termini inglesi.  La somma dei tre punteggi è sempre pari a 1. [1] http://sentiwordnet.isti.cnr.it/
  10. 10. WordNet Affect[2] 10  Associa ad ogni synset di WordNet differenti categorie affettive disposte in una struttura gerarchica.  Es: good benevolence love … root  La tassonomia presenta più di 200 concetti.  Lo score di un termine viene determinato individuando la polarità in SentiWordnet della prima categoria emozionale associata ad esso a partire dalla più specifica.  Es: good benevolence 0.3394[2] http://wndomains.fbk.eu/wnaffect.html
  11. 11. WordNet Affect 11
  12. 12. SenticNet[3] 12  Fornisce in formato RDF la semantica associata ad oltre 14.000 concetti di uso comune.  Lo score di termine (dominio: [-1, +1]) è indicato esplicitamente nel campo ‘polarity’ del relativo RDF. [3] http://sentic.net/
  13. 13. SenticNet 13
  14. 14. MPQA[4] 14  Lessico composto da 8.222 termini (definiti ‘clues’).  Classifica ogni termine come ‘positive’, ‘negative’, ‘both’, ‘neutral’.  Es. good polarity = “positive” +1 [4] http://mpqa.cs.pitt.edu/
  15. 15. 15 APPROCCIO PROPOSTO
  16. 16. Approccio proposto 16  La polarità di un testo è pari alla combinazione delle polarità delle singole microfrasi che lo compongono.  La suddivisione in microfrasi avviene considerando caratteri di interpunzione, congiunzioni ed avverbi. I don’t like this food. It’s terrible. “I don't like this food. It's terrible.”
  17. 17. Approccio 1: Base 17  Determina lo score di un Tweet T sommando gli score associati ad ogni termine e normalizzando per il numero di termini presenti nel testo. T = {m1, m2, …, mn} Tweet composto da n microfrasi score del j-esimo termine nella i- esima microfrase numero di termini presenti nel lessico
  18. 18. Approccio 2: Normalizzato 18  Estensione dell’approccio Base.  Score complessivo normalizzato rispetto al numero di microfrasi presenti nel testo. T = {m1, m2, …, mn} numero di termini presenti nel lessico numero di microfrasi
  19. 19. Approccio 3: Enfasi 19  Incrementa lo score associato ad aggettivi, avverbi e verbi rispetto alle altre categorie sintattiche.  Valutate diverse percentuali di incremento T = {m1, m2, …, mn} peso enfasi numero di termini presenti nel lessico
  20. 20. Approccio 4: Enfasi Normalizzato 20  Combinazione dell’approccio normalizzato con quello ad enfasi. T = {m1, m2, …, mn} numero di termini presenti nel lessico numero di microfrasi
  21. 21. 21 RISULTATI SPERIMENTALI
  22. 22. Dataset 22  SemEval-2013 (3 classi: positivo, negativo, neutro)  Stanford Twitter Sentiment (2 classi: positivo, negativo) Dataset Istanze Positivi Negativi Neutri Sparsità Training 8.180 3.056 (37%) 1.200 (15%) 3.924 (48%) 0.999390 test 3.255 1.325 (41%) 495 (15%) 1.435 (44%) 0.998795 Dataset Istanze Positivi Negativi Sparsità Training 1.580.182 790.400 (50%) 789.782 (50%) 0.99984 test 359 182 (51%) 177 (49%) 0.99331
  23. 23. Progettazione 23  Utilizzo del training set per apprendere la soglia ottimale di classificazione dei Tweet.  Valutazione degli approcci sul test set  Metriche: Accuratezza  Quesiti di Ricerca 1) Qual è la configurazione ottimale che massimizza l’accuratezza dell’algoritmo con i diversi lessici? 2) Qual è il lessico che permette di ottenere i migliori risultati in termini di accuratezza? Validazione statistica con test di McNemar
  24. 24. Risultati Quesito 1 24 Sentiwordn et SenticNet WordNet- Affect MPQA Basilare 57.67 48.69 53.92 58.03 Normalizzato 58.10 47.25 55.05 57.97 Enfasi 58.65 48.29 53.95 58.25 Enfasi Normalizzato 58.99 48.08 55.08 58.10 45 47 49 51 53 55 57 59 61 Accuratezza Dataset SemEval
  25. 25. Risultati Quesito 1 25 Sentiwordn et SenticNet WordNet- Affect MPQA Basilare 57.67 48.69 53.92 58.03 Normalizzato 58.10 47.25 55.05 57.97 Enfasi 58.65 48.29 53.95 58.25 Enfasi Normalizzato 58.99 48.08 55.08 58.10 45 47 49 51 53 55 57 59 61 Accuratezza Dataset SemEval
  26. 26. Risultati Quesito 1 26 Sentiwordn et SenticNet WordNet- Affect MPQA Basilare 71.87 74.37 62.95 69.64 Normalizzato 72.42 74.65 62.67 70.75 Enfasi 71.31 73.82 62.95 69.92 Enfasi Normalizzato 71.59 74.65 62.95 70.75 56 58 60 62 64 66 68 70 72 74 76 Accuratezza Dataset STS
  27. 27. Risultati Quesito 1 27 Sentiwordn et SenticNet WordNet- Affect MPQA Basilare 71.87 74.37 62.95 69.64 Normalizzato 72.42 74.65 62.67 70.75 Enfasi 71.31 73.82 62.95 69.92 Enfasi Normalizzato 71.59 74.65 62.95 70.75 56 58 60 62 64 66 68 70 72 74 76 Accuratezza Dataset STS
  28. 28. Risultati Quesito 1 28  Dataset SemEval:  L’introduzione dell’enfasi (classica e normalizzata) migliora i risultati complessivi in 7 degli 8 confronti con un incremento medio del 0.3%;  L’introduzione della normalizzazione ha portato miglioramenti in 2 casi su 4.  Dataset STS:  L’enfasi (classica e normalizzata) ha portato miglioramenti in solo 2 confronti;  La normalizzazione ha portato miglioramenti in 3 confronti su 4 con un miglioramento medio dello 0.6%.  Conclusioni:  L’enfasi apporta migliorie nel dataset SemEval;  La normalizzazione apporta migliorie nel dataset STS.
  29. 29. SentiWordNet SenticNet WordNetAffect MPQA Accuratezza 58.99 48.69 55.08 58.25 45 47 49 51 53 55 57 59 61 Dataset SemEval Risultati Quesito 2 29
  30. 30. SentiWordNet SenticNet WordNetAffect MPQA Accuratezza 72.42 74.65 62.95 70.75 56 58 60 62 64 66 68 70 72 74 76 Dataset STS Risultati Quesito 2 30
  31. 31. Analisi dei Risultati 31  SentiWordNet e MPQA sono i lessici migliori per approcci lessicali alla Sentiment Analysis.  WordNet Affect non efficace: l’idea di basare il task di SA solo sull’utilizzo di attributi emozionali non apporta migliorie.
  32. 32. Conclusioni 32 Indipendente dal dominio Scarsa presenza di lessici in letteratura Possibilità di definire un proprio lessico Vincolato dalla coerenza del lessico Ambiguità del linguaggio naturale Non richiede addestramento Buone performance
  33. 33. Sviluppi futuri 33  Combinare i diversi lessici;  Testare nuovi approcci lessicali;  Sfruttare tutte le informazioni fornite dai lessici per perfezionare la classificazione.
  34. 34. GRAZIE PER L’ATTENZIONE 34
  35. 35. SentiWordNet 35  Un termine può essere associato a più synset e quindi a più score.  Ogni termine è denotato come ‘termine#n’ dove n indica l’n-esimo significato del termine.  Lo score complessivo di un termine è ottenuto calcolando la media pesata
  36. 36. Varianti 36  Gestione delle Emoticon: ogni emoticon viene considerata discriminante per la polarità di un testo.  Oggettività: un termine che presenta un punteggio complessivo (inteso come somma tra score positivo e negativo) < 0.5 viene considerato NEUTRO. Tweet Positivi Tweet Negativi :-) :D :) : ) ;) :P =) :( :-( : ( :’(
  37. 37. Soglie ottimali 37  Utilizzando il training set dei due dataset si possono determinare le soglie ottimali ai fini della classificazione.  Classificazione binaria (positivo/negativo): 1 soglia  Classificazione ternaria (positivo/negativo/neutro): 2 soglie
  38. 38. Soglie ottimali ed emoticon 38 0 10 20 30 40 50 60 70 Soglie 0: Soglie ottimali: Soglie ottimali + emoticon 0 10 20 30 40 50 60 70 80 SentiWordNet SenticNet WordNetAffect MPQA Soglie ott: Soglie ott + emo Classificazione ternaria: •Le soglie ottimali incrementano i risultati •Le emoticon incrementano i risultati Classificazione binaria: •Le soglie ottimali corrispondono a 0 •Le emoticon incrementano i risultati
  39. 39. Senza Oggettività VS Oggettività 39 0 10 20 30 40 50 60 70 Senza Oggettività Oggettività 0 10 20 30 40 50 60 70 80 Senza Oggettività Oggettività Classificazione ternaria: •L’introduzione della soggettività non comporta migliorie in termini di accuratezza Classificazione binaria: •L’introduzione della soggettività non comporta migliorie in termini di accuratezza

×