Quantità dell'informazione

1,290 views
1,190 views

Published on

Una prezentazione su come applicare la teoria della communicazione, Quantità dell'informazione, Quantità media dell'informazione sul testo libero.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,290
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Quantità dell'informazione

  1. 1. Quantità dell’informazione Vitalie Scurtu
  2. 2. Storia• Shannon - "A Mathematical Theory of Communication“ - 1948• Lossless compression (Shannon-Fano, Adaptive Huffman)• Crittografia (per codificare e decodificare i codici)• Analisi delle sequenze di DNA (http://pnylab.com/pny/papers/cdna/cdna/index.html)• Nell’Elaborazione del Linguaggio Naturale (ELN conosciuto anche come NLP)• Maximum Entropy Models per il problema di classificazione
  3. 3. Cos’è quantità dell’informazioneLa quantità dell’informazione di un fenomeno dipende dalla sua frequenza, o dalla sua probabilità. – Quantità bassa dell’informazione • Oggi a Milano è grigio. • L’economia in crisi. • Berlusconi al bar con le escort. – Quantità alta dell’informazione • A Milano nevica. • I Dentisti In sciopero.
  4. 4. Entropia e la quantità media dell’informazione• Formula quantità dell’informazione H (m ) p ( m ) * log p ( m ) m 1 ... n V (m ) 1 1 p (m ) n m 1 ... np(m) – la probabilità che occorre il fenomeno mn – numero di fenomeni
  5. 5. Simplificazione nrDocs (m ) p (m ) totalDove: nrDocs(m) – in quanti documenti ocorre la parola M total = numero totale di document• Le formule finale: nrDocs (m ) V (m ) 1 1 total n m 1 ... n nrDocs (m ) nrDocs (m ) H (m ) total * log total m 1 ... n V(m) - Quantità media dell’information (QMI) H(m) – Entropia o Quantità dell’informazione (QI)
  6. 6. Coefficienti della probabilità lim p(x) 1x x=1…n y=p(x)
  7. 7. Coefficienti del logaritmo lim log( x )x 0 x=0..1 Y=log(x)
  8. 8. Coefficienti Entropia di Shannon X =p(x) log(p(x))*-1• Esempio di parole molto probabile:in, e,si,non,ha,è, Del• Esempio di parole poco probabile: , , ATP x=p(1…n) y=x*log(x)*-1
  9. 9. Distribuzione documenti base EntropiaDistribuzioneZipf (Long Tail)Pochi con valori nell’estremitàsuperiori, e tantissimo nell’estremitàinferiore.• MIN=0• MAX=1700.0(senza limite)x=doc(1…n)y=H(doc(1…n))
  10. 10. Distribuzione doc base Quantità media dell’InformazioneDistribuzioneGaussianaPochi nell’estremità e lamaggioranza nella media dei valoriMIN=0MAX=1.0 x=doc(1…n) Y=V(doc(1…n))
  11. 11. Distribuzione doc base Quantità media dell’InformazioneTaglio fuori la mediana x=doc(1…n) y=V(doc(1…n))
  12. 12. I testi al limite inferiore della quantità media dell’informazionehttp://feedproxy.google.com/~r/iomestessaeme/feed/~3/BbA W7_Ygrkk/autodistruzione-di-un-post-e-di-me.htmlMi mancano le piccole complicità. Quelle in cui vorrei inciampare per caso. Le parole sottointese. Le cose dette con gli occhi. Le parentesi tra un respiro e laltro. Tutte le parole scritte che riescono a prendere voce. Come capitava con te, e nessuno poi. Il sapere di esistere. E gli anni non passano, a volte. Gli anni sono solo per le menti, non per le anime. Nì. Che torna. Che resta. O che deve passare. Non so.Di cosa sta parlando?QI=14.0QMI=0.39
  13. 13. I testi al limite inferiore della quantità media dell’informazione• http://www.etnografia.it/2011/11/06/genova-litania/Ecco dunque LITANIAGenova mia citta’ intera.Geranio. Polveriera.Genova di ferro e aria,mia lavagna, arenaria.Genova citta’ pulita.Brezza e luce in salita.Genova verticale,vertigine, aria scale.Genova nera e bianca.Cacumine. Distanza.Genova dove non vivo,mio nome, sostantivo.Genova mio rimario.Puerizia. Sillabario.Genova mia tradita,rimorso di tutta la vita.Genova in comitiva.Giubilo. Anima viva.Genova in solitudine,straducole, ebrietudine.Genova di limone.Di specchio. Di cannone.Genova da intravedere,mattoni, ghiaia, scogliere.QI=66.11QMI=0.42
  14. 14. I testi al limite inferiore della quantità media dell’informazione195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=GeneralInformationQuantity%20asc& fq=QualityScore:100• I post poco informativi, anomalie• I testi con delle parole che si ripetono spesso (Es. Poesia)http://feedproxy.google.com/~r/iomestessaeme/feed /~3/BbAW7_Ygrkk/autodistruzione-di-un-post-e-di- me.htmlhttp://www.etnografia.it/2011/11/06/genova-litania/
  15. 15. I testi al limite superiore della quantità media dell’informazionehttp://habeshia.blogspot.com/2011/11/blog-post.html•••••QI=23.13QMI=0.96
  16. 16. I testi al limite superiore della quantità media dell’informazione• http://www.tennisworlditalia.com/ATP-SYDNEY---Starace-iscritto-articolo6747.html• Juan Martin Del Potro ARG View View Marcos Baghdatis CYP View View Sam Querrey USA View View Ernests Gulbis LAT View View Richard Gasquet FRA View View Viktor Troicki SRB View View Feliciano Lopez ESP View View Guillermo Garcia-Lopez ESP View View Yen-Hsun Lu TPE View View Florian Mayer GER View View Jarkko Nieminen FIN View View Juan Ignacio Chela ARG View View Denis Istomin UZB View View Gilles Simon FRA View View Julien Benneteau FRA View View Jeremy Chardy FRA View View Sergiy Stakhovsky UKR View View Potito Starace ITA View View Alexandr Dolgopolov UKR View View [WC] Matt Ebden AUS View ViewQI=2.78QMI=0.95
  17. 17. I testi al limite superiore della quantità media dell’informazione195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=GeneralInformationQuantity%20desc &fq=QualityScore:100• Testi in arabo, inglese, anomalie del testo• Elenchi dei nomi rari• Linguaggio specialistico (tanti neologismi o terminologia profesionale)http://habeshia.blogspot.com/2011/11/blog-post.htmlhttp://www.tennisworlditalia.com/ATP-SYDNEY---Starace-iscritto-articolo6747.htmlhttp://www.musicandfreetime.it/2011/11/7003-elio-e-le-storie-tese-in-concerto/http://www.musicandfreetime.it/2011/10/6894-marco-mengoni-nuove-tappe-del-tour/http://comuneportosantavenere.blogspot.com/2011/09/larea-costiera-esclusa-dallo-sblocco.html
  18. 18. I testi al limite inferiore della Entropia• http://www.internazionale.it/news/argentina/20 11/10/28/a-un-ano-de-la-muerte-de-nestor- kirchner/• Il supplemento speciale che Página 12 dedica all’ex presidente argentino Néstor Kirchner. Con articoli di Hebe de Bonafini, fondatrice delle Madri di plaza de mayo, e Horacio Verbitsky.QI=4.57QMI=0.62
  19. 19. I testi al limite inferiore della Entropia• http://arteteatro- eva.blogspot.com/2011/11/giulio-scarpati- legge-e-commenta-alla.html• Giulio Scarpati legge e commenta alla giornata evento della Lega CoopQI=1.32QMI=0.67
  20. 20. I testi al limite inferiore della Entropia195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=IE_body_tg%20asc&rows=1000• Post brevi o quasi vuoti (anche se in lingua straniera)• Poco informativihttp://jucirdanro.blogspot.com/2011/11/arsenal-story-93.html (breve e in lingua straniera)http://satiraglio.ilcannocchiale.it/post/2696530.html (poco informativo)http://www.internazionale.it/news/argentina/2011/10/28/a-un-ano-de-la-muerte-de- nestor-kirchner/http://arteteatro-eva.blogspot.com/2011/11/giulio-scarpati-legge-e-commenta- alla.html (pooca informazione)
  21. 21. I testi al limite superiore della Entropia• http://masadaweb.org/2011/11/02/masada-n%C2%B01334- 30112010-la-tempesta-finanziaria/G20 a Nizza – Grottesco italiano – Le giornate terribili della Borsa – Il Governo chiude la DIA – Il segaossi – Cercate gli evasori! – Il terrorismo di Sacconi – Disoccupazione e morte civile – I cento punti di Renzi – Assalto alla democrazia – Kaufman – Morte al welfare, la debitocrazia è soddisfatta- La truffa delle quote latte Antoine de Saint Exupery: “Se vuoi costruire una nave, non radunare gli uomini per raccogliere il legno e distribuire i compiti, ma insegna loro la nostalgia del mare ampio e infinito”. .. Ida “Le pecore, hanno bisogno del pastore con i suoi cani. I gabbiani, hanno solo bisogno del vento.” .. “Siamo tutti sotto lo stesso cielo, ma non tutti abbiamo lo stesso orizzonte” (K. Adenauer) Ci sono uomini che lottano un giorno e sono bravi, altri che lottano un anno e sono più bravi, ci sono quelli che lottano più anni e sono ancora più bravi, però ci sono quelli che lottano tutta la vita: essi sono gli indispensabili. (Bertolt Brecht) IL GROTTESCO ITALIANO 10.000 indignati sono a Nizza contro il G20, ma siccome non hanno fatto morti, feriti o danni, nessuno ne parla, infatti i governi chiedono sempre che le manifestazioni siano pacifiche, ma, quando lo sono, ovviamente le ignorano, mentre, se ci sono incidenti, ne fanno un’emergenza nazionale e urlano al terrorismo. Credete voi che il G20 decida di introdurre una Tobin Tax sulle transazioni speculative della Borsa o qualche freno alle speculazioni bancarie o la minima regola alla Finanza distruttiva? Nemmeno per idea! Anzi siamo al ridicolo! Le banche americane che hanno sfrattato i poveri dalle loro case e hanno rinforzato la propria casa con gl i aiuti governativi, hanno fatto una festa di Hallowen dove i bancari assassini si sono travestiti da barboni, insomma si sono pure fatti due belle risate sulle loro vittime! Dopo il danno la beffa! Milano perde il 6,8%. Al 7 sarà l’apocalisse! L’Italia rotola come una palla da biliardo verso il default, nell’inerzia annoiata di un governo indifferente che da 3 anni non governa e che combatte la crisi con gli elicotteri di lusso di Berlusconi, i caccia o le Maserati di Larussa, Maroni che ignora che le auto della polizia sono senza benzina a taglia la Dia tra ringraziamenti della mafia, le petulenze della Bernini o i lai terroristi di Sacconi, mentre B porta sfiga persino al Milan! Intanto i figli dei prefetti si fanno appartamenti di gran lusso ‘a sua insaputa’ col Viminale che rifiuta di far chiarezza, perché ‘i figli so’ pezzi e’ core’. Papandreu scombicchera le carte annunciando un referendum: se il popolo deve morire, tanto vale che decida il proprio suicidio. E’ lo stesso Papandreu che si disse interessato agli indignati. Intanto cambia tutti i capi delle forze armate, chissà perché. Il suo governo sembrava abbattuto, ma la mossa coraggiosa ha reso chance al Pasok. E’ facile una valanga di No all’adesione al piano micidiale della Bce. A quel punto la Grecia esce dall’Ue e affronta da sola il suo defaul t. Nessuno le compra più i suoi titoli. E dopo? I morituri cominciano a ribellarsi L’Islanda si tira fuori da ogni default, rifiuta di pagare il debito e prende a calci il governo Dilma Rousseff,nuovo presidente del Brasile, nega che la crisi possa corretta con la famigerata ricetta neoliberista di disoccupazione e tagli, e annuncia piani di investimento per aumentare lavoro e reddito. Nel disastro generale solo ‘il leader minuscolo’ se la prende comoda, del resto governa ‘a tempo perso’ e non sa che pesci prendere, ora meno che mai, quando Tremonti fa l’offeso. L’urgenza massima c’è da 3 anni ma nessuno provvede alla spesa pubblica. La mangiatoia non si tocca. Ai primi di agosto gli mettono il fuoco al culo ma lui va in ferie, oggi l’Europa brucia e lui fa il ponte di Ognissanti, gli chiedono rapidi provvedimenti per il bilancio e porta una letterina di intenti, nemmeno firmata da Tremonti, nemmeno approvata dai ministri, nemmeno vista dal Parlamento, subito dopo dice che “l’euro non ha convinto nessuno “. A tutt’oggi con lo spread a 440 e gli interessi al 6,8 traccheggia, pensa alla bionde strafighe, racconta barzellette, si chiude ad Arcore, pensa a diseredare la seconda moglie con figli annessi, si fa gli affari suoi e del paese se ne frega. Il puffo malefico a tratti sembra lanciatissimo,ma è tutta scena per i media, come l’imbonitore Renzi, ormai fanno solo avanspettacoli da provincia. Il puffo fiorentino è “tardo blairismo in salsa populista” e l’unica cosa con cui rompe è la sx. Bossi è lucido ‘a tratti’, mentre B, spenti i brevi sprazzi di vivacità, entra saltuariamente in coma. Il nuovo della politica fiorentina si mette più a dx della dx con un programma di privatizzazioni che fa sembrare l’Ue comunista. Ogni tanto B si sveglia, per la serie “eppur si muove”, prende il viagra, tromba un po’, mostra all’urbe et orbe ‘come fregarsene del debito trombando lo stesso’, ”basta far finta di esserci e poi continuare a farsi gli affari propri” e poi si riaddormenta. Tra uno sbadiglio e un coma ci sembra quasi che niente si muova. Ma è l’impressione di chi è già morto. Ripartono i movimenti per la pubblicizzazione dell’acqua Malgrado il 95% di cittadini giustamente incazzati con la privatizzazione, l’acqua non è tornata pubblica, nelle bollette continuiamo a pagare il surplus di ricavo per gli esercenti, Bersani come nulla fudesse, il giorno dopo il referendum, ha riproposto la privatizzazione, Renzi privatizzerebbe anche il culo di sua nonna e l’UE ci ordina di privatizzare di tutto. E poi la chiamano democrazia! Poi si dice che la classe politica è al servizio della comunità! E che abbiamo interessi a stare in Europa! Giornate terribili in Borsa per l’Italia! Viviana Vivarelli Mentre B governa ‘a tempo perso’, e l’opposizione perde tempo col programma già obsoleto di Renzi, gli interessi sul debito si impennano paurosamente. E giovedì il G20 discuterà proprio su una Europa appesa al capestro di una Italia irresponsabile e in via di bancarotta. Uno dei punti più importanti della lettera della Bce era l’incentivo del lavoro giovanile con lo stipendio di sussistenza ai giovani disoccupati, che in Italia sono ormai uno su 3, mentre delle donne non ne lavora una su 2, ma B nemmeno l’haQI=1700.0QMI=0.6
  22. 22. I testi al limite superiore della Entropia195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=IE_body_tg%20desc&ro ws=1000• I post lunghissimi con tanta informazione• Elenci di nomi rarihttp://masadaweb.org/2011/11/02/masada- n%C2%B01334-30112010-la-tempesta- finanziaria/ (un post lunghissimo con tanta informazione)
  23. 23. Entropia dipende dalla lunghezza del testo• Correlazione: 0.99 – è altissima perché la correlazione e uguale a uno quando i dati sono identici.
  24. 24. Altri risultati• Correlazione QMI con Lunghezza del Testo è bassissima: 0.05 (rispetto a 0.985)• Correlazione QMI e QI con QualityScore 0.011• Correlazione QMI e QI non è bassa ma neanche tanto alta: 0.57
  25. 25. Conclusione• Entropia vs. Quantità media Entropia è base lunghezza, quindi non trova le anomalie, invece la quantità media riesce a trovare le anomalie. • Entropia è bassa anche se un testo breve contiene delle parole rare. • Quantità media dell’informazione più rappresenta lo stile di scrittura e non dipende dalla lunghezza. • QI vs. QMI - Si compensano • Dei score calcolati in automatico• QI vs. Analisi Stilistica – Risolve dei problemi che con l’analisi stilistica non si possono risolvere• QMI - l’informazione sullo stile di scrittura
  26. 26. ¿ Domande?

×