Corso Bid data 2019. Correlazioni

1. BIG DATA
www.fordatascientist.org
Enfap Emilia Romagna
Ravenna febbraio 2019
CORRELAZIONI

2. CHE COSA
E’ UNA
CORRELA-
ZIONE?
E’ una relazione tra due
variabili, tale che a valori
più o meno distanti dalla
media di una
corrispondano valori più o
meno distante dalla
media della seconda,
seguendo una certa
regolarità

3. Coefficiente di correlazione di Pearson

4. Coefficiente di correlazione
Il coefficiente di correlazione r indica la direzione della
correlazione:
● un valore di −1 indica una perfetta correlazione
negativa;
● un valore di 0 indica totale assenza di correlazione;
● un valore di +1 indica una perfetta correlazione positiva.

5. Coefficiente di correlazione

6. COME SCOPRIRE SE
UNA DONNA E’
INCINTA SENZA
CHEDERGLIELO?
FACILE !!!

7. ?

9. Donne iscritte nel
registro dei regali per
i bambini piccoli

10. Analizzando i dati raccolti, sono emerse alcune relazioni tra le persone
iscritte nel registro e i loro acquisti. Molta gente compra lozioni per la
pulizia della pelle, ma molte donne iscritte nel registro iniziano a
comprare grandi quantità di lozione non profumata all'inizio del
secondo trimestre. A volte nelle prime 20 settimane le donne incinte
acquistano grandi quantità di integratori di calcio, magnesio e zinco.
Molti acquirenti acquistano sapone e batuffoli di cotone, ma quando
qualcuno improvvisamente inizia a comprare grandi quantità di sapone
non profumato e sacchi di batuffoli di cotone, oltre a disinfettanti per le
mani e salviette, allora siamo vicini al grande evento.
Che cosa acquista una donna incinta ?

11. …….. attenti alle gaffe

12. Coefficiente di correlazione per ranghi di Spearman
dove r è l’ordinamento della
variabile X e s è l’ordinamento
della variabile Y
Da le serie X e Y, il coefficiente
per ranghi di Spearman è dato
da:

13. l neonato, per la sua peculiare
condizione immunitaria, è
particolarmente predisposto alle
infezioni.
Nel mondo si verificano
annualmente 5 milioni di morti in
epoca neonatale: oltre il 40% di
queste è dovuto a infezioni, che
costituiscono pertanto una causa
importante, se non la più
importante, di morbilità e mortalità
nei primi trenta giorni di vita.

14. Un team IBM e Univ. Ontario coordinati dalla dott.ssa McGregor
ha sperimentato un sw che analizza 16 parametri diversi di neonati
prematuri generando 1250 data point al secondo prevedendo,
attraverso la loro correlazione, una infezione 24 ore prima della
comparsa di sintomi evidenti. E’ stato scoperto (contro la logica
medica) che la stabilizzazione dei parametri vitali dei prematuri
precede spesso una infezione grave. I dati suggeriscono una
correlazione e non un rapporto di causalità. Per fare emergere
questa associazione si sono dovuti applicare metodi statistici a
un’enorme quantità di dati.

15. TRADUZIONE AUTOMATICA
REGOLE
GRAMMATICALI
DIZIONARIO
BILINGUE
SiSTEMA DI
TRADUZIONE
AUTOMATICO
Molto limitato
IBM 1966

16. TRADUZIONE AUTOMATICA
SITI BILINGUE
95 miliardi di
frasi in inglese
tradotte in un
lingua
Molto potente
DIBATTITI
PARLAMENTARI
NAZIONI UNITE
UNIONE
EUROPEA
Algoritmo di
traduzione
GOOGLE 2006

17. Attenzione alle correlazioni spurie
Vendite di gelati e attacchi di squali Vendite di gelati e numero di abitanti

18. Attenzione alle correlazioni spurie
Gelati e
temperature