Corso ForDataScientist 2019 - presentazione corso

1. Presentazione Corso
Python e Strutture Dati

2. Dati, informazioni, conoscenza, decisioni
2
Digitalizzazione
dati
Generazione
automatica dati
Organizzazione
dati
Individuazione
Outlier
Stima dati
mancanti
Integrazione
metadati
Analisi dati
Estrazione
informazioni
Presentazioni
informazioni
Sistemi
decisionali

3. ORGANIZZAZIONE DATO
MISURE
Rappresentano l’intensità del fenomeno .
Possono essere espresse in diverse unità
di misura (Valori a prezzi correnti, valori a
prezzi costanti, quantità, valuta, ecc..) .
Possono essere il risultato di
trasformazioni elementari (prezzi,
inflazione, ecc.)
DIMENSIONI
Per identificare l’oggetto di osservazione
(Paese esportatore, Codice Prodotto,
ecc).
Tra le dimensioni assume un ruolo
particolare la DIMENSIONE TEMPORALE

4. OUTLIER
Possono originare da cause diverse. La loro presenza può rendere completamente errati i
risultati delle analisi. La maggior parte dei metodi econometrici minimizza l’errore al
quadrato.
Il criterio di individuazione è basato sulla distribuzione statistica del fenomeno analizzato.
Se le osservazioni sono molte, possono essere considerati outlier i dati contenuti nel primo
decile e nell’ultimo decile di una distribuzione. Esistono criteri anche molto sofisticati per
individuare gli outlier.

5. MISSING
Qualunque data base ha sempre dei “dati mancanti”. Quando si analizzano i dati a livello
elementare questo non provoca alcun problema.
I dati mancanti diventano un problema, quando si analizzano i dati nella forma di serie
storica o in modo aggregato. Un dato aggregato è “leggibile” se aggrega i dati di un
perimetro definito e costante nel tempo.
I criteri di costruzione dei dati mancanti devono essere NEUTRALI rispetto all’analisi
dinamica e/o rispetto all’analisi aggregata. Ad esempio l’interpolante tra due osservazioni è
neutrale nell’analisi dinamica; la media è neutrale nell’analisi aggregata.

6. Analisi dati
6
Consente di trasformare un set di dati in
un numero più contenuto di dati in grado
di rappresentare il tutto. l’analisi dei
momenti (media, varianza, ecc.) è lo
strumento di base.
Consente di individuare e analizzare le
relazioni di causa ed effetto tra i diversi
fenomeni. Tramite queste relazioni è
possibile passare dalla conoscenza di un
fenomeno noto alla conoscenza di un
fenomeno meno noto.
STATISTICA DESCRITTIVA
ECONOMETRIA
DATA MINING
E’ finalizzata a scoprire, con mezzi
automatici o semiautomatici,
le informazioni nascoste in grandi
quantità di dati
Elevate
risorse
informatiche
Ampi set di
dati
Machine learning: metodi
basati prevalentemente sul
calcolo numerico

7. STRUMENTI
INFORMATICI

8. Interazione Uomo-Macchina
8
Esistono livelli diversi di interazione tra uomo e macchina,
caratterizzati da diversi gradi di AUTONOMIA.
MIN MAX
DA UN MINIMO DI
AUTONOMIA IN CUI
TUTTO CIÒ CHE
L'UTENTE PUÒ FARE
È STATO PENSATO
DELL'INFORMATICO
AD UN MASSIMO DI
AUTONOMIA IN CUI
L'UTENTE PUÒ FARE
COSE IMPENSABILI
ALL'INFORMATICO

9. Interazione Uomo-Macchina
9
Linguaggio di
programmazione
Barre di MenuTouchscree
n
Meccanica
AUTONOMIA
FACILITA’ D’USO

10. Curve di apprendimento dei linguaggi di
programmazione
10
Noia e Frustrazione Gratificazione e
soddisfazione
Ogni attività umana ha una curva di apprendimento

11. 11
Strumenti per data analysis
Noia e
frustrazione
Gratificazione
e
soddisfazione

12. COME APPRENDERE
UN LINGUAGGIO DI
PROGRAMMAZIONE?

13. 13
Componenti di un linguaggio di
programmazione
STRUTTURA SINTASSI
Funzionalità delle
diverse componenti e
loro relazioni
Corretta scrittura del
linguaggio
Visualizza il contenuto della della
porzione di memoria del calcolatore che
ha come indirizzo “A”
print(A)
console.log(A)

14. 14
Metodo tradizionale di apprendere un linguaggio
STRUTTURA
SINTASSI
Apprendimento concetti
di base
Apprendimento sintassi
Scrittura esercizi
semplici
Sviluppo programmi
1
2
3
4

15. 15
Metodo ForDataScientist
Mappa concettuale Notebook Jupyter

16. 16
Metodo ForDataScientist
STRUTTURA
SINTASSI
Apprendimento concetti
di base
Apprendimento sintassi
Utilizzo programmi
esistenti
Modifica programmi
1
2
3
4

17. Regole di sintassi
Mappa sinottica ForDataScientist
Programma
Istruzioni
Caratteri
numeri
Segni
grafici
Input
Output
Configura-
zione
Contenuti
Presenta-
zione
Posiziona-
mento
Strutture
dati
Cicli di
istruzioni
Istruzioni
condizionali
Selettore
Funzioni
Scope
Pacchetti
Moduli
Librerie
Funzioni
anonime
Decoratori
Classi
Oggetti

18. IMPARA A LEGGEREE
MODIFICAREPROGRAMMI GIÀ
FUNZIONANTI.

19. LEZIONE 1..www.fordatascientist.org
A00-ToStart
A02-Notebook-Interface

20. Organizzazione dati
20
Inserire i dati in una specifica struttura per rendere più facile la
loro gestione: inserimento, modificazione, lettura, cancellazione.
La struttura di dati ottimali dipende dal set di dati e dagli
obiettivi di analisi
Utilizzando python è possibile costruire strutture dati anche
molto complesse, in grado di risultare ottimali per set di dati
molto articolari e obiettivi plurimi, combinando in modo
opportuno due sole semplici strutture:
Lista Dizionario

21. Organizzazione dati
21
Lista Dizionario
[PC, PR, RE, MO, BO, FE, RA, FO, RN] { PC:Piacenza, PR:Parma,
RE:Reggio nell'Emilia,
MO:Modena, BO:Bologna,
FE:Ferrara, RA:Ravenna,
FO:Forlì-Cesena, RN: Rimini}
Liste + Dizionari
{ EMI : [ ‘Emilia Romagna, { PC:Piacenza, PR:Parma, RE:Reggio Emilia,
MO:Modena, BO:Bologna, FE:Ferrara, RA:Ravenna,
FO:Forlì-Cesena, RN: Rimini} ],
TOS: [ ‘Toscana’, { FI: Firenze, PR: Prato, ………...}]
LOM: [ ‘Lombardia’, { MI: Milano, PV: Pavia, ...……...}]
}