2. IntroduzioneIntroduzione
• Tematica molto ampia più di
200 Software Statistici (SofStatSofStat)
• Diffusione SofStat dovuta a:
– Risparmio di tempo e di “sforzi” per il ricercatore
– User friendly
– Riduzione di errori rispetto le routine hand-made
– Software più veloci rispetto alle costruzioni di
routines
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
3. AgendaAgenda
I.I. TipologiaTipologia
I. Generici o trasversali, generalizzati e
specifici
II.II. ClassificazioneClassificazione
I. caratteristiche “commerciali “(release,
prezzo, metodologie, sistema operativo)
II. ambito, uso, ulteriori caratteristiche tecn.
III.III. ValutazioneValutazione
I. tecnica (accuratezza, stabilità)
II. utilizzo non sempre appropriato
IV.IV. Nuove progettualitNuove progettualitàà
I. nuove implementazioni
II. sfide europee
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
4. TipologiaTipologia
Generici o TrasversaliGenerici o Trasversali
Fogli di calcolo o pacchetti che consentono l’implementazione
“taylorizzata”delle metodologie statistiche non ancora
disponibili (Matlab,Mathematica, Maple, R, etc.).
GeneralizzatiGeneralizzati
Pacchetti più diffusi che hanno adattato un gran numero di
metodologie (SAS, SPSS, STATA, etc.)
SpecificiSpecifici
Pacchetti dedicati a particolari metodologie non sempre
sviluppate nei SofStat generalizzati (ad esempio: semantic
network) o utilizzati a livello professionale (istituti
internazionali di ricerche)
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
5. InfograficsInfografics
(Rizzo and De Francisci, 2007)
DataData warehousewarehouse
Social network
TipologiaTipologia
Social networkSocial network
www.visualcomplexity.com
(Krebs, 2005)
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
6. ClassificazioneClassificazione
AMBITO
• Didattico
– Settori Scientifici Disciplinari (SSD)
– Laurea Triennale, Magistrale, Master, Dottorati
• Ricerca
– Strumentali
• SSD
– Sviluppo
• Open vs. proprietary o closed software
• Implementazione di nuove metodologie
– Journal of Statistical Software
– Computational Statistics and Data Analysis
– International Journal of Forecasting
– The American Statistician
– Statistics and Computing
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
7. Sistema Economico:
– Pubblica Amministrazione
• Strutture produttrici di dati
• Strutture utilizzatrici di dati
– Terziario Avanzato
• Strutture consulenziali vs. imprenditoriali
• Società di ricerche di mercato vs. ricerche di
marketing
ClassificazioneClassificazione
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
8. Criteri alternativi per laCriteri alternativi per la
classificazione deiclassificazione dei SofStatSofStat
USO
• Per argomento (Monahan,2004)
– 1.Programming; 2.Data management; 3.Statistical processing;
4. Statistical graphics; 5.Novel statistical procedures;
6. Simulation experiment; 7. Markov Chain Monte Carlo;
8. Symbolic computation.
• Livello di expertise utilizzatori
– Utilizzatori basici
– Utilizzatori consapevoli
– Utilizzatori programmatori
• Tipologie di analisi
– Adottare classificazione SIS? ISI?
– Considerare SofStat anche i pacchetti nati in ambiente
linguistico? O in quello grafico?
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
10. Valutazione: accuratezzaValutazione: accuratezza
Prima fonte di errore: traduzione dei
numeri decimali nel linguaggio binario
dei computer
•Aspetto tecnico (Numerical o computational
accuracy)
– Floating point arithmetic precisione
– Pseudo random number generators
– Maximum likelihood optzimation
algorithm
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
11. Valutazione: strumentiValutazione: strumenti
•Wilkinson test (1985)
•Computo di LRE (McCullough, 1998)
LRE= -log10[|e-c|/|c|]
(e: valore stimato; c: valore corretto)
• Valore prossimo a 15 denota accuratezza
•Random Number Generation, TESTU01,
(McCullough, 2006)
•Accuracy, routine in Splus e R (Altman and
McDonald, 2009)
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
12. Valutazioni tecniche suValutazioni tecniche su SofStatSofStat didi
naturanatura genericagenerica ee generalizzatigeneralizzati
Confronto di SofStat per:
Statistica univariata, Anova, regressione
lineare e non lineare
Misura adottata: LRE
1.Jmp, Stata, R 1.9.1,Minitab,Sas,Spss;☺☺
2.StatCrunch, Excel.
(Keeling and Pavur, 2007)
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
13. Valutazioni tecniche suValutazioni tecniche su SofStatSofStat didi
naturanatura specializzataspecializzata
Campionamento:
Brogan (1997) confrontò SAS e SUDAAN
Punti su cui i software generici non prestano
attenzione:
1. Selezione dei rispondenti con probabilità non
uguali
2. Clustering delle osservazioni
3. Stratificazione
4. Mancate risposte
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
14. Valutazioni tecniche suValutazioni tecniche su SofStatSofStat didi
naturanatura specializzataspecializzata
Social Network Analysis n.p.
Textual Network n.p.
Causal Modelling solo cfr di SofStat
ma nessun algoritmo di valutazione
implementato
Multilevel presente
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
15. TuttaviaTuttavia……
… data l’ampia diffusione dei SofStat
…. data la ridotta percentuale di statistici tra gli
utilizzatori
I SofStat sono usati in modo appropriato?
O invece assistiamo ad un
ABUSO STATISTICO DEI SOFSTAT
da parte di non statistici?
Necessità di una maggiore
alfabetizzazione statistica per gli utilizzatori
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
..ancora pensiamo ai gap nella fase di
FORMAZIONE dei FORMATORI
16. ABUSOABUSO deidei SOFSTATSOFSTAT
• UTILIZZATORI
– NATURA DEI DATI
– TECNICHE IMPIEGATE ALCUNE VOLTE
PRESENTATE IN MODO EQUIVOCO
• SVILUPPATORI
– IMPLEMENTAZIONE
– NON TUTTI I SOFTWARE CHE PRODUCONO
GRAFICI SONO KISS:
Keep It Simple but Scientific
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
17. PerchPerchèè svilupparesviluppare nuovinuovi
SOFSTAT?SOFSTAT?
• Risolvere un problema
• Capire bene il problema, Don Knuth : “…una persona non
capisce finché non insegna a qualcun altro; attualmente, una
persona non capisce finché non lo insegna al computer; ad
esempio, esprimi ciò con un algoritmo.”
• Ottenere crediti
• Diventare ricchi
(Altman and Jackman,2009)
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
18. MancataMancata sincronizzazionesincronizzazione
• Mondo commerciale non sempre
pronto a recepire le nuove
metodologie
• Non sempre gli algoritmi sono
accurati o precisi
• Esempi di case di software
illuminate come ad esempio
Splus,SAS, SPSS
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
19. UnaUna propostaproposta::
Raccogliere la sfida comunitaria per migliorare
attraverso i SOFSTAT la performance del
sistema universitario
IntroduzioneIntroduzione
I.I. TipologiaTipologia
II.II.ClassificazioneClassificazione
III.III.ValutazioneValutazione
IV.IV.NuoveNuove
progettualitprogettualitàà
20. Alcuni spunti……..
• Tutti i pacchetti “che fanno di conto “
sono SOFSTAT?
• Verifica dell’accuratezza numerica dei
restanti Sofstat
• Cautela nella diffusione selvaggia dei
Sofstat conclusioni a volte “bizzarre”
• Tutela dello statistico
• Formazione degli utilizzatori e dei
formatori
• R&S: Sviluppo di Softstat per essere
competitivi nella EU