Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Indicatori bibliometrici e valutazione della ricerca: uso e abuso

669 views

Published on

Slides della conferenza tenuta a Sassari il 27 settembre 2010

Published in: Education
  • Be the first to comment

  • Be the first to like this

Indicatori bibliometrici e valutazione della ricerca: uso e abuso

  1. 1. Indicatori bibliometrici e valutazione della ricerca: uso e abuso Alberto Baccini (Unisi) Sassari, 27 settembre 2010
  2. 2. Alberto Baccini, Valutare la ricerca scientifica
  3. 3. Alberto Baccini, Valutare la ricerca scientifica La repubblica autonoma della scienza e le esigenze dei governi  I meccanismi autonomi di riconoscimento della qualità della ricerca: priorità, eponimia, citazioni, premi etc.  Il lungo periodo della scienza vs. le esigenze di breve periodo della “società della conoscenza”  I meccanismi di valutazione della ricerca: distinguere tra valutazione e uso della valutazione per le decisioni di politica della ricerca
  4. 4. Alberto Baccini, Valutare la ricerca scientifica La valutazione dei pari (peer review)  La valutazione condotta dai pari è il peggiore dei modi per giudicare la qualità della ricerca; il fatto è che non ce ne sono di migliori  La contrapposizione tra “revisione diretta dei pari” e “uso degli indicatori bibliometrici” è fuorviante  Entrambe le forme di valutazione sono basate sul giudizio di qualità espresso dai pari (in forma diretta o indiretta)  La valutazione basata su indicatori bibliometrici è meno costosa, ma richiede conoscenze tecniche specifiche
  5. 5. Alberto Baccini, Valutare la ricerca scientifica Qualità, importanza, impatto  Per qualità di un contributo scientifico si intende il riconoscimento che la ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità, rilevanza, rigore metodologico…) in un certo momento del tempo.  Un articolo pubblicato su una rivista che usa la peer review è di qualità  Indicatori bibliometrici di produzione di qualità  Per impatto si intende il riconoscimento tributato ad contributo scientifico dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale.  Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica  Indicatori bibliometrici citazionali  Per importanza di un contributo scientifico si intende la capacità di un contributo scientifico di influenzare nel lungo periodo le ricerche condotte da altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la strada a nuove vie per lo sviluppo della scienza  Ricerca dimenticata e belle addormentate
  6. 6. Alberto Baccini, Valutare la ricerca scientifica Ma gli archivi bibliografici e citazionali contengono tutte le informazioni rilevanti?  ISI, Scopus, Google Scholar  Archivi disciplinari (EconLit, PubMed …)  Non esistono discipline cui per la loro natura speciale non possano essere applicati indicatori bibliometrici  Per alcune discipline al momento attuale gli indicatori bibliometrici sono scarsamente affidabili
  7. 7. Alberto Baccini, Valutare la ricerca scientifica Copertura dei database bibliografici
  8. 8. Alberto Baccini, Valutare la ricerca scientifica Misure della produzione scientifica
  9. 9. Alberto Baccini, Valutare la ricerca scientifica Adeguatezza del grado di copertura
  10. 10. Alberto Baccini, Valutare la ricerca scientifica Le citazioni visibili
  11. 11. Alberto Baccini, Valutare la ricerca scientifica Le citazioni visibili nelle varie discipline
  12. 12. Alberto Baccini, Valutare la ricerca scientifica Guida per il buon uso degli indicatori 1. Per approssimare la multidimensionalità del giudizio del revisore, è consigliabile l’uso di “pacchetti di indicatori” (es. n ; c) 2. Le misure bibliometriche vanno sempre lette e interpretate in riferimento a misure strutturali di controllo (es. IF) 3. Scegliere accuratamente gli indicatori in relazione all’oggetto della valutazione (citazioni vs. IF)
  13. 13. Alberto Baccini, Valutare la ricerca scientifica Livelli di aggregazione della valutazione  Al crescere del livello di aggregazione, aumenta l’affidabilità dell’indicatore  Livelli di aggregazione: 1. la produzione scientifica di un ricercatore; 2. gli articoli pubblicati in una rivista o i libri pubblicati da un editore; 3. la produzione scientifica di un gruppo di ricerca (dipartimento, facoltà etc.); 4. la produzione scientifica di un intera area disciplinare, campo di ricerca o disciplina (CIVR); 5. la produzione scientifica di una regione o di una nazione.
  14. 14. Alberto Baccini, Valutare la ricerca scientifica Indici di specializzazione
  15. 15. Alberto Baccini, Valutare la ricerca scientifica Regola 1  Definire chiaramente scopo ed obiettivi della valutazione, e individuare le misure bibliometriche di produzione ed impatto più adatte per raggiungerli  Evitare l’abuso dell’IF come unica misura per qualsiasi tipo di valutazione
  16. 16. Alberto Baccini, Valutare la ricerca scientifica Contare le citazioni esempio di conteggio delle citazioni per prodotto di ricerca sul database ISI.
  17. 17. Alberto Baccini, Valutare la ricerca scientifica Misurare la produzione scientifica 2
  18. 18. Alberto Baccini, Valutare la ricerca scientifica Regola 2  Dopo aver scelto gli indicatori di performance o citazionali, definire le misure strutturali di controllo  Evita l’abuso di presentare misure bibliometriche in valore assoluto e senza valori comparativi
  19. 19. Alberto Baccini, Valutare la ricerca scientifica Impact Factor (di una rivista) http://www.topitalianscientists.org/top_italian_ scientists.aspx
  20. 20. Alberto Baccini, Valutare la ricerca scientifica Regola 3  Quando la risoluzione è molto elevata (singolo ricercatore, singolo prodotto di ricerca) valutare se affiancare all’uso degli indicatori, la revisione diretta dei pari  Evita il frequente abuso di sommare gli IF per valutare un ricercatore
  21. 21. Alberto Baccini, Valutare la ricerca scientifica H-index
  22. 22. Alberto Baccini, Valutare la ricerca scientifica Scienziati selettivi
  23. 23. Alberto Baccini, Valutare la ricerca scientifica Regola 4  Nel caso di valutazioni che riguardano grandi aggregati, la revisione diretta dei pari è da preferirsi solo se si ritiene che potersi avvalere di informazioni ex post migliori la qualità della valutazione  Il VQR e le discipline umanistiche  Il VTR e le discipline al riparo dalla “scienza internazionale”
  24. 24. Alberto Baccini, Valutare la ricerca scientifica Regola 5  Ricordare che gli indicatori tendono a scartare i diamanti rosa  La revisione dei pari controllare due tipi di rischio  Errore di Tipo 1. Consiste nel sostenere che un lavoro non è di qualità quando invece lo è (falso negativo)  Errore di Tipo 2. Consiste nel sostenere che un lavoro è di qualità quando invece non lo è (falso positivo)  La revisione dei pari tende a minimizzare gli errori di Tipo 2, e quindi a scartare i diamanti rosa  Misure a favore del pluralismo nella ricerca

×