Simona Turbanti 13 aprile 2016 Seminario di Cultura Digitale, Università di Pisa

1. La valutazione della ricerca: strumenti
e misure per un'università efficiente o
pura "ossessione della misura"?
Simona Turbanti
Università di Pisa, Sistema bibliotecario di ateneo –
PhD candidate La Sapienza Università di Roma
Università di Pisa, Seminario di cultura digitale
Mercoledì 13 aprile 2016

2. The evaluation society
Tutti i membri della società sono soggetto e oggetto
di valutazione durante le varie fasi della vita…
società e cultura della valutazione
(Peter Dahler-Larsen)

3. … E nella ricerca?

4. Alla base della valutazione
della ricerca
Coesistenza, in tutti i settori disciplinari, di ricerca di
livello elevato e ricerca di scarsa qualità
La distribuzione delle risorse, soprattutto in periodi di
scarsità dei fondi, deve premiare la ricerca migliore
basandosi su una seria valutazione della qualità della
ricerca necessità di criteri affidabili e quanto più
possibile imparziali
La valutazione della ricerca richiede indicatori oggettivi
individuati con il consenso delle comunità scientifiche

5. Lo scopo della valutazione
della ricerca
La valutazione della ricerca non è il fine del
processo valutativo, ma lo strumento per assicurare il
miglioramento della qualità della ricerca (e
contribuisca, di conseguenza, al benessere della
società)

6. Cosa viene valutato di un
prodotto della ricerca?
Qualità della ricerca: valore della ricerca, in termini di
originalità di contenuto e di “robustezza” metodologica
Strumento: peer review
Limiti: soggettività del giudizio dei pari
Impatto: valore attribuito dalla comunità dei pari mediante le
citazioni
Strumento: calcolo delle citazioni/bibliometria
Limiti: i lavori su argomenti molto specifici, pur di qualità,
soffrono di poca ricaduta in termini di impatto
Importanza: capacità di “penetrazione” della ricerca nel lungo
termine

7. Si tratta del riconoscimento che la ricerca è stata ben condotta
in riferimento ai canoni prevalenti in un certo periodo
all’interno della comunità dei pari di riferimento:
originalità
rilevanza
rigore metodologico
chiarezza nell’esposizione…
Questo concetto di qualità si presta ad essere valutato
soltanto dalla comunità scientifica di riferimento che conosce e
condivide i canoni di qualità medesimi
La qualità della ricerca
7

8. L’impatto della ricerca
Si intende il riconoscimento tributato in un dato intervallo
temporale ad un contributo scientifico dalla comunità dei pari
attraverso le citazioni
Un articolo molto citato è un articolo con un elevato
impatto nella comunità scientifica articolo molto
citato = articolo di qualità?
In realtà questa affermazione non è del tutto vera; si può
anche citare un contributo per prenderne le distanze, per
criticare il metodo utilizzato, per confutare i risultati ottenuti,
ecc. (esistenza di diversi stili, pesi e contesti citazionali)

9. L’importanza della ricerca
Si intende la capacità di influenzare nel lungo periodo le
ricerche condotte da altri e di aprire la strada a nuove vie per
lo sviluppo della scienza. Se le pubblicazioni che hanno
questa caratteristica sono certamente di “qualità”, non è
detto che siano anche “d’impatto”
L’importanza di un contributo può essere apprezzata e
valutata solo nel lungo periodo
Le “belle addormentate”: pubblicazioni che passano inosservate per un
lungo periodo di tempo (ovvero non vengono citate) e che improvvisamente
attraggono l’attenzione della comunità scientifica. La causa di questo
fenomeno si può ricondurre all’innovatività di certi lavori scientifici che,
precorrendo i tempi, non vengono recepiti (le scoperte di Mendel nel campo
della genetica vegetale ne sono un esempio: aspettarono circa vent’anni
prima di essere comprese dai pari)

10. Lo scienziato si impegna nel suo lavoro per raggiungere
la priorità della scoperta
Lo scienziato è spinto a rendere pubblici i risultati della
scoperta nel minor tempo possibile ed è tenuto a
dimostrare l’originalità del suo pensiero mostrando però
il contributo del lavoro di altri alla sua scoperta
attraverso la citazione
Tanto più un lavoro è citato dagli altri quanto più lo
scienziato incrementa la sua reputazione
La trasmissione della conoscenza

11. 1
Livelli della valutazione
Micro (singolo individuo)
Meso (dipartimenti, atenei)
Macro (sistemi nazionali)
2
Oggetti della valutazione
Qualità interna
Impatto scientifico
Importanza
Impatto sociale ed economico
3
Metodologie
Qualitativa (peer review)
Quantitativa (Indicatori bibliometrici, indicatori d’uso)
Misto (Informed peer review)
4
Grandi aree disciplinari
Scienze dure
Scienze sociali
Scienze umane
5
Finalità della valutazione
Ripartizione finanziamenti
Progressione di carriera
Abilitazione scientifica nazionale
Una panoramica

12. Come si valuta un
prodotto della ricerca?

13. Metodi di valutazione
Valutazione
qualitativa
Peer review: frutto di competenze specifiche,
processo lungo e costoso
Valutazione
quantitativa
Bibliometria
Informed
peer
review
Evoluzione del peer-review: ai valutatori vengono
fornite, ove disponibili, informazioni di natura
bibliometrica sui prodotti sottomessi a valutazione

14. Scopi della bibliometria
Tra le finalità principali della bibliometria:
misurare lo sviluppo – e la vitalità - di un settore
disciplinare
valutare l’impatto della ricerca di singoli o gruppi di
studiosi (non necessariamente la qualità)
individuare le riviste scientifiche fondamentali (core
journals) di un settore disciplinare
fornire un riscontro per l’analisi dello sviluppo e della
“coerenza” degli acquisti e delle collezioni delle
biblioteche la bibliometria non significa soltanto
valutazione della ricerca!

15. Nascita e sviluppo
della bibliometria
Fine del 1800 secolo: “statistical bibliography” (la statistica e
la teoria della probabilità erano utilizzate per guidare
acquisti delle biblioteche e misurare il progresso delle
discipline scientifiche)
1. legge della bibliometria - Legge di Lotka, 1926: in una
comunità scientifica un numero molto ristretto di scienziati è
responsabile della maggior parte dei lavori prodotti
1927: due chimici americani (i coniugi Gross), cercando di
individuare le riviste più importanti da possedere da parte di
una biblioteca universitaria prestigiosa, furono i primi a
mettere in collegamento la qualità delle riviste scientifiche
con il numero di citazioni da esse ricevute

16. 1934: il termine bibliometria appare per la prima volta
nell’opera del noto bibliografo belga Paul Otlet
2. legge della bibliometria – Legge di Bradford, 1934: in
uno specifico settore disciplinare un limitato numero di riviste
contiene il 90% della letteratura fondamentale
3. legge della bibliometria – Legge di Zipf, 1936: in ogni
testo scritto ci sono poche parole molto frequenti e molte
parole poco frequenti (parallelismo con le altre due leggi)
Le tre leggi, formulate da studiosi di ambiti diversi, indicano il
bisogno di misurare il progresso della conoscenza
Nascita e sviluppo
della bibliometria

17. Eugene Garfield e lo Science Citation Index, 1961:
creazione di un indice citazionale grazie all’indicizzazione
delle riviste scientifiche più rilevanti (non più di 1.000,
sulla base della legge di Bradford), di tutti gli articoli in
esse contenuti e di tutte le citazioni presenti negli articoli
Inizio della pubblicazione dello SCI, 1964, da parte
dell’Institute for Scientific Information (ISI), oggi Thomson
Reuters (nel 1973 il Social Sciences Citation Index, nel
1978 l’Arts & Humanities Citation Index, nel 1990 il
Conference Proceedings Citation Index e il Book Citation
Index)
Nascita e sviluppo
della bibliometria

18. Definizione di bibliometria come disciplina in un articolo di
Alan Pritchard apparso nel 1969 sul Journal of
Documentation (“l'applicazione della matematica e di
metodi statistici ai libri ed altri mezzi di comunicazione”)
Affermazione degli indicatori bibliometrici dalla fine degli
anni ’60, prima negli Stati Uniti e poi in Europa
Nascita e sviluppo
della bibliometria

19. Nascita della scientometria, grazie a De Solla Price,
1963: oggetto della disciplina è l’analisi del progresso
scientifico e tecnologico attraverso la misurazione
dell’apporto di scienziati e istituzioni all’avanzamento
della scienza
Crescita esponenziale della scienza; teoria probabilistica
generale dei vantaggi cumulativi (un documento citato più
volte ha più probabilità di essere citato nuovamente di
quelle che avrebbe un documento poco citato, una rivista
spesso consultata è più probabile che venga consultata di
nuovo rispetto ad uno che è stato poco usata)
Nascita della scientometria

20. L’affermarsi della bibliometria
Autonomia disciplinare della bibliometria, dagli anni ‘90:
nascita dei primi corsi universitari negli USA, pubblicazioni
di manuali di riferimento, organizzazione di conferenze,
nascita di varie riviste e di centri di ricerca specializzati
Nascita dei due grandi database citazionali: Web of
Science (WoS) della Thomson Reuters nel 1997 e Scopus
di Elsevier nel 2004
Nascita di Google Scholar, 2004

21. Alla base della bibliometria:
la citazione
Esistono stili e finalità citazionali diverse a seconda dei
settori disciplinari
Il graduale sviluppo dell’abitudine a citare, negli scritti, i
lavori propri o di altri studiosi ha condotto inevitabilmente
all’utilizzo dei citation data e, di conseguenza, a valutare un
lavoro in rapporto al numero di citazioni ottenute
Con l’aumento della mole della produzione scientifica la
citazione diviene “la moneta corrente nel commercio della
comunicazione scientifica ufficiale. Moneta di piccolo taglio
(costa poco citare), ma dal potere d'acquisto simbolico non
indifferente” (N. De Bellis, La citazione bibliografica
nell’epoca della sua riproducibilità tecnica)

22. Citazione e riferimento
bibliografico
Se il Documento 1 cita il Documento 2, nel Documento 1
si avrà un riferimento bibliografico al Documento 2,
mentre il Documento 2 sarà citato dal Documento 1
Il Documento 2 provoca un impatto sul Documento 1
DOCUMENTO
2
DOCUMENTO
1

23. Tipi di citazioni…
Le citazioni non sono tutte uguali e non hanno (o non
dovrebbero avere) un identico "peso"
La quantità di citazioni accumulabili da parte di un lavoro
scientifico dipende da vari fattori (area disciplinare, tipo di
lavoro, lingua di pubblicazione, addirittura la posizione
dell’articolo all’interno della rivista)
Effetto San Matteo: A chi ha, verrà dato, e sarà
nell’abbondanza: ma a chi non ha verrà tolto anche quello
che ha tendenza alla progressiva accumulazione di
risorse, finanziamenti, citazioni in un numero ridotto di
soggetti, progetti, lavori scientifici

24. Effetto San Matteo
"Il successo sembra generare successo. Un documento
che è stato citato più volte ha più probabilità di essere
citato nuovamente di quelle che avrebbe un documento
poco citato. Un autore di numerose pubblicazioni ha più
probabilità di pubblicare rispetto ad uno che è stato meno
prolifico. Un giornale che è stato spesso consultato per
qualche scopo è più probabile che venga consultato di
nuovo rispetto ad uno che è stato poco usato"
Derek J. De Solla Price (1976), A general theory of bibliometric and
other cumulative advantage processes, “Journal of the American
Society for Information Science”, 27, n. 5, p. 292-306

25. Asimmetria delle citazioni
La maggior parte dei prodotti (pubblicazioni, citazioni) si
concentra su una piccola porzione di fonti (autori, riviste)
Le citazioni hanno una natura fortemente "skewed",
asimmetrica: il 15% degli articoli pubblicati riceve il 50%
delle citazioni, e, di questi, la metà dei più citati ne riceve il
90%

26. L’accessibilità delle riviste
Il "successo" di citazioni di un lavoro scientifico dipende
anche dall’accessibilità e dal prestigio della rivista
ospitante "Open-access (OA) literature is digital,
online, free of charge, and free of most copyright and
licensing restrictions" (Peter Suber)

27. Open access e citazioni
Quale "impatto" ha l'accesso aperto sulle citazioni dei lavori
scientifici?
L’accesso più ampio favorisce la reperibilità dei lavori scientifici
(accessibility advance)
I tempi più rapidi di pubblicazione rendono più rapide anche le
eventuali citazioni dei lavori scientifiici (early access
advantage)
L’accesso aperto agevola la consultazione e i download dei
lavori scientifici (download - or usage - advantage)
Qua un elenco degli studi condotti sui vantaggi citazionali dell’OA

28. Tipi di citazioni (ancora)…
Le citazioni non sono tutte uguali neanche in relazione al
motivo per cui si cita: generalmente si cita per dimostrare di
aver preso in esame la letteratura scientifica esistente
sull’argomento che si sta trattando e per supportare le
proprie posizioni, ma l’intento può essere anche quello di
confutare uno studioso o un filone di studi, o ancora si può
voler rendere omaggio a uno studioso
Da uno studio condotto nel 1985 è emerso che la
persuasione è la molla principale che induce a citare lavori
di altri studiosi
Terrence A. Brooks (1985), Private acts and public objects: an
investigation of citer motivations, “Journal of the American Society for
Information Science”, 36, n. 4, p. 223-229

29. Tipi di citazioni (ancora)…
L’universo citazionale è dunque assai complesso e dipende
da vari fattori di cui è necessario tenere sempre conto:
• settore disciplinare;
• tema trattato;
• sede e lingua di pubblicazione;
• motivo della citazione;
• …

30. Indici citazionali
Si crea una rete di relazioni tra documenti citanti e citati ed
è necessario avere un indice citazionale che:
1.indicizza tutti i documenti citati nelle bibliografie di un
insieme di fonti (quasi sempre articoli di riviste
scientifiche)
e
2.permette di risalire, da un determinato documento o da
un dato autore, a tutti i documenti dell’insieme di fonti che
lo citano

31. Ricerca per citazione vs ricerca
per parole chiave e/o soggetti
Una ricerca effettuata in un database bibliografico con
keyword o subject è generalmente più mirata rispetto alla
ricerca mediante citazioni
Cercare in un indice citazionale è però molto utile per
trovare, a partire da un contributo su un argomento di
proprio interesse, lavori su temi simili più o meno recenti
La ricerca per citazioni è importante anche in caso di
argomenti molto specifici con scarsa copertura bibliografica

32. I grandi database citazionali: WoS
Web of science: il primo database citazionale, nato nel
1997 (dopo l’acquisto dell’ISI da parte della Thomson
Reuters); comprende Science Citation Index, Social
Sciences Citation Index, Arts & Humanities Citation Index,
Conference Proceedings Citation Index, Book Citation
Index
Oltre 17.000 titoli di riviste e 160.000 atti di convegni
Pregi: indicizzazione totale delle riviste; controllo di
qualità
Limiti: ancora scarsa presenza di riviste di scienze
umane e sociali; predominanza geografica e linguistica
(prevalenza di titoli dell’area nord americana); carenza di
strumenti/filtri di disambiguazione degli autori omonimi

33. Web of science (WoS)

34. I grandi database citazionali: Scopus
Scopus: sviluppato nel 2004 da Elsevier
Circa 34.500 titoli di periodici dei quali molti di ambito
europeo, 350 collezioni di monografie (e, a partire dal
2013, anche monografie singole), quasi 23.500 titoli di atti
di convegni
Pregi: maggiore presenza di fonti europe e incremento
nell’ambito delle scienze umane;
Limiti: ancora scarsa presenza di riviste di scienze
umane e sociali; indicizzazione non totale delle riviste e
delle citazioni; carenza di strumenti/filtri di
disambiguazione degli autori omonimi

35. Scopus

36. Indicatori bibliometrici più diffusi
A.Numero di citazioni: elemento base della bibliometria e
di tutti gli indicatori esistenti (indicatore primario)
B.Impact factor (IF): l’IF di una rivista in un anno è il
numero medio di citazioni ricevute per lavoro pubblicato
in una rivista nel corso dei due anni precedenti (indicatore
secondario)
C.H-index (o Indice di Hirsch): uno scienziato ha indice n
se ha pubblicato almeno n lavori, ciascuno dei quali è
stato citato almeno n volte (indicatore secondario)

37. Indicatori bibliometrici
(L. D’Antone, C. Faggiolani)
Valutazione ricerca & AltMetrics, 1.10.2015
Uso/scopo Contenitore/i Indicatore/i
Indicatori per
le riviste
• WoS
• Scopus
Impact Factor; Five Year IF;
Immediacy Index; Cited Half;
Life Total Cites; Citable Items
SCImago JR; SCImago Total Cites;
H-index rivista; SNIP
Indicatori per
le riviste e gli
articoli
Open access
Eigenfactor; Article Influence Score
Indicatori per
gli autori
WoS, Scopus,
Google Scholar
H-index e sue varianti

38. Calcolo dell’impact factor
IF 2014 della rivista Chemical physics = A/B
A = numero di citazioni ricevute nel 2014 da tutti i lavori
pubblicati su Chemical physics nel 2012 e 2013
B = numero totale dei lavori citabili pubblicati in Chemical
physics nel 2012 e 2013

39. Impact factor:
nascita, calcolo e critiche
Concepito in origine per aiutare le biblioteche nella selezione
delle riviste da acquistare e gli studiosi nella scelta delle
riviste migliori in cui pubblicare, è stato successivamente
usato per la valutazione della ricerca
Critiche mosse all’IF nella valutazione degli studiosi e dei
loro prodotti:
• facilità con cui i risultati possono essere falsati
(autocitazioni, citazioni “pilotate”, ecc.);
• agevolazione delle riviste con contenuti più generali (e più
citate) a scapito di quelle di nicchia;
• esclusione delle pubblicazioni monografiche

40. Altri indicatori
5 Year Impact Factor: consiste nell’IF applicato ad un
arco temporale più ampio, utile per settori scientifici dove
lo scambio delle novità della ricerca avviene in modo più
lento (per es., nel settore umanistico)
Cited Half-life: indica per quanto tempo i lavori pubblicati
su una rivista sono citati
Eigenfactor: indicatore accessibile gratuitamente in rete
grazie a un progetto non commerciale di un laboratorio
dell’Università di Washington; vengono considerati
l'importanza degli articoli citanti e le differenze di stile
citazionale nelle diverse discipline
SCImago Journal Rank Indicator e SNIP - Source
Normalized Impact per Paper: due indicatori sviluppati
per/in Scopus

41. H-index
Indicatore di performance individuale introdotto dal fisico
Jorge E. Hirsch nel 2005
Uno studioso che ha Indice H uguale a 10 significa che ha
scritto 10 articoli ciascuno dei quali è stato citato almeno
10 volte; gli eventuali altri contributi dello studioso sono
citati meno di 10 volte (o non citati affatto)
E’ calcolabile su entrambi i DB citazionali e su Google
Scholar

42. Un esempio…
Rank
dei
lavori
1 2 3 4 5 6 7
N.
citazio
ni
22 17 12 9 6 4 0
L’indice H è uguale al numero sequenziale
della pubblicazione che precede la
pubblicazione in cui il numero di citazioni
risulta inferiore al numero sequenziale della
stessa (H-index = 5)

43. H-index: limiti
Tra i limiti dell’H-index:
• forte penalizzazione degli studiosi più giovani e dei
settori disciplinari con basso uso delle citazioni;
• non tiene in considerazione le autocitazioni;
• non distingue i lavori in co-autoraggio dai lavori dei
singoli, per cui chi in un gruppo di ricerca ha contribuito
in minima parte riceve comunque lo stesso tipo di
vantaggio
Per ovviare tali limiti è stato introdotto l’indice H
contemporaneo e altre varianti dell’H-index

44. Il mondo di Google Scholar

45. Google Scholar
Google Scholar: motore di ricerca dedicato ai risultati della
produzione scientifica accessibile gratuitamente in rete,
lanciato quasi contemporaneamente a Scopus
Indicizzata una vasta letteratura scientifica online, in
costante crescita
Pregi: inclusione di materiale monografico, didattico e di
altro tipo; gratuità
Limiti: ignote la copertura e le fonti dell'analisi citazionale;
necessità di molte ore di lavoro per l’analisi e il filtro dei
risultati; carenza di strumenti/filtri di disambiguazione degli
autori omonimi

46. Lavorare con Google Scholar
Publish or Perish, sviluppato da Anne-Wil Harzing e
scaricabile gratuitamente dal web, è uno software utile per
la rilevazione e l’analisi dei dati provenienti da Google
Scholar
Google Scholar Citations permette la gestione del proprio
profilo con aggiornamenti – in automatico e a livello
manuale – dei dati relativi alle proprie pubblicazioni e
citazioni
… ma

47. Oltre alla bibliometria:
il metodo della valutazione dei pari
La valutazione dei pari – o peer review – consiste in un
processo di valutazione critica dei lavori di uno studioso
eseguita da specialisti del settore per verificarne l'idoneità
alla pubblicazione scientifica su riviste specializzate o, nel
caso di progetti, al finanziamento
Il peer review esiste sin dal 1600, ma dalla metà del
Novecento sono emersi alcuni limiti del sistema:
alto costo del processo
rischio di giudizi soggettivi o falsati

48. Impatto scientifico vs visibilità sociale
E’ assai difficile, in alcuni casi, distinguere tra la popolarità
di uno studioso e il suo impatto nella comunità scientifica
Wouters e Costas parlano di “technologies of control” (mezzi
con cui viene rilevato l’impatto scientifico nel processo di
valutazione della ricerca) e di “technologies of narcissism”
(strumenti, di solito gratuiti e facili da usare, per il rilevamento
dell’impatto degli studiosi a livello individuale e informale)
Gli strumenti di altmetrics - che non sono finalizzati a
misurare l’impatto - possono però rivelarsi utili nel settore
della ricerca

49. Oltre alla bibliometria:
le citazioni nel Web
La web metrics è un ramo della bibliometria che prende in
considerazione l’analisi dei web link intesi come il
corrispondente delle tradizionali citazioni e l’elaborazione di
metriche alternative basate sulle nuove forme comunicative
offerte dal Web 2.0 (web impact assessment, WIA)

50. … e nel Web 2.0
Con il termine alternative metrics o, più brevemente,
altmetrics, coniato nel 2010 da Jason Priem e altri studiosi,
ci si riferisce a una serie di metriche alternative basate sul
Web nella sua “dimensione sociale” da utilizzare in
aggiunta - e non in alternativa - ai più comuni e collaudati
indicatori bibliometrici

51. Strumenti per le metriche
del web• Alexa

52. • SimilarWeb
Strumenti per le metriche
del web

53. • Majestic
Strumenti per le metriche
del web

54. • Google Analytics
Strumenti per le metriche
del web

55. Altmetrics
• Fonti:
a. piattaforme di reference/citation management, con funzioni
di social media (CiteULike; Delicious; Endnote; Mendeley;
ReferenceManager; Zotero, ecc.)
b. reti sociali professionali (LinkedIn)
c. reti sociali multidisciplinari (Academia.edu; ResearchGate)
d. servizio di slide hosting (SlideShare)
e. reti sociali “generiche” (Facebook; Google plus; Twitter)

56. Piattaforme di reference/citation
management (con funzioni di
social media)
Si tratta di software per la gestione delle citazioni,
arricchiti per le interazioni tipiche del Web 2.0
Il loro scopo consiste nel fornire allo studioso un mezzo
rapido e preciso per la registrazione e l’utilizzo delle
citazioni bibliografiche grazie a un database in cui
immettere i riferimenti bibliografici completi e un sistema
per generare liste di articoli e bibliografie nei diversi stili
citazionali in uso
Bibsonomy; CiteULike; Delicious; Endnote; Mendeley;
ReferenceManager; Zotero

57. Reti sociali professionali
LinkedIn è una rete sociale avviata nel 2003 e gestita da
una società californiana; iscrizione gratuita con la
possibilità di ottenere funzionalità aggiuntive a pagamento
Il suo scopo è quello di stabilire contatti tra professionisti
operanti in settori diversi mediante una rete composta da
connessioni (connessioni dirette, o di primo grado;
connessioni di connessioni, di secondo grado; connessioni
delle connessioni di secondo grado, terzo grado)
LinkedIn conta oltre 300 milioni di membri in tutto il mondo
e può rivelarsi un mezzo utile nella fase di ricerca e offerta
di lavoro

58. Reti sociali multidisciplinari
Sono social network gratuiti specifici per il mondo
accademico che hanno lo scopo di agevolare la
condivisione del materiale prodotto dai ricercatori
Academia.edu è stata creata nel 2008 da Richard Price;
conta attualmente oltre 28 milioni di utenti attivi in molte
nazioni
Dopo aver effettuato una breve descrizione bibliografica è
possibile caricare materiale pubblicato, bozze non
pubblicate e “altro”. Il materiale altrui di proprio interesse
può essere salvato nei segnalibri e scaricato; con il
comando Analytics si accede a un rapporto dettagliato dei
movimenti cui è stato soggetto il proprio profilo

59. ResearchGate è una piattaforma lanciata nel 2008 dai due
fisici Ijad Madisch e Sören Hofmayer e dall’informatico
Horst Fickenscher
Conta più di 8 milioni di utenti di varie nazionalità,
soprattutto Europa e Nord America
Come nel caso della concorrente Academia.edu, è
possibile caricare il proprio materiale scientifico, seguire gli
aggiornamenti relativi al proprio profilo, discutere di temi di
ricerca e trovare collaborazioni
Reti sociali multidisciplinari

60. Servizio di slide hosting
SlideShare è stata lanciata nel 2006 e, nel 2012, rilevata
da LinkedIn
Numero di accessi, a livello internazionale, assai elevato e
copertura di molti ambiti disciplinari
È possibile caricare slide, documenti, infografica e webinar
nei formati PowerPoint, PDF, Keynote e OpenDocument; si
può scegliere di rendere il materiale pubblicamente
consultabile o meno e si possono giudicare, commentare e
condividere i contenuti all’interno di altri spazi web

61. Reti sociali generiche
Facebook, Twitter, Google plus: le tre reti social gratuite
più note in quanto diffuse a livello trasversale e non
dedicate a una particolare categoria di utenti (alle quali,
peraltro, se ne affiancano molte altre, come Youtube,
Instagram, Pinterest, Whatsapp, ecc.)

62. Altmetrics
• Software:
a. Altmetric
b. Impact story
c. PlumX
d. Bookmetrix

63. Software altmetrics
• Altmetric

64. Software altmetrics
• Impact story

65. Software altmetrics
• PlumX

66. Software altmetrics
• Bookmetrix

67. Vantaggi delle
metriche alternative
• Ampliamento dell’orizzonte di valutazione di un lavoro
scientifico
• Disponibilità immediata dei dati
• Possibilità di cogliere aspetti che non emergono durante
l’analisi citazionale e la revisione dei pari
ma…
• Difficoltà di individuare la provenienza della menzione nel
Web
• Aleatorietà
• Difficoltà di stabilire un nesso tra un riscontro positivo
(menzione) nel Web e la validità di un contributo

68. Metriche alternative:
quale uso?
Grande potenziale delle altmetrics se utilizzate in
modo complementare alle metriche tradizionali
… ma molta strada da fare affinché possano essere
impiegate in contesti e per fini istituzionali di
valutazione della ricerca!

69. Un manifesto contro
l’ “ossessione” della misura
Il Leiden Manifesto for research
metrics, comparso su Nature il 23
aprile scorso, sulla funzione della
bibliometria e, soprattutto, sui rischi
cui si va incontro con un uso non
ponderato delle misurazioni

70. I principi del Manifesto di Leiden
1. Quantitative evaluation should support qualitative,
expert assessment
2. Measure performance against the research missions of
the institution, group or researcher
3. Protect excellence in locally relevant research
4. Keep data collection and analytical processes open,
transparent and simple
5. Allow those evaluated to verify data and analysis

71. I principi del Manifesto di Leiden
6. Account for variation by field in publication and citation
practices
7. Base assessment of individual researchers on a
qualitative judgement of their portfolio
8. Avoid misplaced concreteness and false precision
9. Recognize the systemic effects of assessment and
indicators
10.Scrutinize indicators regularly and update them

72. IL VIDEO…

73. Per una bibliometria “consapevole”?
Gli strumenti da soli, pur raffinati, non bastano: un
indicatore perfetto (quand’anche esistesse) non è in grado
di garantire un giudizio equo
Come ci ricordano le “raccomandazioni” di Leiden, esistono
tante, troppe variabili in gioco, in primis il contesto in cui ci
si muove; solo dall’interazione tra una serie di fattori -
l’ambiente di partenza, le caratteristiche degli oggetti da
valutare, le finalità della valutazione stessa - potrà scaturire
un quadro completo su cui basare la formulazione di un
giudizio

74. La misura…
“Nothing that anyone had ever measured was still
or could ever be the same as before” (Daniel
Kehlmann, Measuring the world)

75. Grazie per l’attenzione!
sturbanti@gmail.com