Recommended
Recommended
More Related Content
Similar to Altmetrics, una reale alternativa per la valutazione della ricerca?
Similar to Altmetrics, una reale alternativa per la valutazione della ricerca? (20)
Altmetrics, una reale alternativa per la valutazione della ricerca?
- 1. Altmetrics, una reale alternativa per la valutazione della ricerca? ANNARITA BARBARO, DONATELLA GENTILI SEMINARI IN BIBLIOTECA – 10 GIUGNO 2015
- 2. Valutazione della produzione scientifica: Qualitativa (peer review): valutazione della qualità di un articolo, fatta da specialisti del settore per verificarne l'eventuale idoneità alla pubblicazione su riviste specializzate Quantitativa (bibliometria): analisi quantitativa delle citazioni bibliografiche, indicazione dell’ impatto di un articolo all’interno della comunità scientifica di riferimento
- 3. Impact Factor rivista Ideato da Eugene Garfield negli anni ‘50 per individuare i «core journals» che devono essere presenti in una biblioteca Si ottiene dividendo il numero delle citazioni ricevute in un determinato anno dagli articoli pubblicati dalla rivista nei due anni precedenti, per il numero totale degli articoli pubblicati nello stesso periodo di tempo e sulla stessa rivista. Impact Factor normalizzato (Ministero della Salute). Si basa sulla suddivisione in quartili per risolvere il problema della disomogeneità del peso dell’IF tra le varie discipline. Nasce per fini diversi Valuta il «contenitore» e non il «contenuto» Viene applicato senza tener conto del contesto disciplinare di riferimento (discipline a cui occorrono più anni per essere citate) Viene calcolato su un arco temporale di due anni Gaming (autocitazioni, editori) Indice proprietario: calcola solo le citazioni ricevute da articoli pubblicati su riviste indicizzate in WoS
- 4. H – Index autore 2005 J.E. Hirsch Valuta l’impatto del lavoro del singolo ricercatore basandosi sul numero delle sue pubblicazioni e delle citazioni ricevute Uno scienziato è di indice n se ha pubblicato almeno n lavori, ciascuno dei quali è stato citato almeno n volte Diverse piattaforme per il calcolo: WoS, Google scholar, Publish or perish, Scopus… penalizza i ricercatori più giovani Comportamento citazionale: abuso di autocitazione (moltiplicato nel caso di lavori con più autori) Il risultato varia a seconda della piattaforma utilizzata per il calcolo (anni di pubblicazione o di sottoscrizione, numero di riviste indicizzate, tipologie documenti indicizzati/criteri di spoglio)
- 5. Web (e-publishing) articolo Analisi dell’impatto della comunicazione scientifica sul Web attraverso l’analisi dei link (citazioni), delle visualizzazioni e dei download dei singoli articoli (dati relativi all’uso) Metriche a livello di articolo: dati relativi all’uso + «online attention» • Article Level Metrics (ALM) – PLoS 2009 • Altmetrics - 2010
- 7. Article Level Metrics (PLoS)
- 8. Altmetrics: Manifesto 2010: necessità di creare e utilizzare altri parametri quantitativi di valutazione che tengano conto delle nuove modalità di trasmissione e di circolazione del sapere rese possibili da internet Catturano attenzione da parte del grande pubblico e comunità scientifica sul web per tutti i prodotti della ricerca scientifica Sono immediate Sono metriche complementari alle metriche citazionali
- 10. • Vengono valutati diversi output: articoli, libri, dataset, video, presentazioni, conference proceedings, slides…dotati di un identificatore univoco (es: DOI) • Raccolta dati da molteplici fonti: database bibliografici, social network, social bookmarking tools, blog, research data repositories, RMS e altri per una visione più completa dell’attenzione ricevuta online
- 11. Strumenti Altmetric.com (2011) ImpactStory (2012) PlumX (2012) Utenza Prodotti tracciati Fonti
- 12. Altmetric.com Articoli, dataset dal 2011(libri dal 2015 in via sperimentale con Springer) muniti di identificatore univoco Si rivolge a editori ed istituzioni per i quali può rappresentare un valore aggiunto da offrire ai ricercatori Quality of attention Free bookmarklet
- 14. ImpactStory Articoli, blog post, dataset, slide, software e poster Si rivolge a ricercatori (c.v.) Distingue tra attenzione da parte del grande pubblico e comunità scientifica Divide l’impatto in 5 categorie
- 16. PlumX Articoli, libri e capitoli di libri, audio, video, blog post, dataset, conference proceedings, tesi, brevetti … Si rivolge sia a istituzioni che a ricercatori Divide l’impatto in cinque categorie
- 18. Pro e contro Indicano in tempo reale l’impatto di tutti gli output della ricerca Copertura di molteplici prodotti della ricerca Tracciano l’impatto sulla comunità scientifica e oltre Mancanza di standardizzazione Variano i risultati a seconda degli strumenti utilizzati Gaming Comportamenti differenti a seconda delle discipline sui social network indipendentemente dal valore della ricerca Piattaforme possono variare
- 21. NISO: verso una standardizzazione/best practice Progetto di due anni, iniziato a giugno 2013, per esplorare, identificare e proporre standard e/o prassi relative alle metriche alternative 1 Fase investigativa per individuare le criticità da analizzare in funzione della successiva fase di elaborazione degli standard 2 Fase (in corso): creazione di gruppi di lavoro su specifiche tematiche come l’individuazione di specifiche metodologie di calcolo adatte a ogni tipo di prodotto della ricerca (software, poster, presentazioni, blog, ecc.).
- 22. Azioni politiche 2012 San Francisco Declaration on Research Assessment (DORA) Necessita di eliminare l’uso dell’I.F. come criterio per la valutazione ai fini dell’assegnazione di fondi, promozioni… Necessità di valutare la ricerca per il proprio valore e non in base alla rivista su cui è pubblicata Sfruttare al meglio le possibilità offerte dal web tra cui l’uso dei nuovi indicatori (altmetrics) Firmatari: 12377 individual e 573 organizations 2015 Leiden Manifesto (Nature, 23 aprile 2015) La valutazione quantitativa deve supportare il giudizio qualitativo Salvaguardare l’eccellenza nella specifica ricerca locale Tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione
- 23. Una reale alternativa? Alcuni enti finanziatori stanno cominciando ad esaminare l’eventuale utilizzo delle metriche alternative nella valutazione a complemento delle metriche citazionali. Un primo passo è quello di allargare la valutazione ad altri prodotti della ricerca, senza limitarsi alle sole pubblicazioni U.S. National Science Foundation policy «Acceptable products must be citable and accessible including but not limited to publications, data sets, software, patents, and copyrights» (Piwowar, Nature, Jan. 2013) Medical Reseach Council, London «research products» Wellcome Trust ANVUR (Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca): 2015 concorso pubblico di idee di ricerca sui metodi di valutazione della ricerca volto all’analisi degli indicatori di impatto della ricerca alternativi alle citazioni
Editor's Notes
- La valutazione qualitativa è una componente fondamentale nel processo di valutazione e la valutazione quantitativa attraverso l’uso dei diversi indicatori bibliometrici, se usati correttamente, può offrire informazioni a complemento del processo di valutazione
- Il più noto, il più discusso L’IF di una rivista indica il numero medio delle citazioni ricevute da un articolo pubblicato nei due anni precedenti
- Sebbene sviluppato da poco è diventato rapidamente uno degli indicatori più noti e più utilizzati ai fini della valutazione proprio perché sposta l’attenzione dalla rivista al lavoro del singolo autore
- Visione più completa dell’impatto di un articolo
- 2009 da PLoS è il primo che mette insieme i dati relativi all’uso ricavate da: statistiche d'uso dei documenti (numero di visite alle pagine HTML, numero di download dei documenti in formato PDF e XML) numero di citazioni bibliografiche calcolato dagli indici PubMed Central, Scopus, Web of Science e CrossRe con i dati relativi all’attenzione che il documento ha ricevuto online: informazioni provenienti dai social network CiteULike, Connotea, Twitter, Facebook e Mendeley Blog Posts note e commenti (il lettore può partecipare alla valutazione dell'articolo attraverso l'aggiunta di note e commenti, e l'assegnazione di un punteggio da 1 a 5 a ogni singolo articol ESEMPIO ONLINE
- L’uso di queste metriche istituzionalizzato con il Manifesto Misurano un’altra faccia dell’impatto:
- Rispetto alla ALM la novità introdotta è l’interesse per tutti i prodotti della ricerca Ognuno di questi indica un tipo di attenzione. Salvare un articolo su Mendely ad esempio implica un interesse maggiore rispetto ai dati di visualizzazione
- - Differenze su come sono organizzati i dati e a chi sono rivolti: PlumX raccoglie solo i dati mentre ImpactStory fa una distinzione tra General public e Academic/Scholarly. Prendono in considerazione diversi tipi di pubblico e che le attività accademiche non solo hanno un impatto all'interno della comunità di ricerca attiva, ma anche all'interno di un grande pubblico - Si riferiscono a differenti tipi di output della ricerca: non solo i formati di pubblicazione classici come articoli di riviste o libri possono essere misurati, ma anche altri prodotti, come i post dei blog, materiale didattico o software. Raccolgono e combinano vari parametri per un singolo articolo (o per altri tipi di pubblicazioni accademiche, come libri e atti di conferenze) in quanto tali metriche possono essere raccolte da varie fonti. Editori cominciano a sperimentare queste metriche OA ne beneficia particolarmente
- Lo scopo di Altmetric.com è quello di aggregare tutte le metriche a livello di articolo che si riferiscono ad una data pubblicazione. Esso controlla quindi tweets, Facebook e post di blog, bookmarks, notizie e altre fonti tramite gli identificatori digitali oggetto (DOI) o altri identificatori standard che si riferiscono alle pubblicazioni e dati di ricerca, come ad esempio PubMedID. Da queste menzioni, viene calcolato per ogni pubblicazione un "punteggio altmetrics". QUALITY of ATTENTION Punteggio! Non valutano la qualità ma cercano di dare un significato/valore ai dati ricavati, li analizzano ed attribuiscono un punteggio diverso a seconda di .. Altmetric MEDIA PONDERATA Il punteggio altmetric è una media ponderata calcolata in base ad un algoritmo che prende in considerazione 3 fattori: 1. Quante volte un dato documento è stato menzionato 2. Dove è stato menzionato (high-profile news stories, re-tweets, or perhaps a Wikipedia reference?) 3. Chi lo ha menzionato (was it the journal publisher, or an influential academic?)
- Siccome piattaforme di social media come Twitter e Mendeley includono informazioni sui propri utenti, alcune di queste informazioni possono essere utilizzate per raccogliere informazioni riguardo il pubblico delle pubblicazioni scientifiche. Si può vedere, per esempio, dove si trova la maggior parte delle persone che twittano su una pubblicazione accademica in diretta (basati sulla localizzazione degli utenti di Twitter citano nel loro profilo) o se le persone che hanno aggiunto una pubblicazione specifica sono studenti o ricercatori di alto livello (in base ai loro profili Mendeley).
- Applicazione web che si rivolge ai RICERCATORI aiutandoli a raccogliere, analizzare e condividere l’attenzione relativa ai propri lavori scientifici creando un PROFILO personale che può anche essere incluso in un curriculum. Prende in considerazione diversi modi in cui la ricerca può essere diffusa, non solo tramite articoli o dataset, ma anche blog post, slide, software e poster. Sempre tramite indicatori. Suddivide le metriche in 5 macro categorie a seconda: del tipo di attenzione che il lavoro ha ricevuto: è stato raccomandato, citato, salvato, discusso o semplicemente visto (letto, scaricato sul PC) di chi ha prestato questo tipo di attenzione, studiosi o il pubblico, ad esempio, se si parla di un lavoro che è stato salvato si fa distinzione tra servizi di social bookmarking come CiteULike o Mendeley che sono indirizzati all’ambiente scientifico/accademico e Delicious che è usato da un pubblico molto più eterogeneo e meno specializzato. Chi lavora a questo strumento ha anche deciso che chi vede il PDF è un ricercatore e chi vede l’HTML fa parte di un pubblico non specializzato ??? CONTESTUALIZZA tramite
- Raccoglie dati che si riferiscono a quasi tutte le forme di produzione scientifica che si possono trovare sul web. Dai … ai … (33). Come IS suddivide le metriche in 5 macro categorie a seconda del tipo di attenzione che il lavoro ha ricevuto ma fa solo un lavoro quantitativo. Raccoglie numeri ma non li analizza in nessun modo.
- Interessante Usage riferito a tutta l’università
- La National Information Standards Organization (NISO), associazione non-profit che sviluppa standard per la gestione dell’informazione in ambiente digitale
- Problema IF Output della ricerca The San Francisco Declaration on Research Assessment (DORA), initiated by the American Society for Cell Biology (ASCB) together with a group of editors and publishers of scholarly journals, recognizes the need to improve the ways in which the outputs of scientific research are evaluated. Set di raccomandazioni per I diversi attori della ricerca scientifica (dagli editori, funding, ricercatori) A number of themes run through these recommendations: - the need to eliminate the use of journal-based metrics, such as Journal Impact Factors, in funding, appointment, and promotion considerations; - the need to assess research on its own merits rather than on the basis of the journal in which the research is published; and - the need to capitalize on the opportunities provided by online publication (such as relaxing unnecessary limits on the number of words, figures, and references in articles, and exploring new indicators of significance and impact).
- The Wellcome Trust—among other research funders—is exploring the potential value of ALMs/altmetrics to support organisational learning and funding strategy. The new metrics also hold much potential to inform the Trust and other funders about the wider impact of the work they support which can sometimes be invisible to conventional citation metrics. This could be especially helpful for early-career researchers who have not yet had the chance to accrue a large number of traditional citations, researchers who work in fields with little citation culture, or researchers whose specialist roles are rarely recognised in the authorship of academic papers. Altmetrics may also be useful as a discovery tool for researchers who wish to know what is being discussed and read about most in their field.