Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Indicadors per a fomentar la participació en ciència oberta. Ismael Ràfols

678 views

Published on

Presentació d'Ismael Ràfols, investigador a INGENIO (CSIC-UPV) a les Jornades de Ciència Oberta organitzades pel Museu de Ciències Naturals de Barcelona, que van tenir lloc el 3 d'octubre de 2018.

Published in: Science
  • Be the first to comment

  • Be the first to like this

Indicadors per a fomentar la participació en ciència oberta. Ismael Ràfols

  1. 1. Indicadors per a fomentar la participació en ciència oberta Ismael Ràfols Ingenio (CSIC-UPV), Universitat Politècnica de València CWTS (Centre for Science and Technology Studies), University of Leiden, NL SPRU (Science Policy Research Unit), University of Sussex, UK Jornada sobre Ciència Oberta Museu de les Ciències Naturals Barcelona, Octubre 2018
  2. 2. Resum 1. Per què són els indicadors/avaluació importants en ciència oberta?  Els incentius són una barrera per a les pràctiques de ciència oberta.  Sistema de revisió per experts i jerarquia de revistes, tancat en la torre d‘ivori. 2. Expectatives de nous indicadors per a l‘avaluació?  Twitter, cites a documents polítics, % accés obert, % dades oberts???  Les promeses dels nous indicadors no donen lloc a una avaluació robusta – Comptar outputs (blogs, cafè científics, articles premsa) no reflecteix les qualitatSS – La recerca és diversa, no pot ser coberta en uns pocs indicadors – Substitució d‘objectius per indicadors, reducció de tasques i efectius indesitjables 3. Marcs d‘indicadors: cap a una avaluació plural i condicional  Avaluació hauria de deprendre de – missió, objectius avaluació, pràctiques, agents implicats i els contextos de recerca  Cal fer avaluació per a cada configuració (marc) – Genòmica de plantes per a la recerca bàsica internacional – Agronomia aplicada a un context local específic
  3. 3. Valors clàssics i ciència oberta (sota vents autoritaris?) Robert K. Merton L’estructura normativa de la ciència El 1942, Robert Merton escrigué sobre els valors als que aspira la ciència • Communalisme (coneixement compartit) • Universalisme (tothom hi pot participar) • Sense interès personal (bé public) • Escepticisme organitzat (transparència) ...valors clau darrera de Ciència Oberta La motivació del seu articles va néixer per l’ús de la ciència en règims autoritaris (1930s-40s): La seva resposta: La millor ciència floreix en societats pluralistes i democràtiques • Vents autoritaris • Suppressió de drets i llibertats a migrants i minories culturals i socials • Ordre burocràtics vs. bé public
  4. 4. 1. INDICADORS I AVALUACIÓ
  5. 5. Què és avaluació? Sinònims: valoració, apreciació, consideració, qualificació • Definició: comprovar o fixar el valor d’un objecte d’acord amb certs criteris especificats. • Avaluación professional és la ‘determinació sistemàtica de la qualitat o valor d’alguna cosa (Scriven, Evaluation thesaurus, 4th edition, 1991) Objectius de l’avaluació: • Auditoria / Retiment de comptes • Distribució de recursos (e.g. beques, projectes, centres) • Ànalisi i aprenentatge (per a millorar) ... segons la missió de la recerca: • Coneixement acadèmic • Formació • Contribució Social Indicadors bibliomètrics (JIF, cites) -- útils per a funcions d’auditoria en algunes ciències naturals. Problemàtics per altres funcions (formació, contribució social). Útil per a mànagers però perjudicial per al sistema.
  6. 6. Problema: focus en indicadors bibliomètrics afavoreixen la recerca de la torre d’ivori - Cal contextualitzar - Els indicadors serveixen per a ajudar a reflexionar no per a decidir Hicks et al. (2015) San Francisco Declaration of Research Assessment (DORA) 2013 No utilitzeu el factors d’impacte de revistes!! The Metric Tide HEFCE Report • Robustesa • Humilitat • Transparència • Diversitat • Reflexivitat Wilsdon et al. (2015)
  7. 7. Principis del Manifest de Leiden sobre indicadors 1. L’avaluació quantitativa ha de donar suport a la valoració qualitativa per experts 2. El rendiment ha de ser mesurat d’acord amb les missions de recerca de la institució, grup o investigador 3. L’excel·lència en investigació de rellevància local ha de ser protegida 4. Els processos de recopilació i anàlisi de dades han de ser oberts, transparents i simples 5. Les dades i les anàlisis han d’estar obertes a la verificació per part dels avaluats 6. Les diferències en les pràctiques de publicació i citació entre camps científics s’han de tenir en compte 7. L’avaluació individual d’investigadors s’ha de basar en la valoració qualitativa del seu dossier d’investigació 8. S’ha d’evitar la concreció improcedent i la falsa precisió 9. Cal reconèixer els efectes sistèmics de l’avaluació i els indicadors 10. Els indicadors s’han d’examinar i actualitzar periòdicament Hicks, Wouters, Waltman, de Rijcke and Rafols (Nature, 2015)
  8. 8. Un procés d’avaluació de la recerca Quin són els objectius de la recerca? Quin són els criteris per assolir els objectius en el context específic? Quins indicadors representen els criteris? Adam et al. 2018
  9. 9. 2. INDICADORS I CIÈNCIA OBERTA
  10. 10. Indicadors per a promoure la ciència oberta EC Expert Group on Indicators for fostering engagement with OS. (P. Wouters (chair), B. Holbrook, M. Jacob, Lynn Kamerlin, A. Oancea, I. Ràfols) Nous mètodes d‘avaluació i indicadors per a: • identificar and eliminar barreres per a la ciència oberta; (IF) • promoure la capacitació i infrastructura en ciència oberta; • reformar el sistema d’incentius per a fomentar la ciència oberta. Quins indicadors?
  11. 11. Indicadors per a promoure la ciència oberta Què és la ciència oberta? • ‘nova aproximació al procés científic basada en la feina cooperativa i noves maneres de difondre el coneixement utilitzant tecnologies digitals i noves eines col·laboratives. La idea captura un canvi sistèmic cap a un ús compartit de tot el coneixement en estadis anteriors del procés de recerca.’ (p. 33) Gran diversitat de pràctiques cap a la ciència oberta: • Accés obert i dades obertes • Open source en software • Communicació amb media, i social media • Ciència ciutadana (e.g. crowd-sourcing) • Co-creació amb actors socials --e.g. en salut i agricultura • Participació en avaluació i agendes de recerca
  12. 12. Exemple: Com la compartició de dades depèn del context Wolfram Horstmann (RDA Long tail group) emfasitza la diversitat de dades • Standardizació vs. ‘diversitat de dades’ “Estandards per a dades de recerca tenen l’objectiu de fer les dades uniformes i homogènies. Però la diversitat de dades requereixen multiplicitat i heterogeneïtat. Per tant, podríem dir que estàndards i diversitat de dades estan en conflicte i s’exclouen l’un a l’altre.” Propietats de les dades: Tamany, format, estructura, compexitat, protocol, disciplina, mètode Lloc: Les dades són creades en lloc específics, en un espai físic particular, i a partir d’instruments específics, i guardades en llocs particulars. Ús: Aplicacions diferents de dades demanen contextos human i tecnològics diferents amb condicions diferents d’accés i participació.
  13. 13. Context de recerca: rànkings d’universitats per accés obert Siler et al. (2018) -- estudi de pubs AO en salut global: -- “...els autors que treballen a universitats de baix rànking tenen més probabilitat de publicar en revistes de pagament, i menys probabilitat d’escollir revistes que tinguin Article Processing Charge (APCs).” -- “.. .autors que treballen a universitat d’alt rànking i institucions ben finançades tendeixen a (...) escollir publicacions OA de pagament.” -- Rànking basats en indicadors d’accés obert són anàlegs a jerarquies científiques en publicacions tradicionals. -- Suggereix: • Indicators of AO reflecteixen recursos a disposició • Poden reprodueir o accentuar desigualtats en la visibilitat -- Fenomen possible en altres àmbits de ciència oberta
  14. 14. 3. CAP A MARCS D’INDICADORS
  15. 15. Cap a evaluacions basades en ‘marcs d’indicadors’ Dimensions a considerar en una avaluació • Objectiu de l’evaluació • Missió de la recerca • Camp científic i mètodes de recerca • Possibles co-creadors, agents participants i beneficiaris • Contextos de recerca • Recursos humans i tècnics (infrastructures, personal, capacitació en ciència oberta) Donada una determinada configuració de dimensions -- certs indicadors específics seran relevants i altres NO Atenció: • NO hi pot haver indicador UNIVERSALS de ciència oberta • Indicadors conventionals poden NO ser relevants en moltes situacions
  16. 16. Exemple: els canals de comunicació depenen del context Els temes i els llocs específic són importants Pràctiques estàndard practices d’indicadors convencionals de ciència oberta poden no ser ideals. • Recerca en ‘maracujà’ (passiflora o passion fruit) (Chavarro et al. 2017) • Revista professional de pagament de pràctiques agronòmiques • publicacions domèstiques professionals en portuguès i castellà • Revista prestigiosa internacional d’accés obert (Gold) • anglès inaccessible, llenguatge massa abstracte, publicació lenta (plagues!) • Recerca sobre immigració • Ciències polítiques - distinció entre discurs acadèmic i divulgació és ambígua • Diari de pagament (paywall) més accessible que una revista OA.
  17. 17. 4. RESUM
  18. 18. Resum 1. Expectatives de nous indicadors per a l‘avaluació?  Twitter, cites a documents polítics, % accés obert, % dades oberts???  Les promeses dels nous indicadors NO donen lloc a una avaluació robusta – Comptar outputs (blogs, cafè científics, articles premsa) no reflecteix les qualitatSS – La recerca és diversa, no pot ser coberta en uns pocs indicadors 2. Marcs d‘indicadors: cap a una avaluació plural i condicional  Avaluació depèn de – missió, objectius avaluació, pràctiques, agents implicats i els contextos de recerca  Cal fer avaluació per a cada configuració (marc) – Genòmica de plantes per a la recerca bàsica internacional – Agronomia aplicada a un context local específic

×