Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Altmétricas aplicadas a nivel institucional

1,312 views

Published on

Presentación impartida en la II Reunión de servicios de evaluación científica en los vicerrectorados de investigación celebrado el 31 de enero en la Universidad de Córdoba

Published in: Education

Altmétricas aplicadas a nivel institucional

  1. 1. ALTMÉTRICAS APLICADAS A NIVEL INSTITUCIONAL
  2. 2. Altmétricas aplicadas a nivel institucional Nicolás Robinson-Garcia – elrobinster@gmail.com Daniel Torres-Salinas – torressalinas@gmail.com Evento: II Reunión de servicios de evaluación científica en los vicerrectorados de investigación Fecha de celebración: 31 de enero al 1 de febrero de 2019 Organiza: Vicerrectorado de Investigación y Desarrollo Territorial de la Universidad de Córdoba
  3. 3. Las promesas de las altmétricas 1. Diversidad Indicadores y resultados 2. Rapidez Impacto inmediato 3. Apertura de métodos Indicadores y resultados 4. Más allá del impacto científico Impacto social Wouters & Costas, 2012 Escher, 1935
  4. 4. LIMITACIONES CONCEPTUALES 1. Problema de atribución 2. Aproximación pasiva LIMITACIONES TÉCNICAS 1. Disparidad 2. Manipulación 3. Volatilidad
  5. 5. ¿Es el final de las altmétricas? the potential of social media data for impact assessment lies in that it may help understand the social interactions of researchers, both within and outside the scientific sphere Many data and indicators […] that make up the altmetric universe are actually data about social media use, reception, and impact Wouters et al., 2018 Robinson-Garcia et al., 2018
  6. 6. ¿Es el final de las altmétricas? Nuevos enfoques Nuevos métodos Reinterpretación de resultados
  7. 7. Consideraciones previas Herramientas 01 Selección de indicadores 02 Diseño del modelo 03 Implementación 04
  8. 8. HERRAMIENTAS ALTMÉTRICAS
  9. 9. ¿Qué agregador de altmétricas es el idóneo? ■ Batería de indicadores amplia y diversa ■ Cada plataforma ofrece distintos indicadores ■ Cada plataforma arroja distintos resultados para mismos indicadores ■ Estas diferencias no se deben a errores, sino a diferencias en la recogida de datos
  10. 10. “Altmetrics is the study and use of scholarly impact measures based on activity in online tools and environments” Priem, Groth & Taraborelli, 2012
  11. 11. Citations News media Policy documents Open peer review (F1000, Publons) YouTube Open Syllabus Patents …
  12. 12. Downloads-Usage Citations Library holdings Video plays Code forks News media Amazon reviews Goodreads … Citations News media Policy documents Open peer review (F1000, Publons) YouTube Open Syllabus Patents …
  13. 13. Tipos de proveedores TODO EN UNO •Almetric.com •PlumX Analytics •CrossRef Event Data •Lagotto POR FUENTE •Mendeley •Twitter •Facebook •ResearchGate
  14. 14. Tipos de proveedores TODO EN UNO •Almetric.com •PlumX Analytics •CrossRef Event Data •Lagotto POR FUENTE •Mendeley •Twitter •Facebook •ResearchGate Springer Nature Elsevier Plos
  15. 15. Redes sociales • Twitter, Facebook, Google Plus… Tweets, retweets, likes, users Marcadores sociales • Mendeley, Zotero, ReadCube… Bookmarks, collections, readers Blogging científico • Publishers, institutional, personal… Mentions, comments, links Contenido abierto • PLOS journals, DataCite, Github… Downloads, comments, views Fuentes e indicadores
  16. 16. ALTMETRIC.COM ■ Public policy documents ■ Blogs ■ Mainstream media ■ Citations (web of science / scopus) ■ Online reference managers (mendeley) ■ Research highlights (F1000) ■ Peer review platforms (pubpeer, publons) ■ Social Media (Facebook public pages, Twitter, Google+, LinkedIn, Sina, Weibo and Pinterest) ■ Open Syllabus Project ■ Multimedia y otros (YouTube, Reddit y Q&A)
  17. 17. PLUMX
  18. 18. Viewed •PubMed Central Usage Stats •Copernicus Discussed •Facebook, Twitter •Blogs •Wikipedia •Reddit •OpenEdition Saved •CiteULike •Mendeley Cited •CrossRef, PubMed •Scopus •WoS •DataCite •Europe PMC Recommended •F1000 Prime Solo PLOS •Usage •Figshare usage •Comments Lagotto
  19. 19. CROSSREF EVENT DATA
  20. 20. Zahedi & Costas, 2018 Diferencias de cobertura
  21. 21. ¿Por qué ofrecen distintos resultados para mismos indicadores? ■ Recogida de datos. Uso de distintas APIs para acceder a fuentes primarias ■ Agregación y presentación. Distintas estrategias para identificar mencionar y agregar versiones de documentos (i.e., DOIs, URLs) ■ Actualización. Distinta periodicidad por proveedor y fuente ¡LOS INDICADORES ALTMÉTRICOS SON INESTABLES! Zahedi & Costas, 2018
  22. 22. TWEETS ENLAZANDO A VERSIONES DIFERENTES DEL MISMO DOCUMENTO
  23. 23. DIFERENTES VERSIONES DE UN DOCUMENTO UNIDAS EN ALTMETRIC.COM
  24. 24. SELECCIÓN DE INDICADORES
  25. 25. Algunas consideraciones 1. Objetivo a perseguir 2. Fuentes altmétricas ≈ Fenómeno a analizar 3. Selección de indicadores 4. Método de análisis
  26. 26. CASO I ■ Menciones en Twitter como indicador de consumo de literature científica ■ Proxy e indicador no están alineados Robinson-Garcia et al., 2017
  27. 27. CASO II ■ Lo que la plataforma indica y lo que ofrece no se corresponde Torres-Salinas, et al., 2018
  28. 28. CASO III ■ Proxy e indicador alineados pero por razones muy diferentes a las esperadas Costas @ ESSS Granada 2016
  29. 29. INTERPRETING ALTMETRICS CASO IV ■ Errores en la recogida de datos
  30. 30. CASO V ■ Falsos negativos ■ El enlace al artículo no aparece en el tuit ■ Este tuit se perdería
  31. 31. DISEÑO DE LA APLICACIÓN
  32. 32. Monitorización •¿Cuál es la situación? •Se reconoce un umbral de incertidumbre •No hay consecuencias directas •Exploratorio y descriptivo Evaluación •¿Hemos alcanzado los objetivos? •Altmétricas como complemento •Punto de partida para análisis cualitativo
  33. 33. Aproximación bibliométrica Aproximación altmétrica
  34. 34. Academics SMEs, Non-profits, Hospital, Gov. Agencies, Associations, Large firms SocietyAltmetrics ¿Qué queremos ver?
  35. 35. Aproximación altmétrica Aproximación relacional
  36. 36. IMPLEMENTACIÓN PRÁCTICA
  37. 37. ¿Cuál es la visibilidad de las universidades españolas en las redes sociales? ■ Tipo de análisis: Monitorización ■ Objetivo: Conocer ■ Carácter: Descriptivo ■ Consecuencias directas: Ninguna Fuente: Torres-Salinas et al., 2018
  38. 38. ¿Cuál es la visibilidad de las universidades españolas en las redes sociales? ■ Tipo de análisis: Monitorización ■ Objetivo: Conocer ■ Carácter: Descriptivo ■ Consecuencias directas: Ninguna Fuente: Torres-Salinas et al., 2018 http://knowmetrics.org/
  39. 39. ¿Cómo analizar perfiles de universidades en redes sociales? ■ Tipo de análisis: Comparativo ■ Objetivo: Entender ■ Carácter: Descriptivo ■ Consecuencias directas: Ninguna Fuente: Torres-Salinas et al., 2016
  40. 40. ¿Cuál es la presencia de mis investigadores en las redes sociales? ■ Tipo de análisis: Monitorización ■ Objetivo: Conocer ■ Carácter: Descriptivo ■ Consecuencias directas: Ninguna Fuente: Torres-Salinas, 2018
  41. 41. ¿Cuál es la presencia de mis investigadores en las redes sociales? ■ Tipo de análisis: Monitorización ■ Objetivo: Conocer ■ Carácter: Descriptivo ■ Consecuencias directas: Ninguna Fuente: Torres-Salinas, 2018
  42. 42. ¿Qué perfil presentan mis investigadores? ■ Tipo de análisis: Cualitativo ■ Objetivo: Identificación de perfiles ■ Carácter: Descriptivo ■ Consecuencias directas: Contextualizar la evaluación Fuente: D’Este et al., 2018
  43. 43. ¿Cuál es el alcance de las interacciones de los investigadores? ■ Tipo de análisis: Mapeo ■ Objetivo: Identificación de perfiles ■ Carácter: Exploratorio ■ Consecuencias directas: Contextualizar evaluación Fuente: Robinson-Garcia et al., 2018
  44. 44. ¿Cuál es la recepción de los resultados de investigación de un centro? ■ Tipo de análisis: Cuanti/Cuali ■ Objetivo: Contextualizar investigación ■ Carácter: Exploratorio ■ Consecuencias directas: Conocer el uso social de la investigación Fuente: Robinson-Garcia, 2017
  45. 45. ¿Cuál es la recepción de los resultados de investigación de un centro? ■ Tipo de análisis: Cuanti/Cuali ■ Objetivo: Contextualizar investigación ■ Carácter: Exploratorio ■ Consecuencias directas: Conocer el uso social de la investigación Fuente: Robinson-Garcia, 2017
  46. 46. ¿PREGUNTAS?

×