Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

5,329 views

Published on

Published in: Education
  • Be the first to comment

Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

  1. 1. Herramientas e indicadores bibliométricos para la evaluación de la investigación en Ciencias de la Salud Emilio Delgado López-Cózar Profesor de Metodología de la Investigación
  2. 2. El guión <ul><li>Propongo que hoy </li></ul><ul><li>primero pensemos y después actuemos </li></ul>En evaluación de la ciencia con indicadores bibliométricos lo habitual es primero actuar y después pensar <ul><li>Los territorios de la ciencia: las disciplinas científicas y sus especialidades. Hábitos de comunicación </li></ul><ul><li>Las tribus de la ciencia: El tamaño de las comunidades científicas </li></ul><ul><li>La calidad en la publicación científica: ¿cómo valorarla? ¿cómo se encara en Biomedicina? </li></ul><ul><li>Los indicadores bibliométricos </li></ul><ul><li>Las herramientas bibliométricas </li></ul>
  3. 3. Heterogeneidad de la ciencia los campos científicos <ul><li>La naturaleza del conocimiento científico es muy diferente según </li></ul><ul><ul><li>Áreas : CyT, CCSS, Humanidades </li></ul></ul><ul><ul><ul><li>Disciplinas : Física, Química, Economía, Derecho, Psicología </li></ul></ul></ul><ul><ul><ul><ul><li>Especialidades : Psicobiología, Psicología de la educación… </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Microbiología, Bioquímica, Inmunología, Nefrología, Neurología… </li></ul></ul></ul></ul><ul><li>Fundamentos de la investigación: qué es una investigación </li></ul><ul><li>Prácticas de investigación: cómo se hace </li></ul><ul><li>Hábitos de comunicación: publicación e información </li></ul><ul><li>Procesos de evaluación: cómo se evalúa </li></ul>Duras / Básicas Blandas / Aplicadas
  4. 4. Heterogeneidad de la ciencia los campos científicos Juicios de valor Citas = Impacto Evaluación trabajos ex post CONSENSO COGNITIVO ¿Peer review? Peer Review Evaluación trabajos ex ante Descriptivos / Cualitativos Exprimentales Métodos de investigación Cualitativas Cuantitativas Técnicas análisis datos Realidad humana (Subjetiva / contextual) Realidad natural (Objetiva / universal) Objeto de investigación Lenguaje natural Matemático Lenguaje Individuo Grupo Organización Libros Revistas Medio publicación Humanidades Sociales CyT Inglés Lengua vernácula Lenguaje publicación
  5. 5. Los hábitos de comunicación científica Los medios de publicación Experimentales Sociales Humanidades
  6. 6. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Publicación de resultados de investigación por tipo de documento Científicos británicos ( N=944 )
  7. 7. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Importancia de la revistas científicas como canales de publicación Científicos británicos
  8. 8. Los hábitos informativos Porcentaje citas a revistas Bases de datos SCI / SSCI (1993) (600.000 artículos, 10.000.000 referencias ) Glänzel, W. and Schoepflin, U. 1999. A bibliometric study of reference literature in the sciences and social sciences. Inf. Process. Manage. 1999; 35(1): 31-44
  9. 9. Biomedicina Ingenierías Psicología Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004
  10. 10. Los hábitos informativos Distribución edad de las citas en tres disciplinas Citas en Web of Science )
  11. 11. Las comunidades científicas el tamaño Científicos = Publicaciones = Referencias bibliográficas = + + Citas Indicadores bibliométricos de mayor tamaño Mayores Impact Factor, Índice H… + +
  12. 12. Efectos en la productividad y la citación <ul><li>Nº de publicaciones por autor </li></ul><ul><li>Nº de citas por trabajo </li></ul>Web of Science 1999-2009 Media de citas por artículo y por especialidades Producción ISI-WOS anual Investigadores Principales muy productivos proyectos Plan nacional español 2007 1 EDUCACION 1 ECONOMIA 2 PSICOLOGIA 4 MATEMATICAS 4 AGRICULTURA 6 BIOMEDICINA 8 FISICA 9 QUIMICA Artículos ISI-WOS año
  13. 13. Efectos en las clasificaciones y rankings <ul><li>Los países y las instituciones poseen especializaciones temáticas diferentes </li></ul><ul><li>Si un país o una institución está especializado </li></ul>Áreas con un ritmo de publicación bajo y lento Áreas con elevada fluidez y productividad investigadora Si la base de datos empleada para el estudio tiene diferentes grados de cobertura para cada área
  14. 14. ¿Qué es la calidad de una trabajo científico? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros Multidimensional No existen medidas absolutas y directas de la calidad sino indicadores parciales
  15. 15. Métodos para valorarla Recuentos Cuantitativos Evaluación por pares Cualitativos <ul><ul><li>Nº publicaciones </li></ul></ul><ul><ul><li>Nº citas </li></ul></ul><ul><li>Opiniones: juicios de valor </li></ul>Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes
  16. 16. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Trabajos de investigación publicados y presentados a evaluación en el RAE por investigadores biomédicos británicos
  17. 17. ¿Y si le preguntamos a los científicos españoles? Muestra: 1294 Profesores TU y Catedráticos con 1 o 2 tramos Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369 * * * Opinión científicos españoles
  18. 18. “ Se valorarán preferentemente las aportaciones que sean artículos en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el «Subject Category Listing» del « Journal Citation Reports » del « Science Citation Index » (Institute for Scientific Information -ISI- Philadelphia, PA, USA). Las revistas electrónicas se considerarán cuando aparezcan en los listados del ISI ” “ Con carácter orientador se considera que para obtener una evaluación positiva en las áreas de Ciencias Biomédicas, tanto básicas como clínicas, al menos dos de dichas aportaciones deben ser artículos publicados en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index ” Las agencias de evaluación Criterios evaluación científicos
  19. 19. Se puede considerar un menor número de trabajos si corresponden a publicaciones de elevada calidad “ [Publicar artículos en revistas científicas] es el elemento fundamental de la evaluación y la autoría de un buen número de publicaciones en revistas de calidad permite conseguir casi todos los puntos (…) para obtener la puntuación máxima en este apartado se requiere la aportación por el solicitante de un mínimo de (…) publicaciones científicas recogidas en Science Citation Index , si la mitad de ellas pertenecen al primer tercio de la categoría ” Las agencias de evaluación Criterios evaluación científicos Número de publicaciones para obtener la puntuación máxima Total primer tercio Total artículos ISI-JCR 6 10 20 12 20 40 Contratados Dr. Titulares Catedráticos
  20. 20. Los indicadores bibliométricos
  21. 21. Evaluación de la actividad científica Marcando el territorio
  22. 22. Presupuestos <ul><li>Los resultados de investigación se manifiestan fundamentalmente a través de las publicaciones científicas. </li></ul><ul><li>Al contar publicaciones se asume implícitamente que todas ellas portan la misma cantidad de conocimiento científico certificado. </li></ul><ul><li>Todos los firmantes de un trabajo son responsables de la investigación expuesta y han contribuido de igual manera a la misma. </li></ul><ul><li>Las citas son una medida fiable y válida de la repercusión de los trabajos </li></ul>
  23. 23. Unidades de análisis Grandes números = estabilidad Pequeños números = alta variabilidad Deficiente Departamentos, grupos, investigadores Micro Buena Regiones, Instituciones, áreas temáticas Meso Máxima Países Macro Fiabilidad y Validez Agregado Nivel
  24. 24. Los métodos de recuento <ul><li>Total o completo : A cada coautor se le atribuye el resultado completo. </li></ul><ul><ul><li>El más empleado: fácil de aplicar, prima la colaboración, genera recuentos redundantes </li></ul></ul><ul><li>Fraccionado : Se divide por el número de coautores que hayan producido el trabajo </li></ul><ul><ul><li>Se penaliza la colaboración </li></ul></ul><ul><li>Al primer autor : Todo para el primero nada para los restantes. </li></ul><ul><li>Más al primero que al resto </li></ul><ul><li>Fracción decreciente según el orden de firma </li></ul>
  25. 25. Instituciones firmantes y factor de impacto de los artículos publicados por autores con filiación española en las revistas Nature, Science, PNAS, New England Journal of Medicine, Lancet y JAMA distribuidos según posición firmante (2004-2005) Jiménez-Contreras, Evaristo; Torres Salinas, Daniel; Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. Investigación de excelencia en España: ¿actores protagonistas o papeles secundarios? Medicina Clinica (Barcelona) ; 134(2):76-81
  26. 26. <ul><li>Contar por contar no sirve del todo para medir la contribución real de un científico, una institución o un país. Hay que pesar: la posición en la firma puede ser una unidad de medida </li></ul><ul><li>Los factores de impacto no se heredan como los rasgos genéticos </li></ul><ul><li>El impacto se mide con citas reales y no atribuyéndose el Impact Factor de la revista </li></ul>Los métodos de recuento
  27. 27. Fuentes de datos <ul><li>La calidad, fiabilidad y validez de los resultados de los estudios bibliométricos son proporcionales a la calidad, fiabilidad y cobertura de las bases de datos en que estos se sustentan </li></ul><ul><li>No son estadísticamente representativas en el sentido literal del término </li></ul><ul><li>Muestran distribuciones sesgadas (campos, temas, países, lenguas…) </li></ul><ul><li>El acceso a los datos es barato: La obtención de los mismos es casi instantánea </li></ul><ul><li>Los datos deben ser previamente tratados: el trabajo de normalización es duro (nombres autores e instituciones, sobre todo) </li></ul><ul><li>Podemos crear muchos indicadores y hacer “experimentos” </li></ul>
  28. 28. Fuentes de datos <ul><li>Curriculun Vitae del investigador </li></ul><ul><ul><li>SICA (Andalucía), OCU, CIENTIFICA (EC3) </li></ul></ul><ul><li>Bases de datos bibliográficas </li></ul><ul><ul><li>Multidisciplinares: Web of Science / SCOPUS </li></ul></ul><ul><ul><ul><li>Filiación institucional todos los autores </li></ul></ul></ul><ul><ul><ul><li>Incluye referencias bibliográficas citadas </li></ul></ul></ul><ul><ul><li>Especializadas </li></ul></ul><ul><ul><ul><li>PUBMED </li></ul></ul></ul><ul><ul><ul><ul><li>Solo filiación institucional para el primer autor </li></ul></ul></ul></ul><ul><ul><ul><ul><li>No incluye referencias bibliográficas citadas </li></ul></ul></ul></ul><ul><li>Google Scholar </li></ul><ul><ul><li>Mayor cobertura: total de documentos, tipo de publicaciones (libros, informes, tesis…), idiomas </li></ul></ul><ul><ul><li>Falta de control: selección de fuentes, normalización, dificultades descarga y tratamiento de la información </li></ul></ul><ul><ul><li>NO RECOMENDABLE PARA ESTUDIOS BIBLIOMÉTRICOS DE GRANDES AGREGADOS </li></ul></ul>
  29. 29. Bases de datos nacionales versus internacionales Sociales / Humanidades Biomedicina Ciencia y Tecnología
  30. 30. Web of Science <ul><li>Es la base de datos de referencia internacional para estudios bibliométricos </li></ul><ul><li>Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000) </li></ul><ul><li>La selección de las revistas se basa en la ley de Bradford y la </li></ul><ul><li>empresa selecciona según un protocolo muy conocido en el que las </li></ul><ul><li>citas y el prestigio juegan un papel esencial </li></ul><ul><li>La cobertura de las revistas es cover to cover y recoge las citas de </li></ul><ul><li>todas las publicaciones indizadas así como los resúmenes de las </li></ul><ul><li>mismas aunque no en toda la extensión temporal de la base de </li></ul><ul><li>datos que llega hasta 1900. </li></ul><ul><li>Ofrece un variado conjunto de indicadores bibliométricos </li></ul><ul><li>“ precocinados” </li></ul>
  31. 31. SCOPUS <ul><li>Se perfila como la competencia a WoS </li></ul><ul><li>Multidisciplinar aunque con menos atención a las Ciencias Sociales </li></ul><ul><li>(4%) y humanidades (1%) aunque están ampliándola a marchas </li></ul><ul><li>forzadas. </li></ul><ul><li>Ofrece información sobre unas 16.000 revistas y otra serie fuentes como páginas web, patentes… aunque la indización parece menos intensiva </li></ul><ul><li>Parte de las revistas están procesadas de forma incompleta </li></ul><ul><li>Incluye también citas pero sólo hasta 1996 </li></ul><ul><li>Excelente software de consulta y navegación que incluye </li></ul><ul><li>indicadores de revistas </li></ul><ul><li>Excelente localizador de autores </li></ul><ul><li>Menos sesgo anglosajón </li></ul><ul><li>No se explican los criterios de selección </li></ul><ul><ul><li>Prima la cantidad sobre la calidad </li></ul></ul>
  32. 32. Torres-Salinas, D.; Jiménez-Contreras, E.; Delgado López-Cózar, E. Rankings for departments and researchers within a university using two different databases: Web of Science versus SCOPUS. Scientometrics. 2009, 80(3): 761-774 Comparando WoS y Scopus Biomedicina en la Universidad de Navarra (1999-2005)
  33. 33. Los indicadores <ul><li>Producción </li></ul><ul><li>Colaboración </li></ul><ul><li>Impacto </li></ul><ul><li>Nuevos indicadores </li></ul>
  34. 34. Producción <ul><li>Producción bruta </li></ul><ul><li>Producción desagregada por fuente de información </li></ul><ul><ul><li>JCR / no JCR </li></ul></ul><ul><ul><li>Pubmed, IME, WOS </li></ul></ul><ul><li>Por tipología documental: </li></ul><ul><ul><li>Citables: Artículos, revisiones, notas / No citables (ISI/JCR) </li></ul></ul><ul><ul><li>Artículos, revisiones, notas, cartas, editoriales </li></ul></ul><ul><ul><li>Libros, capítulos de libros, congresos … </li></ul></ul><ul><li>Por especialidades o áreas: </li></ul><ul><ul><li>Porcentajes: % o peso que representan respecto al marco disciplinar </li></ul></ul><ul><ul><li>Índices de actividad y especialización </li></ul></ul><ul><li>Autoría </li></ul><ul><ul><li>Productividad: </li></ul></ul><ul><ul><ul><li>Número de trabajos por autor (Lotka) </li></ul></ul></ul><ul><ul><ul><li>Índice de transitoriedad de Price: nº de autores con un sólo trabajo </li></ul></ul></ul><ul><ul><li>Orden de firma: primer autor, último, posición intermedia, responsable correspondencia </li></ul></ul><ul><li>Percentil productivo: posición relativa del científico, institución… </li></ul><ul><li>Tasas de variación </li></ul>
  35. 35. Producción
  36. 36. Colaboración <ul><li>Autores </li></ul><ul><ul><li>Tasa de colaboración: % de documentos firmados por más de un autor </li></ul></ul><ul><ul><li>Índice de coautoría: firmas/trabajo </li></ul></ul><ul><ul><li>Redes de coautorías </li></ul></ul><ul><li>Instituciones </li></ul><ul><ul><li>Tasa de colaboración: % de documentos firmados por más de una institución </li></ul></ul><ul><ul><li>Número de instituciones por trabajo </li></ul></ul><ul><ul><li>Tipo de colaboración: </li></ul></ul><ul><ul><ul><li>Intrainstitucional: entre departamentos de una misma institución </li></ul></ul></ul><ul><ul><ul><li>Local: entre las instituciones de una misma provincia </li></ul></ul></ul><ul><ul><ul><li>Regional: entre las instituciones de una CCAA </li></ul></ul></ul><ul><ul><ul><li>Nacional: con otras CCAA diferentes a la de la institución </li></ul></ul></ul><ul><ul><ul><li>Internacional (países, zonas geográficas) </li></ul></ul></ul><ul><ul><li>Redes de colaboración </li></ul></ul>
  37. 37. Colaboración
  38. 38. Impacto <ul><li>Aclaración previa </li></ul><ul><ul><li>Impacto esperado (Impact Factor y sucedáneos) </li></ul></ul><ul><ul><ul><li>Es el impacto de la revista: promedio de citas de los trabajos publicados </li></ul></ul></ul><ul><ul><ul><li>Fácil de aplicar: El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos </li></ul></ul></ul><ul><ul><li>Impacto observado: </li></ul></ul><ul><ul><ul><li>Número de citas observadas, esto es, recibidas por los trabajos </li></ul></ul></ul><ul><ul><ul><li>Difícil de aplicar : El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos </li></ul></ul></ul>
  39. 39. Impacto <ul><li>Impacto </li></ul><ul><ul><li>ISI-JCR </li></ul></ul><ul><ul><ul><li>Impact Factor </li></ul></ul></ul><ul><ul><ul><li>Inmediacy Incdx </li></ul></ul></ul><ul><ul><ul><li>Cited Half Life </li></ul></ul></ul><ul><ul><li>Las alternativas: SJR, SNIPP , Eigenfactor, Article influence </li></ul></ul><ul><ul><li>Posiciones: TOP 3, Cuartiles… </li></ul></ul><ul><ul><li>Factor impacto relativo… </li></ul></ul><ul><li>Citas </li></ul><ul><ul><li>Promedio de citas por trabajo </li></ul></ul><ul><ul><li>% de documentos citados </li></ul></ul><ul><ul><li>% de documentos muy citados </li></ul></ul><ul><ul><li>Caracterización citantes: autocitas, domésticas, </li></ul></ul><ul><li>Índice H </li></ul><ul><ul><li>Une tamaño (producción) e impacto </li></ul></ul><ul><ul><li>Los derivados del H: G, E, R, HC, HG, HI, HM, AW, AWCR, AWCRpA, q2, R </li></ul></ul>
  40. 40. Impacto
  41. 41. M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing Thomson ISI-JCR
  42. 42. Factor de impacto Ese anhelado objeto del deseo
  43. 43. Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005 Número de trabajos publicados en 2004 y 2005 Impact Factor = A/B 2006 2005 2004 2006 Impact Factor 2003 2007 Tiempo JCR La fórmula mágica
  44. 44. <ul><li>El factor de impacto es un promedio </li></ul><ul><li>OJO: La distribución asimétrica de las citas de una revista hace que dicho promedio no sea representativo </li></ul><ul><li>El impacto de un artículo nunca equivale al impacto de la revista </li></ul>Citas trabajos publicados en 2007 International Journal of Nursing Studies 8 (5%) trabajos concentran el 74% de las citas 150 (95%) trabajos concentran el 26% de las citas Advertencias
  45. 45. <ul><li>Sesgos en la fórmula de cálculo: </li></ul><ul><li>Numerador: citas a todos los items publicados en la revista </li></ul><ul><li>(artículos, revisiones, casos clínicos, editoriales, cartas…) </li></ul><ul><li>Denominador: solo contabiliza los trabajos citables </li></ul><ul><ul><li>(artículos originales y de revisión) </li></ul></ul>M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing Advertencias
  46. 46. Advertencias <ul><li>El factor de impacto depende de múltiples factores : </li></ul><ul><ul><li>Naturaleza y tipo de la disciplina científica: básica/aplicada </li></ul></ul><ul><ul><li>Hábitos de publicación y prácticas de citación de las comunidades científicas </li></ul></ul><ul><ul><li>Tamaño de las disciplinas y comunidades científicas </li></ul></ul>
  47. 47. Advertencias <ul><li>El factor de impacto es sensible a múltiples factores : </li></ul><ul><ul><li>Tamaño de las revistas </li></ul></ul>
  48. 48. Advertencias <ul><li>El factor de impacto es sensible a múltiples factores : </li></ul><ul><ul><li>Tipo de revista: general o especializada </li></ul></ul><ul><ul><li>Rapidez en la publicación (ventana de citación) </li></ul></ul><ul><ul><li>Tipo de trabajos publicados: revisiones, artículos metodológicos, cartas… </li></ul></ul><ul><ul><li>Publicación en open access </li></ul></ul>
  49. 49. Cautelas Editores en su afán de incrementar el impacto de su revista se aprestan a manipular las políticas editoriales <ul><li>Fomentan la autocitación: recomiendan directamente a los autores que citen masivamente artículos publicados en la propia revista </li></ul><ul><li>Publican artículos polémicos </li></ul><ul><li>Favorecen la publicación de trabajos que tienen una alta potencialidad de citación, que no computan en el denominador pero sí en el numerador de la fórmula que calcula el factor de impacto </li></ul>
  50. 50. La impactitis Responsables y gestores de instituciones evaluadoras del rendimiento científico que adoptan acríticamente el factor de impacto como único criterio de evaluación bajo el manto de adoptar calificaciones pretendidamente objetivas que hacen innecesarias las valoraciones de calidad de los expertos en cada área y proporcionan una especie de coartada para evitar los debates y enfrentamientos que éstas plantean Cautelas
  51. 51. <ul><li>Miden la utilidad y la influencia intelectual, no la calidad </li></ul><ul><ul><li>Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas </li></ul></ul><ul><li>Mide el impacto de la revista y no el del artículo </li></ul><ul><li>Son un magnífico indicador de competitividad </li></ul><ul><li>Si se emplea para evaluar países, instituciones o individuos recordar que entonces es un indicador de impacto esperado y no observado </li></ul><ul><li>Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y </li></ul><ul><li>no ser aplicados mecánicamente </li></ul>Recomendaciones
  52. 52. Las alternativas al Impact Factor Citas con pesos Torres-Salinas, Daniel ; Jiménez-Contreras, Evaristo . Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la información , 2010, v. 19, n. 2, pp. 201-207.
  53. 53. Loet Leydesdorff. How are new citation-based journal indicators adding to the bibliometric toolbox?, Journal of the American Society for Information Science and Technology 60(7) (2009) 1327-1336 Las alternativas al Impact Factor Citas con pesos
  54. 54. Nuevos indicadores Redes Sociales <ul><li>Redes basadas en coautorías, cocitas, copalabras o en algún otro tipo de enlace </li></ul><ul><li>Grado : Expresa el porcentaje de lazos que tiene un actor. Cuanto mayor es el grado mayor será el número de personas con las que se conecta un nodo </li></ul><ul><li>Intermediación : Grado en que un punto está situado entre los otros </li></ul><ul><li>puntos de la red. Mide la capacidad que tienen los nodos para conectar diversos grupos y hacer de intermediarios </li></ul><ul><li>Cercanía : Vinculación entre nodos. Muestra la capacidad de llegar directamente a muchos de los otros miembros de la red sin apoyarse en intermediarios </li></ul>
  55. 55. El Índice H
  56. 56. <ul><li>Fortalezas </li></ul><ul><ul><li>Combina producción e impacto en un solo indicador </li></ul></ul><ul><ul><li>Simple y sensillo de calcular y entender </li></ul></ul><ul><li>Debilidades </li></ul><ul><ul><li>Valora la carrera de un investigador: </li></ul></ul><ul><ul><ul><li>No existen bases de datos que contengan todos los trabajos y las citas asociadas a las mismas- </li></ul></ul></ul><ul><ul><ul><li>Las que existen se limitan a un número limitado de publicaciones (artículos en revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google Scholar). </li></ul></ul></ul><ul><ul><li>Inadecuado para comparar a investigadores de distintas áreas científicas </li></ul></ul><ul><ul><li>Favorece a los autores senior frente a los noveles </li></ul></ul><ul><ul><li>No excluye las autocitas </li></ul></ul><ul><ul><li>Penaliza a los autores con estrategias de publicación muy selectivas: pocos documentos y altamente citados </li></ul></ul>El Índice H
  57. 57. Nuevos indicadores Redes Sociales
  58. 58. Nuevos indicadores El uso • “ a number of initiatives have attempted to measure scientific impact from usage log data” • “ derivation of metrics to assess the quality and impact of scholarly communication units” Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009 Los datos de uso tienen diferentes ventajas sobre los de citas • Inmediatos Consisten en procesar la información derivada de los ficheros log de consulta, donde que recogidos las sesiones de consulta de los usuarios – Fechas/duración – Identificador de la sesión – Identificador de los artículos – Tipo/resultados de la consulta Los indicadores de uso. • ¿Han venido para quedarse? • ¿Aportan nueva información? • ¿La información es complementaria?, ¿alternativa?, ¿mejor? ¿distinta? • ¿Son una alternativa real a las citas?
  59. 59. <ul><li>¿Es lo mismo visitar un sitio, descargar un pdf, que citar un trabajo? </li></ul><ul><li>Visitar </li></ul><ul><ul><li>¿Sabemos qué se hace cuando se visita? </li></ul></ul><ul><ul><li>Leer sumarios, resúmenes, artículos </li></ul></ul><ul><ul><li>¿Todas las visitas duran lo mismo? </li></ul></ul><ul><li>Descargar </li></ul><ul><ul><li>¿Se leen de forma completa antes y por eso se descargan? ¿se lee un resumen y se descarga para proceder después a leerlo? </li></ul></ul><ul><ul><li>¿Todos los trabajos que se descargan después se leen? </li></ul></ul><ul><li>Citar </li></ul><ul><ul><li>El trabajo se ha leído… supuestamente </li></ul></ul><ul><ul><li>Ha sido útil para el lector, por ello se cita. Existe ya un juicio de valor </li></ul></ul><ul><ul><li>Ha influido en el trabajo, por ello se cita </li></ul></ul><ul><ul><li>Lo que es más difícil es saber en qué sentido se emite un juicio de valor: positivo o negativo </li></ul></ul>Nuevos indicadores El uso
  60. 60. Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009
  61. 61. Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009
  62. 64. Nuevos indicadores El uso: métrica de PLOS One Uso real Prestaciones
  63. 66. Las herramientas
  64. 67. <ul><li>Productos para análisis automáticos pegados a bases de datos de referencia </li></ul><ul><ul><li>Thomson ISI: </li></ul></ul><ul><ul><ul><li>WoS: Analyze results, create citation reports </li></ul></ul></ul><ul><ul><ul><li>Essential Science Indicators </li></ul></ul></ul><ul><ul><ul><li>Science Watch </li></ul></ul></ul><ul><ul><li>Harzing and Perish (Google Scholar) </li></ul></ul><ul><ul><li>SCOPUS </li></ul></ul><ul><ul><ul><li>Citation Tracker </li></ul></ul></ul><ul><ul><ul><li>Journal analyzer </li></ul></ul></ul><ul><ul><ul><li>Scival (Elsevier) </li></ul></ul></ul><ul><li>Productos cerrados </li></ul><ul><ul><li>CIENTIFICA (EC3) </li></ul></ul>
  65. 76. PROYECTO científica_ugr El sistema de información y evaluación científica de la Universidad de Granada Vicerrectorado de Investigación y Política Científica. En colaboración con el grupo EC3
  66. 77. CENTRALIZACIÓN DE FUENTES DE INFORMACIÓN ERIH JCR Proyectos vice Personal UGR Contratos OTRI Tramos INTERNAS EXTERNAS <ul><li>Producción revistas </li></ul><ul><li>Libros </li></ul><ul><li>Congresos </li></ul>Otras fuentes
  67. 78. EJEMPLO: DEPARTAMENTOS Niveles de consulta: Univ, Dpt, GI, Ponenca, Investigador
  68. 79. EJEMPLO: DEPARTAMENTOS 1. Seleccionamos el nivel 2. Seleccionamos DPT 3 Menú de opciones
  69. 80. EJEMPLO: DEPARTAMENTOS OPCIONES DEL MENÚ (para todos los niveles) TABLEROS (opción de consulta de la información en pantalla). - Tablero ejecutivo (es un resumen del agregado) - Producción en revistas científicas y visibilidad (ciencias y sociales/humanidades) - Producción de libros, capítulos y congresos - Recursos Económicos: Proyectos I+D y contratos - Rankings INFORMES DE DATOS - La misma información que en los tableros pero dispuesta a modo de informe A4 e imprimible en pdf. INFORMES DESGLOSADOS. - Son las referencias de artículos, proyectos, etc… (por ejemplo referencias bibliográficas) TABLERO EXPORTACIÓN - Permite exportar toda la información en diferentes formatos (.doc, .xls, . Txt, etc…)
  70. 81. EJEMPLO: DEPARTAMENTOS, TABLERO EJECUTIVO 1. Tablero ejecutivo permita comparativas 2. Los tableros incluyen varias fichas
  71. 82. EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA <ul><li>Producción en revistas </li></ul><ul><li>Producción en revistas JCR </li></ul><ul><li>Publicaciones por profesor </li></ul><ul><li>Publicaciones 1º Cuartil </li></ul><ul><li>Publicaciones Top3 </li></ul><ul><li>Impact Factor (Sum, Prom) </li></ul>
  72. 83. EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA <ul><li>Producción </li></ul><ul><li>por categorías </li></ul><ul><li>Producción </li></ul><ul><li>por revista </li></ul>
  73. 84. EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA <ul><li>Ranking </li></ul><ul><li>investigadores </li></ul><ul><li>Ranking </li></ul><ul><li>Investigadores gráfico </li></ul>
  74. 85. EJEMPLO: RANKING GRUPOS DE INVESTIGACIÓN
  75. 86. EJEMPLO: CONSULTA DE PONENCIAS
  76. 87. EJEMPLO: DPT, OTRAS OPCIONES: INFORMES
  77. 89. Un ejemplo
  78. 90. Cuidado con los nombres
  79. 92. Autores más productivos instituciones paises Tipos documentales
  80. 93. Organismo financiador Áreas temáticas Revistas
  81. 95. Essential Science Indicators
  82. 96. Essential Science Indicators
  83. 97. La investigación de más impacto a nivel mundial Ruiz Pérez, R.; Jiménez Contreras, E.; Delgado López-Cózar, E. Complementos bibliométricos de Thomsom Scientific en la Web: buenos, bonitos y gratuitos. El Profesional de la Información 2008, 17(5): 553-557 ACCESIBLE EN http://ec3. ugr.es /publicaciones
  84. 105. Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] ec3.ugr.es/emilio Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec 3

×