Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

5,175 views

Published on

Published in: Education
0 Comments
6 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
5,175
On SlideShare
0
From Embeds
0
Number of Embeds
1,855
Actions
Shares
0
Downloads
130
Comments
0
Likes
6
Embeds 0
No embeds

No notes for slide
  • Un congreso que lleva por título innovación e investigación por fuerza debe plantearse alguna ponencia sobre la publicación, y subsidiariamente, sobre la evaluación de las publicaciones científicas. La publicación es destino final, obligado de cualquier investigación. Quién no tiene que publicar? Y dónde publicar? ¿cómo saber cuales son los mejores canales para dar a conocer nuestras investigaciones Se habla, en cualquier caso, de investigación e innovación y no está mal, en una disciplina que despierta a la investigación: enfermería, fisio, to, podol. Y por supuesto, por la amistad que me une con Maria Carmen y Azucena y su cariñosa invitación
  • España en estado de excepción evaluativa: Parafraseando al clásico bien podría decirse que un fantasma recorre la Universidad Española, es el fantasma de la evaluación, de repente todo el mundo se ha puesto a evaluar a todo el mundo a todas horas. Hace 25 años este verbo solo lo conjugaba el profesor en su voz activa cuando evaluaba a sus alumnos pero no en su voz pasiva o lo hacía ocasionalmente cuando accedía la plaza o ganaba la oposición (uno o dos ascensos) Hoy se conjuga en su voz activa (evalúo) o pasiva (soy evaluado). Y se hace a todos los niveles (personas, programas, instituciones, titulaciones, proyectos, publicaciones), en los diversos ámbitos geográficos en que despliega su actividad (internacional, nacional, regional y local) y - Tesis: informes valoración, tribunal, premio extraordinario - Artículos, libros: revisor o asesor - Proyectos de investigación - Acceso a plazas: comité - Promoción: tribunal - Sexenios de investigación - Tramos autonómicos - Evaluación institucional: autoevaluación, evaluación externa Cuando uno se levanta por la mañana dice a quien evaluaré o hoy o quien me evaluará a mi Quién notiene que acreditarse, habilitarse, opositar…
  • Permitidme antes de adentrarnos en el tema de la conferencia que averiguemos que es lo que piensan los científicos españoles de ciencias de la salud respecto a cuales son los criterios que más deberían pesar en la evaluación de un curriculun de un profesor de ciencias de la salud
  • Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

    1. 1. Herramientas e indicadores bibliométricos para la evaluación de la investigación en Ciencias de la Salud Emilio Delgado López-Cózar Profesor de Metodología de la Investigación
    2. 2. El guión <ul><li>Propongo que hoy </li></ul><ul><li>primero pensemos y después actuemos </li></ul>En evaluación de la ciencia con indicadores bibliométricos lo habitual es primero actuar y después pensar <ul><li>Los territorios de la ciencia: las disciplinas científicas y sus especialidades. Hábitos de comunicación </li></ul><ul><li>Las tribus de la ciencia: El tamaño de las comunidades científicas </li></ul><ul><li>La calidad en la publicación científica: ¿cómo valorarla? ¿cómo se encara en Biomedicina? </li></ul><ul><li>Los indicadores bibliométricos </li></ul><ul><li>Las herramientas bibliométricas </li></ul>
    3. 3. Heterogeneidad de la ciencia los campos científicos <ul><li>La naturaleza del conocimiento científico es muy diferente según </li></ul><ul><ul><li>Áreas : CyT, CCSS, Humanidades </li></ul></ul><ul><ul><ul><li>Disciplinas : Física, Química, Economía, Derecho, Psicología </li></ul></ul></ul><ul><ul><ul><ul><li>Especialidades : Psicobiología, Psicología de la educación… </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Microbiología, Bioquímica, Inmunología, Nefrología, Neurología… </li></ul></ul></ul></ul><ul><li>Fundamentos de la investigación: qué es una investigación </li></ul><ul><li>Prácticas de investigación: cómo se hace </li></ul><ul><li>Hábitos de comunicación: publicación e información </li></ul><ul><li>Procesos de evaluación: cómo se evalúa </li></ul>Duras / Básicas Blandas / Aplicadas
    4. 4. Heterogeneidad de la ciencia los campos científicos Juicios de valor Citas = Impacto Evaluación trabajos ex post CONSENSO COGNITIVO ¿Peer review? Peer Review Evaluación trabajos ex ante Descriptivos / Cualitativos Exprimentales Métodos de investigación Cualitativas Cuantitativas Técnicas análisis datos Realidad humana (Subjetiva / contextual) Realidad natural (Objetiva / universal) Objeto de investigación Lenguaje natural Matemático Lenguaje Individuo Grupo Organización Libros Revistas Medio publicación Humanidades Sociales CyT Inglés Lengua vernácula Lenguaje publicación
    5. 5. Los hábitos de comunicación científica Los medios de publicación Experimentales Sociales Humanidades
    6. 6. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Publicación de resultados de investigación por tipo de documento Científicos británicos ( N=944 )
    7. 7. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Importancia de la revistas científicas como canales de publicación Científicos británicos
    8. 8. Los hábitos informativos Porcentaje citas a revistas Bases de datos SCI / SSCI (1993) (600.000 artículos, 10.000.000 referencias ) Glänzel, W. and Schoepflin, U. 1999. A bibliometric study of reference literature in the sciences and social sciences. Inf. Process. Manage. 1999; 35(1): 31-44
    9. 9. Biomedicina Ingenierías Psicología Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004
    10. 10. Los hábitos informativos Distribución edad de las citas en tres disciplinas Citas en Web of Science )
    11. 11. Las comunidades científicas el tamaño Científicos = Publicaciones = Referencias bibliográficas = + + Citas Indicadores bibliométricos de mayor tamaño Mayores Impact Factor, Índice H… + +
    12. 12. Efectos en la productividad y la citación <ul><li>Nº de publicaciones por autor </li></ul><ul><li>Nº de citas por trabajo </li></ul>Web of Science 1999-2009 Media de citas por artículo y por especialidades Producción ISI-WOS anual Investigadores Principales muy productivos proyectos Plan nacional español 2007 1 EDUCACION 1 ECONOMIA 2 PSICOLOGIA 4 MATEMATICAS 4 AGRICULTURA 6 BIOMEDICINA 8 FISICA 9 QUIMICA Artículos ISI-WOS año
    13. 13. Efectos en las clasificaciones y rankings <ul><li>Los países y las instituciones poseen especializaciones temáticas diferentes </li></ul><ul><li>Si un país o una institución está especializado </li></ul>Áreas con un ritmo de publicación bajo y lento Áreas con elevada fluidez y productividad investigadora Si la base de datos empleada para el estudio tiene diferentes grados de cobertura para cada área
    14. 14. ¿Qué es la calidad de una trabajo científico? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros Multidimensional No existen medidas absolutas y directas de la calidad sino indicadores parciales
    15. 15. Métodos para valorarla Recuentos Cuantitativos Evaluación por pares Cualitativos <ul><ul><li>Nº publicaciones </li></ul></ul><ul><ul><li>Nº citas </li></ul></ul><ul><li>Opiniones: juicios de valor </li></ul>Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes
    16. 16. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Trabajos de investigación publicados y presentados a evaluación en el RAE por investigadores biomédicos británicos
    17. 17. ¿Y si le preguntamos a los científicos españoles? Muestra: 1294 Profesores TU y Catedráticos con 1 o 2 tramos Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369 * * * Opinión científicos españoles
    18. 18. “ Se valorarán preferentemente las aportaciones que sean artículos en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el «Subject Category Listing» del « Journal Citation Reports » del « Science Citation Index » (Institute for Scientific Information -ISI- Philadelphia, PA, USA). Las revistas electrónicas se considerarán cuando aparezcan en los listados del ISI ” “ Con carácter orientador se considera que para obtener una evaluación positiva en las áreas de Ciencias Biomédicas, tanto básicas como clínicas, al menos dos de dichas aportaciones deben ser artículos publicados en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index ” Las agencias de evaluación Criterios evaluación científicos
    19. 19. Se puede considerar un menor número de trabajos si corresponden a publicaciones de elevada calidad “ [Publicar artículos en revistas científicas] es el elemento fundamental de la evaluación y la autoría de un buen número de publicaciones en revistas de calidad permite conseguir casi todos los puntos (…) para obtener la puntuación máxima en este apartado se requiere la aportación por el solicitante de un mínimo de (…) publicaciones científicas recogidas en Science Citation Index , si la mitad de ellas pertenecen al primer tercio de la categoría ” Las agencias de evaluación Criterios evaluación científicos Número de publicaciones para obtener la puntuación máxima Total primer tercio Total artículos ISI-JCR 6 10 20 12 20 40 Contratados Dr. Titulares Catedráticos
    20. 20. Los indicadores bibliométricos
    21. 21. Evaluación de la actividad científica Marcando el territorio
    22. 22. Presupuestos <ul><li>Los resultados de investigación se manifiestan fundamentalmente a través de las publicaciones científicas. </li></ul><ul><li>Al contar publicaciones se asume implícitamente que todas ellas portan la misma cantidad de conocimiento científico certificado. </li></ul><ul><li>Todos los firmantes de un trabajo son responsables de la investigación expuesta y han contribuido de igual manera a la misma. </li></ul><ul><li>Las citas son una medida fiable y válida de la repercusión de los trabajos </li></ul>
    23. 23. Unidades de análisis Grandes números = estabilidad Pequeños números = alta variabilidad Deficiente Departamentos, grupos, investigadores Micro Buena Regiones, Instituciones, áreas temáticas Meso Máxima Países Macro Fiabilidad y Validez Agregado Nivel
    24. 24. Los métodos de recuento <ul><li>Total o completo : A cada coautor se le atribuye el resultado completo. </li></ul><ul><ul><li>El más empleado: fácil de aplicar, prima la colaboración, genera recuentos redundantes </li></ul></ul><ul><li>Fraccionado : Se divide por el número de coautores que hayan producido el trabajo </li></ul><ul><ul><li>Se penaliza la colaboración </li></ul></ul><ul><li>Al primer autor : Todo para el primero nada para los restantes. </li></ul><ul><li>Más al primero que al resto </li></ul><ul><li>Fracción decreciente según el orden de firma </li></ul>
    25. 25. Instituciones firmantes y factor de impacto de los artículos publicados por autores con filiación española en las revistas Nature, Science, PNAS, New England Journal of Medicine, Lancet y JAMA distribuidos según posición firmante (2004-2005) Jiménez-Contreras, Evaristo; Torres Salinas, Daniel; Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. Investigación de excelencia en España: ¿actores protagonistas o papeles secundarios? Medicina Clinica (Barcelona) ; 134(2):76-81
    26. 26. <ul><li>Contar por contar no sirve del todo para medir la contribución real de un científico, una institución o un país. Hay que pesar: la posición en la firma puede ser una unidad de medida </li></ul><ul><li>Los factores de impacto no se heredan como los rasgos genéticos </li></ul><ul><li>El impacto se mide con citas reales y no atribuyéndose el Impact Factor de la revista </li></ul>Los métodos de recuento
    27. 27. Fuentes de datos <ul><li>La calidad, fiabilidad y validez de los resultados de los estudios bibliométricos son proporcionales a la calidad, fiabilidad y cobertura de las bases de datos en que estos se sustentan </li></ul><ul><li>No son estadísticamente representativas en el sentido literal del término </li></ul><ul><li>Muestran distribuciones sesgadas (campos, temas, países, lenguas…) </li></ul><ul><li>El acceso a los datos es barato: La obtención de los mismos es casi instantánea </li></ul><ul><li>Los datos deben ser previamente tratados: el trabajo de normalización es duro (nombres autores e instituciones, sobre todo) </li></ul><ul><li>Podemos crear muchos indicadores y hacer “experimentos” </li></ul>
    28. 28. Fuentes de datos <ul><li>Curriculun Vitae del investigador </li></ul><ul><ul><li>SICA (Andalucía), OCU, CIENTIFICA (EC3) </li></ul></ul><ul><li>Bases de datos bibliográficas </li></ul><ul><ul><li>Multidisciplinares: Web of Science / SCOPUS </li></ul></ul><ul><ul><ul><li>Filiación institucional todos los autores </li></ul></ul></ul><ul><ul><ul><li>Incluye referencias bibliográficas citadas </li></ul></ul></ul><ul><ul><li>Especializadas </li></ul></ul><ul><ul><ul><li>PUBMED </li></ul></ul></ul><ul><ul><ul><ul><li>Solo filiación institucional para el primer autor </li></ul></ul></ul></ul><ul><ul><ul><ul><li>No incluye referencias bibliográficas citadas </li></ul></ul></ul></ul><ul><li>Google Scholar </li></ul><ul><ul><li>Mayor cobertura: total de documentos, tipo de publicaciones (libros, informes, tesis…), idiomas </li></ul></ul><ul><ul><li>Falta de control: selección de fuentes, normalización, dificultades descarga y tratamiento de la información </li></ul></ul><ul><ul><li>NO RECOMENDABLE PARA ESTUDIOS BIBLIOMÉTRICOS DE GRANDES AGREGADOS </li></ul></ul>
    29. 29. Bases de datos nacionales versus internacionales Sociales / Humanidades Biomedicina Ciencia y Tecnología
    30. 30. Web of Science <ul><li>Es la base de datos de referencia internacional para estudios bibliométricos </li></ul><ul><li>Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000) </li></ul><ul><li>La selección de las revistas se basa en la ley de Bradford y la </li></ul><ul><li>empresa selecciona según un protocolo muy conocido en el que las </li></ul><ul><li>citas y el prestigio juegan un papel esencial </li></ul><ul><li>La cobertura de las revistas es cover to cover y recoge las citas de </li></ul><ul><li>todas las publicaciones indizadas así como los resúmenes de las </li></ul><ul><li>mismas aunque no en toda la extensión temporal de la base de </li></ul><ul><li>datos que llega hasta 1900. </li></ul><ul><li>Ofrece un variado conjunto de indicadores bibliométricos </li></ul><ul><li>“ precocinados” </li></ul>
    31. 31. SCOPUS <ul><li>Se perfila como la competencia a WoS </li></ul><ul><li>Multidisciplinar aunque con menos atención a las Ciencias Sociales </li></ul><ul><li>(4%) y humanidades (1%) aunque están ampliándola a marchas </li></ul><ul><li>forzadas. </li></ul><ul><li>Ofrece información sobre unas 16.000 revistas y otra serie fuentes como páginas web, patentes… aunque la indización parece menos intensiva </li></ul><ul><li>Parte de las revistas están procesadas de forma incompleta </li></ul><ul><li>Incluye también citas pero sólo hasta 1996 </li></ul><ul><li>Excelente software de consulta y navegación que incluye </li></ul><ul><li>indicadores de revistas </li></ul><ul><li>Excelente localizador de autores </li></ul><ul><li>Menos sesgo anglosajón </li></ul><ul><li>No se explican los criterios de selección </li></ul><ul><ul><li>Prima la cantidad sobre la calidad </li></ul></ul>
    32. 32. Torres-Salinas, D.; Jiménez-Contreras, E.; Delgado López-Cózar, E. Rankings for departments and researchers within a university using two different databases: Web of Science versus SCOPUS. Scientometrics. 2009, 80(3): 761-774 Comparando WoS y Scopus Biomedicina en la Universidad de Navarra (1999-2005)
    33. 33. Los indicadores <ul><li>Producción </li></ul><ul><li>Colaboración </li></ul><ul><li>Impacto </li></ul><ul><li>Nuevos indicadores </li></ul>
    34. 34. Producción <ul><li>Producción bruta </li></ul><ul><li>Producción desagregada por fuente de información </li></ul><ul><ul><li>JCR / no JCR </li></ul></ul><ul><ul><li>Pubmed, IME, WOS </li></ul></ul><ul><li>Por tipología documental: </li></ul><ul><ul><li>Citables: Artículos, revisiones, notas / No citables (ISI/JCR) </li></ul></ul><ul><ul><li>Artículos, revisiones, notas, cartas, editoriales </li></ul></ul><ul><ul><li>Libros, capítulos de libros, congresos … </li></ul></ul><ul><li>Por especialidades o áreas: </li></ul><ul><ul><li>Porcentajes: % o peso que representan respecto al marco disciplinar </li></ul></ul><ul><ul><li>Índices de actividad y especialización </li></ul></ul><ul><li>Autoría </li></ul><ul><ul><li>Productividad: </li></ul></ul><ul><ul><ul><li>Número de trabajos por autor (Lotka) </li></ul></ul></ul><ul><ul><ul><li>Índice de transitoriedad de Price: nº de autores con un sólo trabajo </li></ul></ul></ul><ul><ul><li>Orden de firma: primer autor, último, posición intermedia, responsable correspondencia </li></ul></ul><ul><li>Percentil productivo: posición relativa del científico, institución… </li></ul><ul><li>Tasas de variación </li></ul>
    35. 35. Producción
    36. 36. Colaboración <ul><li>Autores </li></ul><ul><ul><li>Tasa de colaboración: % de documentos firmados por más de un autor </li></ul></ul><ul><ul><li>Índice de coautoría: firmas/trabajo </li></ul></ul><ul><ul><li>Redes de coautorías </li></ul></ul><ul><li>Instituciones </li></ul><ul><ul><li>Tasa de colaboración: % de documentos firmados por más de una institución </li></ul></ul><ul><ul><li>Número de instituciones por trabajo </li></ul></ul><ul><ul><li>Tipo de colaboración: </li></ul></ul><ul><ul><ul><li>Intrainstitucional: entre departamentos de una misma institución </li></ul></ul></ul><ul><ul><ul><li>Local: entre las instituciones de una misma provincia </li></ul></ul></ul><ul><ul><ul><li>Regional: entre las instituciones de una CCAA </li></ul></ul></ul><ul><ul><ul><li>Nacional: con otras CCAA diferentes a la de la institución </li></ul></ul></ul><ul><ul><ul><li>Internacional (países, zonas geográficas) </li></ul></ul></ul><ul><ul><li>Redes de colaboración </li></ul></ul>
    37. 37. Colaboración
    38. 38. Impacto <ul><li>Aclaración previa </li></ul><ul><ul><li>Impacto esperado (Impact Factor y sucedáneos) </li></ul></ul><ul><ul><ul><li>Es el impacto de la revista: promedio de citas de los trabajos publicados </li></ul></ul></ul><ul><ul><ul><li>Fácil de aplicar: El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos </li></ul></ul></ul><ul><ul><li>Impacto observado: </li></ul></ul><ul><ul><ul><li>Número de citas observadas, esto es, recibidas por los trabajos </li></ul></ul></ul><ul><ul><ul><li>Difícil de aplicar : El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos </li></ul></ul></ul>
    39. 39. Impacto <ul><li>Impacto </li></ul><ul><ul><li>ISI-JCR </li></ul></ul><ul><ul><ul><li>Impact Factor </li></ul></ul></ul><ul><ul><ul><li>Inmediacy Incdx </li></ul></ul></ul><ul><ul><ul><li>Cited Half Life </li></ul></ul></ul><ul><ul><li>Las alternativas: SJR, SNIPP , Eigenfactor, Article influence </li></ul></ul><ul><ul><li>Posiciones: TOP 3, Cuartiles… </li></ul></ul><ul><ul><li>Factor impacto relativo… </li></ul></ul><ul><li>Citas </li></ul><ul><ul><li>Promedio de citas por trabajo </li></ul></ul><ul><ul><li>% de documentos citados </li></ul></ul><ul><ul><li>% de documentos muy citados </li></ul></ul><ul><ul><li>Caracterización citantes: autocitas, domésticas, </li></ul></ul><ul><li>Índice H </li></ul><ul><ul><li>Une tamaño (producción) e impacto </li></ul></ul><ul><ul><li>Los derivados del H: G, E, R, HC, HG, HI, HM, AW, AWCR, AWCRpA, q2, R </li></ul></ul>
    40. 40. Impacto
    41. 41. M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing Thomson ISI-JCR
    42. 42. Factor de impacto Ese anhelado objeto del deseo
    43. 43. Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005 Número de trabajos publicados en 2004 y 2005 Impact Factor = A/B 2006 2005 2004 2006 Impact Factor 2003 2007 Tiempo JCR La fórmula mágica
    44. 44. <ul><li>El factor de impacto es un promedio </li></ul><ul><li>OJO: La distribución asimétrica de las citas de una revista hace que dicho promedio no sea representativo </li></ul><ul><li>El impacto de un artículo nunca equivale al impacto de la revista </li></ul>Citas trabajos publicados en 2007 International Journal of Nursing Studies 8 (5%) trabajos concentran el 74% de las citas 150 (95%) trabajos concentran el 26% de las citas Advertencias
    45. 45. <ul><li>Sesgos en la fórmula de cálculo: </li></ul><ul><li>Numerador: citas a todos los items publicados en la revista </li></ul><ul><li>(artículos, revisiones, casos clínicos, editoriales, cartas…) </li></ul><ul><li>Denominador: solo contabiliza los trabajos citables </li></ul><ul><ul><li>(artículos originales y de revisión) </li></ul></ul>M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing Advertencias
    46. 46. Advertencias <ul><li>El factor de impacto depende de múltiples factores : </li></ul><ul><ul><li>Naturaleza y tipo de la disciplina científica: básica/aplicada </li></ul></ul><ul><ul><li>Hábitos de publicación y prácticas de citación de las comunidades científicas </li></ul></ul><ul><ul><li>Tamaño de las disciplinas y comunidades científicas </li></ul></ul>
    47. 47. Advertencias <ul><li>El factor de impacto es sensible a múltiples factores : </li></ul><ul><ul><li>Tamaño de las revistas </li></ul></ul>
    48. 48. Advertencias <ul><li>El factor de impacto es sensible a múltiples factores : </li></ul><ul><ul><li>Tipo de revista: general o especializada </li></ul></ul><ul><ul><li>Rapidez en la publicación (ventana de citación) </li></ul></ul><ul><ul><li>Tipo de trabajos publicados: revisiones, artículos metodológicos, cartas… </li></ul></ul><ul><ul><li>Publicación en open access </li></ul></ul>
    49. 49. Cautelas Editores en su afán de incrementar el impacto de su revista se aprestan a manipular las políticas editoriales <ul><li>Fomentan la autocitación: recomiendan directamente a los autores que citen masivamente artículos publicados en la propia revista </li></ul><ul><li>Publican artículos polémicos </li></ul><ul><li>Favorecen la publicación de trabajos que tienen una alta potencialidad de citación, que no computan en el denominador pero sí en el numerador de la fórmula que calcula el factor de impacto </li></ul>
    50. 50. La impactitis Responsables y gestores de instituciones evaluadoras del rendimiento científico que adoptan acríticamente el factor de impacto como único criterio de evaluación bajo el manto de adoptar calificaciones pretendidamente objetivas que hacen innecesarias las valoraciones de calidad de los expertos en cada área y proporcionan una especie de coartada para evitar los debates y enfrentamientos que éstas plantean Cautelas
    51. 51. <ul><li>Miden la utilidad y la influencia intelectual, no la calidad </li></ul><ul><ul><li>Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas </li></ul></ul><ul><li>Mide el impacto de la revista y no el del artículo </li></ul><ul><li>Son un magnífico indicador de competitividad </li></ul><ul><li>Si se emplea para evaluar países, instituciones o individuos recordar que entonces es un indicador de impacto esperado y no observado </li></ul><ul><li>Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y </li></ul><ul><li>no ser aplicados mecánicamente </li></ul>Recomendaciones
    52. 52. Las alternativas al Impact Factor Citas con pesos Torres-Salinas, Daniel ; Jiménez-Contreras, Evaristo . Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la información , 2010, v. 19, n. 2, pp. 201-207.
    53. 53. Loet Leydesdorff. How are new citation-based journal indicators adding to the bibliometric toolbox?, Journal of the American Society for Information Science and Technology 60(7) (2009) 1327-1336 Las alternativas al Impact Factor Citas con pesos
    54. 54. Nuevos indicadores Redes Sociales <ul><li>Redes basadas en coautorías, cocitas, copalabras o en algún otro tipo de enlace </li></ul><ul><li>Grado : Expresa el porcentaje de lazos que tiene un actor. Cuanto mayor es el grado mayor será el número de personas con las que se conecta un nodo </li></ul><ul><li>Intermediación : Grado en que un punto está situado entre los otros </li></ul><ul><li>puntos de la red. Mide la capacidad que tienen los nodos para conectar diversos grupos y hacer de intermediarios </li></ul><ul><li>Cercanía : Vinculación entre nodos. Muestra la capacidad de llegar directamente a muchos de los otros miembros de la red sin apoyarse en intermediarios </li></ul>
    55. 55. El Índice H
    56. 56. <ul><li>Fortalezas </li></ul><ul><ul><li>Combina producción e impacto en un solo indicador </li></ul></ul><ul><ul><li>Simple y sensillo de calcular y entender </li></ul></ul><ul><li>Debilidades </li></ul><ul><ul><li>Valora la carrera de un investigador: </li></ul></ul><ul><ul><ul><li>No existen bases de datos que contengan todos los trabajos y las citas asociadas a las mismas- </li></ul></ul></ul><ul><ul><ul><li>Las que existen se limitan a un número limitado de publicaciones (artículos en revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google Scholar). </li></ul></ul></ul><ul><ul><li>Inadecuado para comparar a investigadores de distintas áreas científicas </li></ul></ul><ul><ul><li>Favorece a los autores senior frente a los noveles </li></ul></ul><ul><ul><li>No excluye las autocitas </li></ul></ul><ul><ul><li>Penaliza a los autores con estrategias de publicación muy selectivas: pocos documentos y altamente citados </li></ul></ul>El Índice H
    57. 57. Nuevos indicadores Redes Sociales
    58. 58. Nuevos indicadores El uso • “ a number of initiatives have attempted to measure scientific impact from usage log data” • “ derivation of metrics to assess the quality and impact of scholarly communication units” Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009 Los datos de uso tienen diferentes ventajas sobre los de citas • Inmediatos Consisten en procesar la información derivada de los ficheros log de consulta, donde que recogidos las sesiones de consulta de los usuarios – Fechas/duración – Identificador de la sesión – Identificador de los artículos – Tipo/resultados de la consulta Los indicadores de uso. • ¿Han venido para quedarse? • ¿Aportan nueva información? • ¿La información es complementaria?, ¿alternativa?, ¿mejor? ¿distinta? • ¿Son una alternativa real a las citas?
    59. 59. <ul><li>¿Es lo mismo visitar un sitio, descargar un pdf, que citar un trabajo? </li></ul><ul><li>Visitar </li></ul><ul><ul><li>¿Sabemos qué se hace cuando se visita? </li></ul></ul><ul><ul><li>Leer sumarios, resúmenes, artículos </li></ul></ul><ul><ul><li>¿Todas las visitas duran lo mismo? </li></ul></ul><ul><li>Descargar </li></ul><ul><ul><li>¿Se leen de forma completa antes y por eso se descargan? ¿se lee un resumen y se descarga para proceder después a leerlo? </li></ul></ul><ul><ul><li>¿Todos los trabajos que se descargan después se leen? </li></ul></ul><ul><li>Citar </li></ul><ul><ul><li>El trabajo se ha leído… supuestamente </li></ul></ul><ul><ul><li>Ha sido útil para el lector, por ello se cita. Existe ya un juicio de valor </li></ul></ul><ul><ul><li>Ha influido en el trabajo, por ello se cita </li></ul></ul><ul><ul><li>Lo que es más difícil es saber en qué sentido se emite un juicio de valor: positivo o negativo </li></ul></ul>Nuevos indicadores El uso
    60. 60. Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009
    61. 61. Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009
    62. 64. Nuevos indicadores El uso: métrica de PLOS One Uso real Prestaciones
    63. 66. Las herramientas
    64. 67. <ul><li>Productos para análisis automáticos pegados a bases de datos de referencia </li></ul><ul><ul><li>Thomson ISI: </li></ul></ul><ul><ul><ul><li>WoS: Analyze results, create citation reports </li></ul></ul></ul><ul><ul><ul><li>Essential Science Indicators </li></ul></ul></ul><ul><ul><ul><li>Science Watch </li></ul></ul></ul><ul><ul><li>Harzing and Perish (Google Scholar) </li></ul></ul><ul><ul><li>SCOPUS </li></ul></ul><ul><ul><ul><li>Citation Tracker </li></ul></ul></ul><ul><ul><ul><li>Journal analyzer </li></ul></ul></ul><ul><ul><ul><li>Scival (Elsevier) </li></ul></ul></ul><ul><li>Productos cerrados </li></ul><ul><ul><li>CIENTIFICA (EC3) </li></ul></ul>
    65. 76. PROYECTO científica_ugr El sistema de información y evaluación científica de la Universidad de Granada Vicerrectorado de Investigación y Política Científica. En colaboración con el grupo EC3
    66. 77. CENTRALIZACIÓN DE FUENTES DE INFORMACIÓN ERIH JCR Proyectos vice Personal UGR Contratos OTRI Tramos INTERNAS EXTERNAS <ul><li>Producción revistas </li></ul><ul><li>Libros </li></ul><ul><li>Congresos </li></ul>Otras fuentes
    67. 78. EJEMPLO: DEPARTAMENTOS Niveles de consulta: Univ, Dpt, GI, Ponenca, Investigador
    68. 79. EJEMPLO: DEPARTAMENTOS 1. Seleccionamos el nivel 2. Seleccionamos DPT 3 Menú de opciones
    69. 80. EJEMPLO: DEPARTAMENTOS OPCIONES DEL MENÚ (para todos los niveles) TABLEROS (opción de consulta de la información en pantalla). - Tablero ejecutivo (es un resumen del agregado) - Producción en revistas científicas y visibilidad (ciencias y sociales/humanidades) - Producción de libros, capítulos y congresos - Recursos Económicos: Proyectos I+D y contratos - Rankings INFORMES DE DATOS - La misma información que en los tableros pero dispuesta a modo de informe A4 e imprimible en pdf. INFORMES DESGLOSADOS. - Son las referencias de artículos, proyectos, etc… (por ejemplo referencias bibliográficas) TABLERO EXPORTACIÓN - Permite exportar toda la información en diferentes formatos (.doc, .xls, . Txt, etc…)
    70. 81. EJEMPLO: DEPARTAMENTOS, TABLERO EJECUTIVO 1. Tablero ejecutivo permita comparativas 2. Los tableros incluyen varias fichas
    71. 82. EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA <ul><li>Producción en revistas </li></ul><ul><li>Producción en revistas JCR </li></ul><ul><li>Publicaciones por profesor </li></ul><ul><li>Publicaciones 1º Cuartil </li></ul><ul><li>Publicaciones Top3 </li></ul><ul><li>Impact Factor (Sum, Prom) </li></ul>
    72. 83. EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA <ul><li>Producción </li></ul><ul><li>por categorías </li></ul><ul><li>Producción </li></ul><ul><li>por revista </li></ul>
    73. 84. EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA <ul><li>Ranking </li></ul><ul><li>investigadores </li></ul><ul><li>Ranking </li></ul><ul><li>Investigadores gráfico </li></ul>
    74. 85. EJEMPLO: RANKING GRUPOS DE INVESTIGACIÓN
    75. 86. EJEMPLO: CONSULTA DE PONENCIAS
    76. 87. EJEMPLO: DPT, OTRAS OPCIONES: INFORMES
    77. 89. Un ejemplo
    78. 90. Cuidado con los nombres
    79. 92. Autores más productivos instituciones paises Tipos documentales
    80. 93. Organismo financiador Áreas temáticas Revistas
    81. 95. Essential Science Indicators
    82. 96. Essential Science Indicators
    83. 97. La investigación de más impacto a nivel mundial Ruiz Pérez, R.; Jiménez Contreras, E.; Delgado López-Cózar, E. Complementos bibliométricos de Thomsom Scientific en la Web: buenos, bonitos y gratuitos. El Profesional de la Información 2008, 17(5): 553-557 ACCESIBLE EN http://ec3. ugr.es /publicaciones
    84. 105. Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] ec3.ugr.es/emilio Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec 3

    ×