Workshop ec3
Upcoming SlideShare
Loading in...5
×
 

Workshop ec3

on

  • 3,334 views

Workshop impartido por el grupo EC3 en el IV Seminario EC3 - Granada, 14 y 15 de marzo de 2013

Workshop impartido por el grupo EC3 en el IV Seminario EC3 - Granada, 14 y 15 de marzo de 2013

Statistics

Views

Total Views
3,334
Views on SlideShare
1,009
Embed Views
2,325

Actions

Likes
3
Downloads
38
Comments
0

35 Embeds 2,325

http://seminarioec3.wordpress.com 720
http://ec3noticias.blogspot.com.es 654
http://www.ec3noticias.blogspot.com.es 317
http://blogbiblioteca.uca.es 280
http://biblioque.blogspot.com.es 135
http://pruebas.ec3metrics.com 50
http://ec3noticias.blogspot.com 38
https://twitter.com 27
http://ec3noticias.blogspot.nl 17
http://biblioque.blogspot.com 16
http://ec3noticias.blogspot.com.ar 9
http://biblioque.blogspot.com.br 8
http://ec3noticias.blogspot.mx 7
http://www.ec3noticias.blogspot.jp 5
http://ec3noticias.blogspot.co.uk 5
http://translate.googleusercontent.com 4
http://www.directrss.co.il 4
http://ec3noticias.blogspot.com.br 4
http://biblioque.blogspot.nl 3
http://ec3noticias.blogspot.fr 3
http://ec3noticias.blogspot.de 2
http://www.ec3noticias.blogspot.se 2
http://ec3noticias.blogspot.it 2
http://biblioque.blogspot.de 2
http://biblioque.blogspot.mx 1
http://ec3noticias.blogspot.se 1
http://biblioque.blogspot.ca 1
http://www.ec3noticias.blogspot.com 1
http://ec3noticias.blogspot.be 1
http://ec3noticias.blogspot.pt 1
https://abs.twimg.com 1
http://www.yatedo.fr 1
http://ec3noticias.blogspot.in 1
http://www.ec3noticias.blogspot.mx 1
http://ec3noticias.blogspot.hk 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Workshop ec3 Workshop ec3 Presentation Transcript

  • Workshop IV Seminario #giec3Bibliometría en la práctica Torres-Salinas // Cabezas-Clavijo // Robinson-García // Repiso-Caballero
  • Introducción a la bibliometría:Métodos e indicadores
  • 1. TEORÍA. CUESTIONESBÁSICAS A TENER EN CUENTA View slide
  • ¿Por qué es necesario estar familiarizado con la bibliometría? (1/3) Porque la mayor de las políticas científicas y la evaluación del rendimiento científico a nivel individual se articulan en torno a bases de datos y productos de evaluación basados en la bibliometriaCNEAI View slide
  • ¿Por qué es necesario estar familiarizado con la bibliometría? (2/3)El rendimiento en centros I+D se suele comparar a partir de rankings basados en indicadores bibliométricos
  • ¿Por qué es necesario estar familiarizado con la bibliometría? (3/3) Gran parte de los recursos se asignan en la actualidad teniendo en cuenta o con un peso importante de los indicadores bibliométricos logrados. Convocatoria Centros de Excelencia Severo Ochoa Convocatoria Programa Nacional Contratación RRHH I+D
  • Por tanto la bibliometría es una herramienta de diagnóstico
  • Presupuestos para realizar evaluaciones basadas en indicadores bibliométricos Al contar Todos los publicaciones se firmantes de un Los resultados Las citas son asume que trabajo son investigación se una medida todas ellas responsables de manifiestan a fiable y válida portan la misma la investigación través de de la cantidad de expuesta y han publicaciones repercusión de conocimiento contribuido de científicas. los trabajos científico igual manera a certificado. la misma.
  • Nivel de análisis o agregación• Es la base de datos de referencia internacional para estudios bibliométricos MACRO • AGREGADO: países• Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de • FIABILIDAD: Máxima congresos (100.000)• La selección de las revistas se basa en la ley de Bradford y la MESO empresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencial • AGREGADO: regiones, instituciones, áreas• La cobertura de las revistas es cover to cover y recoge las citas de • FIABILIDAD: Moderada todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llegaMICRO hasta 1900. • AGREGADO: personas, grupos, secciones• Ofrece un variado conjunto de indicadores bibliométricos “precocinados”• FIABILIDAD: Lectura con precauciones
  • Los métodos de recuento de las publicaciones • A cada coautor • Se divide el • Todo el trabajo se le da asigna trabajo entre el se asigna igual el trabajo número de únicamente al publicado. coautores primer autor Total Completo 1º Autor • Se le da más • Fracción peso al primer decreciente autor que al según orden de resto. firma. 1º Autor + Decreciente
  • Diferentes comportamientos según disciplina (1/2) Ritmos de envejecimiento y citación diferentes: ejm VIDA MEDIA CLINICAL NEUROPSYCHOL. Vida Media 9 años GENOME RESEARCH Vida Media 5 años Fuente: JCR 2010 ed.
  • Diferentes comportamientos según disciplina (2/2) Volúmenes y promedios de citas diferentes Datos: España | Categorías JCR | Período 2001-2010
  • Los indicadores bibliométricos son asimétricosThe skewness of sciencePer O. Seglen Seglen, P. The Skeeness of science. Journal of the American Society for Information Science and Technology. V. 43, N. 9, pp. 628–638, 1992
  • 2. LA FUENTE DE DATOS: WEB OF KNOWLEDGE
  • Introducción mínima a la Web of Knowledge
  • La Web of Knowledge, nuestra fuente de datos PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA: WEB OF SCIENCE (WOS): ESI aglutina 3 índices de citas Essential Science Science SCI SSCI A&HCI Watch Indicators Science Social Art & Citation Science Humanida. JCR Index Citation Citation Journal (7858 Index Index Citation revistas) (2553 (1462 Reports revistas) revistas) A PARTIR DE ESTAS BASES DE DATOS THOMSON ELABORA OTROS PRODUCTOS BIBLIOMÉTRICOS:
  • Los productos derivados de la Web of Science Journal Citation Reports Science Watch Essential Science Indicators • Tiene solo dos • Contiene datos • Es una web ediciones de sobre gratuita donde Ciencias y de instituciones, podemos Ciencias Sociales países, disciplinas encontrar análisis • Se calculan para • Podemos localizar específicas un total de 8200 los artículos , los • Se analizan desde revistas diferente investigadores y investigadores • Las revistas están los frentes más , revistas hasta clasificadas en un citados áreas y países total de 235 • Contiene • Enriquecen la categorías Baselines que nos información científicas permite bibliométrica con • En la web contextualizar la entrevistas, fotos, tenemos impactos información comentarios, gráfi disponibles desde bibliométrica cos, etc.. 1996.
  • Web of Science, una selección de las mejores revistas Web of Science (SCI, SSCI, AHCI) DIAN Revistas Científicas (importantes) s Todas las Revistas Científicas
  • ¿Qué tal es su cobertura en Ciencias de la Salud? Cobertura WoS de las principales áreas y su adecuación como fuente de evaluación DIAN > 80% 60-80% 40-60% Biología Molecular y Física aplicada y química Matemáticas bioquímica Ciencias s Biológicas Ingeniería (animales y plantas) Ciencias Biológicas Economía (humanos) Psicología y Psiquiatría <40% Ciencias Sociales Medicina Clínica relacionadas con Medicina Otras Ciencias Sociales Física y Astronomía Geociencias Arte y Humanides Química EXCELENTE MUY BUENA BUENA-MODERADA Moed, 2005
  • El interfaz de consulta de la ISI - WOSWEB OFSCIENCE DIAN sRECURSOS OTROS
  • 3. LOS INDICADORES BIBLIOMÉTRICOS
  • Tipos de indicadores bibliométricos PRODUCCIÓN IMPACTO Indicadores s Bibliométricos NUEVOS COLABORACIÓN INDICADORES
  • Ejemplos de indicadores bibliométricos habituales Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos Producción Impacto Colaboración • Nº Total documentos • Promedio y suma del • Tasas de colaboración • Nº Total documentos Impacto Factor • Índice de coautoría citables • Factor de Impacto de general • Nº de documentos por relativo • Índice de coautoría investigador • Nº o % de documentos institucional • Nº de documentos por cuartil (o bien decil • Análisis de Redes según posición firma y tercil) s Sociales a partir firma (inicial o final etc.) • Promedio de citas de la firma • Índice de • Número de citas • Número de Especialización • Tasa Autocitación Instituciones firmantes Temática • Citas normalizadas: • Patrones de • Índice de Actividad Crown Indicator, colaboración temática Karolinska (interna, nacional, inte • Índice H y derivados rnacionales) * Habría que incluir los derivados de la combinación de este con los RRHH y económicos.
  • Indicadores recomendadosCOLABORACÍÓN PRODUCCIÓN Nº CIENTÍFICA Doc (cit.) Nº docs en H-INDEX 1º Cuartil Nº o Prom citas IMPACTO IMPACTO OBSERVADO ESPERADO
  • Ejemplos: Nº docs CitablesEvolución de la producción citable de la Universidad de Navarra
  • Ejemplos: Índice Actividad TemáticaIAT de la Universidad Navarra comparado con España. 2005-2009 % España (E): 0,17 % Univ Navarra (N): 0,50 IAT: 0,50/0,17 = 2,94
  • Ejemplos: % Docs en el 1º Cuartil % de docs en el 1º Cuartil por área para España. 2005-2009OJO Con los indicadores basados en el IF: son promedios | el impacto de una revistano equivale al impacto de un artículo | No es un valor comparable por área | Fácil de manipular | Presenta problemas en el cálculo | Es un indicador de Competitividad
  • Ejemplos: Promedio de CitasNº y Promedio de Citas de la Universidad de Navarra comparado con otras universidades españolas. 2005-2009OJO Los promedios se citas por sí solos tienen poco significado siempre es preferible tener algunos promedios de referencia como el del área o el páis
  • Ejemplos: Nº Docs. Citables VERSUS Promedio de citasNº Docs Citables y Promedio de Citas de las universidades españolas en Medicina Clínica y Farmacia.
  • Ejemplos: el indicador CROWNCROWN INDICATOR del CITIC-UGR de la Universidad de Granada para el período 2001-2010 Tomamos como referencia los promedios de citas del área de Ingeniería disponible en los ESI
  • Ejemplos: El índice-H Índice H para diferentes hospitales españolas con diferentes cortes cronológicosOJO El H-Index no sirve entre áreas diferentes | Favorece a los seniors | No elimina autocitas | Penaliza a los autores selectivos
  • Ejemplos: % Colaboración Inter.% de documentos firmados con instituciones extranjeras por la Universidad de Navarra
  • Bibliometría en la práctica Cabezas-Clavijo // Robinson-García // Repiso-Caballero
  • Web of Science en la prácticaCuestiones previas de los análisis bibliométricosBúsquedas en Web of ScienceAnálisis básicos de resultados en WOSDescarga de registrosCálculo de indicadores
  • Cuestiones previas• Objetivos del análisis bibliométrico• Nivel de agregación (país, CCAA, institución, departamento, grupo, individuo)• Selección del marco temporal (normalmente 5 años es un periodo suficiente)• Selección de la BBDD (habitualmente Web of Science, pero también Scopus o Google Scholar)
  • Web of Knowledge (WOS, JCR, ESI)
  • Búsqueda básica (17 campos deconsulta en la última versión)
  • Cuidado con la búsqueda por fechas • Year published: año de publicación del artículo • Timespan: años en que la referencia ha sido procesada por WoS
  • Búsqueda de autores: precauciones• Cuidado con la sintaxis de WoS• Cuidado con los autores con dos apellidos• Cuidado con los homónimos• Cuidado con nombre regionales, abreviaturas o “nombres artísticos”• Cuidado con los errores de indización y los cambios en la misma a lo largo del tiempo• Extremo cuidado al limitar por los campos “afiliación” o “categoría JCR”
  • Cuidado con la sintaxis de WoS• No admite tildes ni eñes• Sólo la(s) inicial(es) del nombre de pila• Admite operadores booleanos en el mismo cuadro de búsqueda• Truncamiento con * para ampliar las búsquedas
  • Cuidado con los autores con dos apellidos• El porcentaje de investigadores españoles que aparecen bajo dos o más nombres diferentes oscila entre un 20% y un 40% según los estudios (Costas et al. 2006; Ruiz-Pérez et al. 2002).• Los propios investigadores son responsables de esta variabilidad en su forma de firma, ya que utilizan distintas formas a lo largo de su producción• Además, las bases de datos bibliográficas cometen con errores al transcribir la información a su registro electrónico, sobre todo derivadas de sus prácticas de indización adaptadas a las estructuras de nombres ingleses
  • Cuidado con los homónimos• Es complejo diferenciar entre autores homónimos, apellidos comunes, etc (López E, Rodriguez JM, Garcia A)• En este caso hay que usar las opciones de WoS para refinar los resultados, a sabiendas de que podemos perder un pequeño porcentaje de la producción del autor• La mejor forma de evitar este fenómeno es asesorar a los investigadores para que usen firmas lo más distintivas posibles.
  • Cuidado con nombres regionales,abreviaturas o nombres “artísticos”• Ramón  Moncho• José Luis  Koldo• Javier  Xavier // Xabier• Rosario  Charo• Cuando hagamos búsquedas de autores es conveniente visitar antes su web personal, nos puede dar pistas sobre cómo firma, en qué revistas publica, sus colaboradores, …
  • Cuidado con los errores de indización de WoSAutoresInstituciones
  • Extremo cuidado al limitar por afiliación o categoría jcrAFILIACIÓN• Autores en estancias fuera de la institución a veces no firman con su institución de origen• Autores con doble filiación (hospital-universidad) a veces no usan ambas• La tipología Proceedings paper incluye a veces sólo la institución del primer firmanteCATEGORÍA JCR• Las revistas pueden estar asignadas a varias categorías ISI• Autores con investigación multidisciplinar
  • Para las institucionesPara el caso de las instituciones• Piensa todas las posibles variantes de una institución• WoS usa abreviaturas estándar y elimina las preposiciones• universidad = univ; hospital = hosp• Universidad de Murcia = Univ Murcia• Universidad Politécnica de Valencia = ?
  • Para las institucionesPara el caso de las instituciones Ejemplo: Universidad del País Vasco ( UNIV PAIS VASCO OR UPV EHU OR EUSKAL HERRIKO UNIBERTSITATEA OR UNIV BASQUE COUNTRY OR UNIV PAIS VASCO EUSKAL HERRIKO UNIBERTSITATEA OR UPV OR CSIC UPV EHU OR CTR MIXTO CSIC UPV EHU OR UNIV PAIS VASCO EHU OR UNIV BASQUE COUNTRY UPV EHU OR EHU OR EUSKAL HERRIKO UNIBERSITATEA OR UNIV PAIS VASCO UPV EHU OR EHU UPV OR EUSKAL HERRIKO UNIV OR EUSKAL HERRIKO UNIBERTSITATEA UPV EHU )
  • • Opciones de • Historial de ordenación búsquedas • Opciones de análisis de resultados e informes de citación • Opciones de exportación,• Opciones de filtrado de los resultados por impresión y áreas, tipos de documentos, años, guardar en listas instituciones, países, fuentes, autores, idiomas
  • Analyze Results
  • Create Citation Report
  • Cited Reference Search• Encuentra las citas a un artículo, libro, … (incluso si no está recogido en WoS) pero ha sido citado desde las revistas indizadas en WoS• Escasa normalización en las abreviaturas• Usar truncamientos y búsquedas amplias• Método ensayo-error ejemplo
  • Cited Reference Search• Es necesario filtrar manualmente• No hay certeza de que estemos recuperando todos los resultados
  • Cómo localizar las revistas indexadas en la WoS• Thomson cuenta con un listado maestro (master list)donde aparecen las revistas recogidas en sus índicesde citas http://science.thomsonreuters.com/mjl/ ¡Ojo! No confundir con JCR: No todas las revistas incluidas en WoS tienen factor de impacto JCR
  • Descarga de registros a programas ofimáticos• Aunque WOS proporciona herramientas de análisis, es imprescindible la descarga de registros para un análisis solvente (limitación: descarga de 500 registros como máximo por archivo)• Esto permite el tratamiento de datos, la normalización de registros, y la confección de bases de datos en conjunción con otras informaciones como las de revistas JCR o de información interna de la institución (categoría profesional, actividad científica, etc)
  • Práctica Instituciones • ¿Qué producción tiene tu Universidad (sólo articles y reviews) entre 2008 y 2012? ¿Cuál es su promedio de citas? ¿Qué país es su principal colaborador? ¿Cuál es su porcentaje de colaboración internacional? ¿Qué promedio de citas tiene cuando publica con Estados Unidos? ¿Y cuando publica sin colaboración de ningún tipo?
  • Práctica Investigadores • ¿Cuántos trabajos ha publicado Emilio Delgado López Cózar (Univ Granada) en su carrera profesional? ¿Cuántas firmas distintas has detectado? ¿Cuál es su índice h? ¿Quiénes son sus coautores más frecuentes? ¿Qué porcentaje de trabajos ha publicado en revistas que no son de Biblioteconomía?
  • Práctica Descargas (AVANZADO) • Descarga los trabajos de Emilio en un formato compatible con Excel • Abre el archivo en Excel • Calcula el índice h y el promedio de citas • Guarda el documento, en un rato calcularemos su crown indicator
  • Journal Citation Reports (JCR)• http://www.accesowok.fecyt.es/jcr/• Base de datos que recoge los factores de impacto de las revistas científicas seleccionadas por Thomson Reuters• Podemos delimitar la búsqueda por año, categoría temática y países• Recoge otros indicadores como posición de la revista en su categoría, índice de inmediatez, porcentaje de autocitas,
  • Información básica de una revista Factor de impacto de la revista Categorías JCR a las que se adscribePosición de la revistaen dichas categorías
  • Práctica Búsquedas • ¿Cuántas revistas españolas hay en JCR (Social Sciences) en 2011? • ¿Cuál es la revista más relacionada con la Revista Española de Pedagogía? • ¿En qué cuartil se sitúa Spanish Economic Review? • ¿Encuentras algo anómalo en la tendencia de factor de impacto de la Revista de Psicodidáctica?
  • Práctica Descargas (AVANZADO) • Descarga la categoría Information Science and Library Science • Abre el archivo con el bloc de notas y reemplaza los puntos por las comas • Abre el archivo con excel, y ordena por factor de impacto descendente • Calcula los cuartiles de las revistas
  • Essential Science Indicators (ESI)• http://www.accesowok.fecyt.es/esi/• Indicadores a nivel macro de producción y citación• Nos proporciona un marco comparativo; podemos confrontar los registros de un investigador o institución con áreas / países, etc
  • Evolución anual Ránking de paises para la categoríaPapers más citados
  • Práctica ESI • ¿En qué percentil de la distribución se encuentra un autor del área de Ciencia de Materiales que publicó un trabajo en 2008 y que ha recibido 30 citas hasta la fecha de hoy? • ¿Cuál es el número mínimo de citas que necesita un autor de Psicología para situarse dentro del 1% más citado en 2009? • Qué impacto normalizado (CROWN INDICATOR) tienen los papers de Emilio publicados en 2009? (AVANZADO)
  • Cómo aprovechar los RankingsI-UGR para hacer informes de mi institución
  • Introducción Se basan en los datos de la WoS y los JCR Ofrecen rankings por campos y disciplinas científicasLas universidades se ordenan de acuerdo alIFQ2A-Index basado en 6 indicadores Utiliza dos periodos cronológicos de 5 y 10 años
  • Creación de campos y disciplinas
  • Creación de campos y disciplinasAU C1Campanario, JM; Coslado, MA [Miguel Campanario, Juan] Univ Alcala de Henares, Dept Fis, Madrid 28871, SpCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Carretero, J; Marangon, V; Molina, A; Ros, G Univ Alcala De Henares, Dept Fis, Madrid 28871, Spain; [Marangon, Vera] Univ ACampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM [Miguel Campanario, Juan] Univ Alcala De Henares, Dept Fis, Madrid 28871, SpCampanario, JM; Candelario, A [Miguel Campanario, Juan; Candelario, Antonia] Univ Alcala de Henares, Dept FCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Molina, A [Miguel Campanario, Juan; Molina, Antonio] Univ Alcala de Henares, Dept Fis, MCampanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainAndrade, A; Gonzalez-Jonte, R; Campanario, JM [Andrade, Antonia] Univ Alcala de Henares, Dept Geol , Madrid 28871, Spain; [GCampanario, JM; Acedo, E Univ Alcala De Henares, Dept Fis, Alcala De Henares 28871, Madrid, SpainGonzalez, L; Campanario, JM Univ Alcala de Henares, Dept Fi s, Madrid 28871, SpainCoslado, MA; Campanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Gonzalez, L Univ Alcala de Henares, Dept Fis, Edificio Ciencias, Madrid 28871, SpainCampanario, JM; Gonzalez, L; Rodriguez, C Univ Alcala de Henares, Dept Fis, Alcala De Henares 28871, Madrid, Spain
  • El IFQ2A-IndexDaniel Torres Salinas, Jose G. Moreno-Torres, Emilio Delgado-López Cózar, FranciscoHerrera A methodology for Institution-Field ranking based on a bidimensional analysis:The IFQ2A-index. Scientometrics 2011, 88(3): 771-786DIMENSIÓN CUANTITATIVA DIMENSIÓN CUALITATIVANDOC: Número de documentos TOPCIT: Porcentaje decitables documentos altamente citadosNCIT: Número de citas 1Q: Porcentaje de documentos en el primer cuartil de su categoríaH-INDEX: Índice H segúnHirsch PCIT: Promedio de citas
  • El IFQ2A-Index 1,0 Barcelona Navarra Autónoma de 0,8 Madrid Autónoma de BarcelonaQUALITATIVE DIMENSION Valencia 0,6 AVERAGE QLIF 0,4 AVERAGE QNIF 0,2 0,0 0,0 0,2 0,4 0,6 0,8 1,0 QUANTITATIVE DIMENSION
  • Los Rankings I-UGR-12 campos científicos-37 disciplinas
  • Los Rankings I-UGR
  • Prácticas Rankings I-UGR• Date de alta en los Rankings I-UGR• Busca las posiciones de tu universidad en los distintos campos y disciplinas• Observa la variación de posiciones según el periodo analizado y según la edición y analiza las diferencias• Identifica en qué categorías JCR dentro de Informática publica más tu universidad en el periodo 2007-2011
  • Ejemplo de informeLa Universidad de Granada en los Rankings ISI