Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Indicios 2013

983 views

Published on

Presentación preparada para el curso sobre "Índices de citas, factor de impacto en indicios de calidad". IUCE 2013

Published in: Education
  • Be the first to comment

  • Be the first to like this

Indicios 2013

  1. 1. ÍNDICES DE CITAS, FACTOR DEIMPACTO E INDICIOS DE CALIDAD ENCIENCIAS SOCIALES Y HUMANIDADESFrancisco José Sáenz de Valluerca LópezBiblioteca Francisco de Vitoriavallu@usal.eshttp://campus.usal.es/vitoInVito: http://diarium.usal.es/vito/: @bivito
  2. 2. INDICIOSDE CALIDAD
  3. 3. CRITERIOS ANECA: PROFESOR CONTRATADO Y AYUDANTE DOCTOR (Ciencias Sociales y jurídicas)5%9%4%12%9%9%5%5%Libros y capítulosde libro 12%Artículoscientíficos30%
  4. 4. CRITERIOS ANECA: TITULAR DE UNIVERSIDAD (Ciencias Sociales y Jurídicas)4%2%4%26%8%3%3%5%5%40% Publicacionescientíficas
  5. 5. CRITERIOS ANECA: CATEDRÁTICO DE UNIVERSIDAD (Ciencias sociales y jurídicas)6%3%3%22%7%3%3%10%43%Publicacionescientíficas
  6. 6. ANECA:• Programa PEP: Principios y orientaciones para la aplicacionde los criterios de evaluación (2007)•Programa Academia: Principios y orientaciones para la aplicación de los criterio(2008)•CNEAI:• Resolución de 19 denoviembre de 2012, de la Comisión Nacional Evaluadora de la Actividad Investi(2012)ANEP:• Criterios de evaluación de la I+D en Ciencias Sociales (2007) enHumanidades (2007)ACSUCYL:• Orientaciones sobre la evaluación previa del profesorado contratado y del proposesion del título de doctor. (2012)CRITERIOS DE EVALUACIÓN
  7. 7. • PEP:• Artículos: Preferentemente JCR, otras bases de datos SCI, SSCI, AHCI, Latindex, DICE ypresencia en bases de datos.• Libros, etc.: ISBN, prestigio editorial, reseñas, traducciones.• ACADEMIA:• Artículos: JCR o equivalentes, otras bases de datos; DICE. Para CC.SS: Latindex, DICE.Para Ciencias Jurídicas: DICE. Para Artes y Humanidades: presencia en bases de datos• Libros, etc.: ISBN, prestigio internacional y nacional,• CNEAI:• Artículos: JCR, SCOPUS, ERIH, IN-RECS, DICE, FECYT, Bases de datos, Criterios formalesApéndice I• Libros, etc.: Citas recibidas, prestigio editorial, reseñas, traducciones• ANEP:• Artículos: para CC.SS: ISI (JCR) o similares. Para Humanidades: criterios formales• Libros: Calidad editorial, citas recibidas• ACSUCYL:• Artículos: JCR, ERIH, CARHUS+, IN-RECS, Latindex, DICE, otras bases de datos
  8. 8. JCRSCOPUSDICELATINDEXRESHIN-RECSCARHUS...
  9. 9. Criterios (objetivos) para laevaluación de revistas:• BIBLIOMÉTRICOS (basados en análisis de citas)• FORMALES (basados en características externasde las revistas)• OPINIÓN DE EXPERTOS• MIXTOS (combina criterios anteriores)
  10. 10. ANÁLISIS DE CITAS• Web of Knowledge• Scopus, Google Scholar, CiteSeerx, GetCITED, SciELO• In-Recs, In-Rech, In-Recj, DICE
  11. 11. INDICADORES BIBLIOMÉTRICOS• Nº DE CITAS• FACTOR DE IMPACTO• FACTOR DE IMPACTO A CINCO AÑOS• ÍNDICE DE INMEDIATEZ• VIDA MEDIA CITADA• VIDA MEDIA CITANTE• EIGEN FACTOR• INFLUENCIA DEL ARTÍCULO• ÍNDICE H• ÍNDICE G• SCIMAGO JOURNAL RANK (SJR)• SNIP (Source Normalized Impact per Paper)
  12. 12. FACTOR DE IMPACTO• Es la media de veces que los artículos de unarevista publicados en los dos años anteriores, hansido citados en el año seleccionado.• Se calcula dividiendo el número de citas recibidasen el año seleccionado a artículos de los dos añosprecedentes, por el total de artículos citablespublicados en los dos años precedentes
  13. 13. FACTOR DE IMPACTONº de citas recibidas (año) por artículospublicados (dos años anteriores)FI (año) =Nº de artículos citables publicados(dos años anteriores)
  14. 14. OTROS INDICADORES JCR• Factor de impacto a cinco años• Factor de inmediatez• Vida media citada• Vida media citante• Cuartil• Eigenfactor• Influencia del artículo
  15. 15. INDICADORESWeb of Science• Nº de citas por autor/artículo• Índice H
  16. 16. ÍNDICE H (de Hirsch)• Un autor alcanza un índice H = X cuando hapublicado al menos X artículos que hanobtenido al menos X citas cada uno• Se obtiene ordenando los artículos por ordendescendente de nº de citas recibidas. El índiceH será el último número de orden que seaigual o menor que el número de citas
  17. 17. H = 7
  18. 18. ÍNDICE G (de Egghe)Dado un conjunto de artículos ordenados pororden decreciente del número de citasrecibidas, el índice g es el número más grandetal que los primeros g artículos juntos hanrecibido al menos g2citas
  19. 19. SCIMAGO JOURNAL RANK
  20. 20. SCIMAGO JOURNAL RANK• SJR es una medida del impacto, influencia oprestigio de una revista. Expresa la media de citasponderadas recibidas en el año seleccionado porlos artículos publicados en la revista durante lostres años anteriores.
  21. 21. SCOPUS• Nº de citas por artículo• SNIP• Índice H
  22. 22. Sesgos:• Sesgo a favor de la ciencia básica, en general yhacia disciplinas como la Física, Química,Matemáticas, Biología, Farmacología y CienciasMédicas, en particular• Sesgo a favor de la ciencia producida en paísesanglosajones. España solo tiene en torno a un1% de las revistas de WOK• Sesgo a favor de las publicaciones en lenguainglesa (el 95%)
  23. 23. • La categoría “LAW” de JCR contiene 2revistas españolas (de 133). Ambassolamente desde 2009, y ambas en el 4ºcuartil.• La categoría “LAW” de SJR contiene 3revistas españolas (de 274)Sesgos
  24. 24. • Los editores de las revistas pueden manipular e inflarartificialmente el FI• Sesgo a favor de los artículos de revisión frente a los deinvestigación• Sesgo a favor de revistas con pocos artículos.• Algunos items (cartas al director, comentarios…) cuentanen el numerador (citas), pero no en el denominador(artículos). Inflando el FI• La dilación en la publicación puede incrementar el FI• Thomson y Elsevier son juez y parte.• No se puede replicar el FI utilizando los datos disponiblespúblicamente.… además
  25. 25. • La tasa de citación no es igual en todas las disciplinas ysubdisciplinas• La ventana de 2 años penaliza las contribuciones duraderas• La distribución de citas/artículos no es normal, se debería usar lamoda o la mediana, pero no la media• La relación entre la calidad de los artículos y el FI se estádiluyendo desde la publicación de revistas electrónicas.• El factor de impacto se refiere a la revista, no al artículo ni alinvestigador• Hay otros indicadores que evalúan directamente el artículo o alinvestigador…
  26. 26. CRITERIOS DE SELECCIÓN DE REVISTAS THOMSON REUTERS• Puntualidad• Seguimiento de las convenciones editoriales internacionales (títulos derevista informativos, títulos de artículos completamente descriptivos yresúmenes de autor, información bibliográfica completa de todas lasreferencias citadas e información completa de la dirección de cada autor.• Texto en inglés• Revisión por pares• Contenido• Diversidad internacional de autores, editores y comité editorial• Análisis de citas[Revistas regionales]Garfield, E., "How ISI Selects Journals for Coverage: Quantitative andQualitative Considerations," Current Contents, May 28, 1990.
  27. 27. … además• Prácticamente la totalidad de los investigadoresespañoles de ciencias jurídicas publican en revistasespañolas• Entre el 70% y el 90% de las citas que reciben revistasespañolas en WOK proceden de revistas españolas• Los trabajos originados en el seno de las CienciasJurídicas atraen fundamentalmente la atención de losentornos donde los descubrimientos se producen. Sudestino es el consumo de las comunidades científicasnacionales ya que es una investigación muy influenciadapor las peculiaridades culturales, donde prima locontextual, predominan los problemas de corte local yse adopta una orientación aplicada.
  28. 28. Conclusión• Ni WOK ni SCOPUS evalúanadecuadamente la producción científicaespañola en Ciencias Sociales yHumanidades
  29. 29. Son índices bibliométricoselaborados a partir del recuento decitas con el fin de determinar larelevancia, influencia e impactocientífico de las revistas españolasen Derecho (IN-RECJ), CienciasSociales (IN-RECS) así como desus autores, e instituciones.Los elabora el Grupo deinvestigación EC3 Evaluación de laCiencia y de la ComunidadCientífica (Universidad de Granada)
  30. 30. • Se elabora con las referencias bibliográficas de 64 revistas de 11especialidades del derecho• Calcula el impacto de 340 revistas• Desde 2001• Ofrece gran cantidad de indicadores bibliométricos para cada revista, entreellos el índice de impacto.• Se ofrece un listado por especialidades de los trabajos más citados en labase de datos, con indicación de los trabajos citadores y citados.• De los autores se ofrece un listado por especialidades de los autores máscitados en la base de datos, con indicación de los trabajos citadores y citados.• De las instituciones se ofrece un listado por especialidades de lasinstituciones más citadas en la base de datos, con indicación de los trabajoscitadores y citados.
  31. 31. • Se elabora con las referencias bibliográficas de 154 revistas de lasprincipales disciplinas de ciencias sociales• Calcula el impacto de 761 revistas• Desde 1994• Ofrece gran cantidad de indicadores bibliométricos para cada revista, entreellos el índice de impacto.• Se ofrece un listado por especialidades de los trabajos más citados en labase de datos, con indicación de los trabajos citadores y citados.• De los autores se ofrece un listado por especialidades de los autores máscitados en la base de datos, con indicación de los trabajos citadores y citados.• De las instituciones se ofrece un listado por especialidades de lasinstituciones más citadas en la base de datos, con indicación de los trabajoscitadores y citados.
  32. 32. - Muestra la tasa de citación 2004-2008 para revistasde humanidades elaborado por EPUC- El total de revistas citantes fue de 417, lo querepresenta el 20% del universo de revistas españolasde Humanidades, Ciencias Sociales y Jurídicas. Deellas 184 corresponden a humanidades aHumanidades.
  33. 33. GOOGLE SCHOLAR• Google Scholar es un motor de búsqueda queindexa el texto completo de literaturacientífica incluyendo la mayoría de las revistaselectrónicas revisadas por pares, informestécnicos, preprints, libros, páginas webacadémicas…• También extrae las citas y nos proporcionaindicadores
  34. 34. GOOGLE SCHOLAR METRICS• Ofrece una clasificación de las primeras 100revistas del mundo por idioma de publicación,según el índice h de las revistas en los últimos 5años.• En inglés las 20 primeras por disciplinas ysubdisciplinas
  35. 35. MIS CITASPermiten a los autores realicen el seguimientode las citas de sus artículos.comprobar quién cita sus publicaciones,crear un gráfico de las citas a lo largo deltiempo ycalcular varios tipos de estadísticas sobre lascitas: índice hhacer que el perfil sea público para que puedaaparecer en los resultados de GoogleAcadémico cuando los usuarios busquen alautor
  36. 36. ALTMETRICS = ALTMETRÍAS• Los filtros tradicionales para seleccionar literatura relevante están fallando:– La revisión por pares es lenta, convencional y no hay responsabilidad de los revisores– Recuento de citas: es lento, estrecho, no mide el impacto extra-académico, ni tiene encuenta las razones para citar– Factor de impacto: no valora el trabajo individual, sus elaboración exacta es un secretocomercial, es relativamente fácil de trampear• Los resultados de la investigación se diversifican, además de artículos tenemos:– Datasets, código, diseño experimental– “Nanopublicacion”, donde la unidad citable es un argumento o pasaje más que unartículo completo– Autoediciones vía blogs y comentarios en los blogs• Los investigadores están utilizando nuevas formas de comunicación:– Zotero, Mendeley, CiteUlike, Facebook, Twitter, Repositorios, Blogs• Estas nuevas formas de comunicación dejan un rastro de impacto mucho más ricoque el que se tenía hasta ahora. Los elementos de este rastro es lo que llamamosALTMETRÍAS.
  37. 37. • Las altmetrías son diversas: pueden medir el impacto delnuevo ecosistema académico• Las altmetrías son rápidas: usando APIs públicas puedenrecoger datos en días o semanas. Permiten incluso crearrecomendaciones en tiempo real y sistemas de filtradocolaborativos.• Las altmetrías son el crowdsourcing de la revisión por pares• Las altmetrías muestran el impacto de la propia fuente (nodel vehículo)• Las altmetrías muestran el impacto extra-académico• Las altmetrías son más difíciles de trampearALTMETRICS = ALTMETRÍAS
  38. 38. Criterios (objetivos) para laevaluación de revistas:• BIBLIOMÉTRICOS (basados en análisis de citas)• FORMALES (basados en características externasde las revistas)• OPINIÓN DE EXPERTOS• MIXTOS (combina criterios anteriores)
  39. 39. LATINDEX
  40. 40. LATINDEX• Latindex es un sistema de información que proporciona datos sobrelas revistas académicas que se publican en Iberoamérica y el Caribe.Además, ofrece datos útiles para el análisis y evaluación de lasrevistas de la región.• Surge en 1995 en la UNAM (Universidad Nacional autónoma deMexico) y se convierte en una red de cooperación regional a partir de1997.• Su objetivo es difundir, hacer accesible y elevar la calidad de lasrevistas académicas editadas en la región, a través del trabajocompartido• Cubre todas las disciplinas divididas en siete grandes grupos: artes yhumanidades, ciencias agrícolas, ciencias de la ingeniería, cienciasexactas y naturales, ciencias médicas, ciencias sociales,multidisciplinarias
  41. 41. PRODUCTOSLATINDEXActualmente Latindex ofrece tres bases de datos:Directorio, con datos bibliográficos y de contacto de todas las revistasregistradasCatálogo, que incluye únicamente las revistas que cumplen los criteriosde calidad editorial diseñados por LatindexEnlace a Revistas Electrónicas, que permite el acceso a los textoscompletos en los sitios en que se encuentran disponibles.Latindex establece unos criterios de calidad que evalúa en las revistasque incluye en el catálogo.
  42. 42. CRITERIOSLATINDEX• REVISTAS IMPRESAS (33 criterios)• Características básicas• Características de presentación de la revista• Características de gestión y política editorial• Características de contenido• REVISTAS ELECTRÓNICAS (36 criterios)• Adapta a las revistas electrónicas los criterios de las revistas impresas
  43. 43. EUROPEAN REFERENCE INDEX FORTHE HUMANITIES (ERIH)
  44. 44. -Surge para poner en valor la investigación científica en Humanidades,frente a las bases de datos americanas centradas en ciencias aplicadas.Se centra en la visibilidad y difusión de las revistas.2007-2008:- Se valoran 14.000 revistas europeas de humanidades- Se dividen en 14 áreas temáticas. Para cada una se establece unpanel de expertos.- Se publica la lista ERIH inicial.ERIH
  45. 45. 2008-2011-Se establece un mecanismo de feedback para que editores, autores,entidades… proporcionaran información sobre las revistas-En 2011 se publican las listas ERIH revisadas.ERIH
  46. 46. Criterios básicos de inclusión:-Política de selección de artículos (peer-review)-ISSN-Puntualidad-Identificación del Comité editorial-Información bibliográfica completa de las referencias citadas-Dirección completa de cada autor.ERIH
  47. 47. CATEGORÍAS ERIH:NATional (NAT): revistas europeas con importancia académica reconocida entrelos investigadores de la disciplina dentro de un grupo determinado (generalmentelingüísticamente); citadas ocasionalmente fuera del país de edición, aunque supúblico es la comunidad académica local.INTernational (INT): revistas europeas y no europeas con importanciaacadémica internacional reconocida por los investigadores en los respectivasdisciplinas, y que son regularmente citadas en todo el mundo. Tiene dossubcategorías según los criterios de influencia y visibilidad:INT1: revistas internacionales con alta visibilidad e influencia entreinvestigadores en las diversas disciplinas en distintos países; regularmentecitados en todo el mundo.INT2: publicaciones internacionales con visibilidad e influencia significativas enlas diversas disciplinas en distintos paísesW: Revistas que inician su publicación hace menos de tres años.ERIH
  48. 48. DIFUSIÓN Y CALIDAD EDITORIALDE LAS REVISTAS CIENTÍFICASESPAÑOLAS (DICE)
  49. 49. DICE tiene el objetivo de facilitar el conocimiento y la consulta dealgunas de las características editoriales de las revistas españolasde Humanidades y Ciencias Sociales y Jurídicas másestrechamente ligadas a la calidad, ofreciendo una serie deindicadores para cada revista.ANECA utiliza esta base de datos como referencia de calidad delas publicaciones españolas, en sus procesos de evaluación deprofesorado.La elabora el grupo de investigación “Evaluación de publicaciones científicas en Ciencias Sociales y Humanas” (EPUC) del CSIC.
  50. 50. • INDICADORES DICE:• Valoración de la difusión internacional (presencia en BBDD)•Visibilidad alta (>12), media (6-11), baja (<5)• Internacionalidad de las contribuciones (%)• Apertura exterior de los autores• Existencia de evaluadores externos• Criterios LATINDEX cumplidos• Categoría ANEP (A+, A, B, C)• Categoría ERIH• Categoría CARHUS…pero DICE cesa su actividad en 2013
  51. 51. REVISTAS ESPAÑOLAS DE CIENCIASSOCIALES Y HUMANIDADES (RESH)
  52. 52. • RESH (Revistas Españolas de Ciencias Sociales y Humanidades) es unsistema de información que integra indicadores cualitativos y cuantitativosde calidad para las revistas científicas españolas de Ciencias Sociales yHumanidades:• Indicadores de calidad editorial (CNEAI -19, ANECA -22, LATINDEX)• Difusión (Presencia en bases de datos)• Opinión de expertos (encuesta 2009). ICE: Indicador de calidad segúnexpertos• Impacto: tasa de citación (CC. SS: 3 años; Humanidades: 5 años).417 revistas fuente.•RESH ofrece un retrato estático de las revistas españolas de Humanidades yCiencias Sociales• Elaborado por EPUC + EC3
  53. 53. CARHUS Plus+
  54. 54. Es un sistema de clasificación de revistas científicas de los ámbitos deCCSS y Humanidades que se publican a nivel local, nacional einternacional. Su finalidad es contribuir a la evaluación de la investigaciónque se lleva a cabo en el sistema científico y universitario catalán con lamáxima objetividad.Lo desarrolla AGAUR (Agència de Gestió d’Ajuts Universitaris i deRecerca)CARHUS Plus+
  55. 55. • Clasifica las revistas en cuatro niveles: A, B, C, D.• REVISTAS A:» Presentes en la WOS» ICDS > 9,5» Revistas de catalanística con buena puntuación• REVISTAS B, C y D:– ICDS (50%)– FORMATO (25%): (Cumplimiento de la periodicidad, Instrucciones alos autores, afiliación de los autores, Palabras clave, Resumen eninglés)– SISTEMA DE REVISIÓN (12,5%)– COMITÉ EDITORIAL (12,5%)CARHUS Plus+
  56. 56. Es un indicador que mide la difusión de las revistas enlas bases de datos científicas:a) 3 puntos: títulos presentes en 7 bases de datos internacionales de índicey resumen de carácter multidisciplinar sobre CC.SS. y humanidadesb) 3 puntos: títulos presentes en bases de datos de carácter especializado.c) Máximo de a + b = 5 puntos.d) 3,5 puntos: títulos presentes en una de las bases de datos de WOSe) 2,5 puntos: títulos presentes en Latindex y que no están presentes enninguna de las bases de datos internacionales.f) pervivencia de la revista para los títulos presentes en el repertorio Ulrichsperiodicals directory, con la condición de que sea una publicación viva ycon la fecha de inicio bien definida.Nota:en el caso del derecho se ha estipulado una excepción porque seconsidera que todo el ámbito en general tiene un déficit de visibilidad.El ICDS es elaborado por MIAR.ICDS (ÍndiceCompuesto de DifusiónSecundaria )
  57. 57. Contiene un listadoexhaustivo de bases de datosque incluyen la revistaMatriu d’Informació per al’Avaluació de Revistes
  58. 58. CLASIFICACIÓN INTEGRADADE REVISTAS CIENTÍFICAS(CIRC)
  59. 59. CIRC•Clasificación de las revistas científicas españolas deCC.SS. y Humanidades en función de la calidad,integrando los productos de evaluación existentes yconsiderados positivamente por las diferentes agenciasde evaluación nacionales como CNEAI, ANECA).•La clasificación consta de cuatro grupos jerárquicos (gA,gB, gC, gD) en función de la visibilidad de las revistas yun quinto grupo de excelencia (gEx).•EPUC+EC3+ACUTE+LEMI•Desde junio de 2011 la clasificación CIRC se integra enDialnet
  60. 60. CIRCEl criterio para la asignación a los grupos jerárquicos depende de laspuntuaciones que obtiene la revista en bases de datos como:•SCI, SSCI, AHCI•JCR•SCOPUS•SJR•ERIH•IN-RECJ, IN-RECS, IN-RECH•DICE•LATINDEX
  61. 61. LIBROS• SPI muestra un ranking de editoriales basado enla opinión de expertos españoles enHumanidades y Ciencias Sociales
  62. 62. … Ediciones Universidad de Salamanca solicitará una evaluación del originalpresentado a través de un doble informe encargado a expertos (más conocidocomo sistema de evaluación por pares con sistema de doble ciego), quedeterminará la validez, calidad, interés y conveniencia de su publicación o no. Laobra asimismo recibirá una evaluación editorial interna, de carácter técnico. …LIBROSBuscar en la página web de la editorial,especialmente en el apartado de “normaspara autores”
  63. 63. El servicio de búsqueda de indicadoresdel Servicio de BibliotecasHerramientas USAL para ayudar a encontrarindicadores
  64. 64. ACUCYL•Publicaciones de tipo B: En el campo de Ciencias Sociales yJurídicas, los artículos publicados en revistas indexadas en el JournalCitacion Reports (JCR) del Social Sciences Citation Index (SSCI) ysituadas dentro del tercer y cuarto cuartil de su categoría, y en la baseImpacto de las Revistas Españolas de Ciencias Sociales (IN-RECS)dentro del primer cuartil de su categoría...CNEAI• Campo 7. Ciencias Sociales, Políticas, del Comportamiento y de laEducación.a) Los artículos en revistas de reconocida valía, aceptándose comotales las recogidas en los listados por ámbitos científicos en el «SubjectCategory Listing» del «Journal Citation Reports» del «Social ScienceCitation Index» y el «Science Citation Index» (Institute for ScientificInformation –ISI–, Philadelphia, PA, USA).b) Podrán considerarse también los artículos publicados en revistaslistadas en otras bases de datos nacionales o internacionales (porejemplo, ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC,etc.), ...DISPARIDAD DE CRITERIOS
  65. 65. DISPARIDAD DE CRITERIOSANECA (Programa Academia : Principios y orientaciones 2.0)• En Ciencias Sociales y Jurídicas se valoran preferentemente laspublicaciones científicas en revistas de prestigio incluidas en el SocialSciences Citation Index y el Science Citation Index. Se podrán valorarlas publicaciones indexadas en otras bases de datos en función de sucalidad y reconocimiento, en concreto, SCOPUS y, en menor medida,IN-RECS, IN-RECJ.ANEP (Criterios de evaluación de la I+D en ciencias sociales)• ... Un listado que en algunos ámbitos está tomando cierto peso es elIn-RECS, que “replica” la metodología del ISI, en el universo de lasrevistas españolas. Nos preocupa la posible utilización de este listadoen tareas de evaluación de la investigación, por varios motivos...pensamos que estas clasificaciones no se deben admitir como criteriode calidad en aquellas evaluaciones que conlleven algún resultadoinstitucional, especialmente para evaluar la actividad individual de losinvestigadores.
  66. 66. INDICADORESDE CALIDAD
  67. 67. “Lo que yo me pregunto es: ¿Estaremos teniendo impacto?”

×