Evaluación de SciELO Chile

822 views

Published on

Se presentan los principales hallazgos de la evaluación de SciELO-Chile, realizada el 2012. Se presenta el contexto histórico en que surge SciELO-Chile, la metodología de evaluación, y los resultados. Se dimensiona la calidad de la colección SciELO-Chile y su visibilidad internacional. Se caracteriza temáticamente el esfuerzo investigador realizado por los científicos chilenos y se relaciona con la especialización temática de la colección SciELO-Chile. Se mide el impacto y se caracteriza el grado de internacionalización de las revistas que integran la colección de Chile. La presentación se complementan con un destaque del rol de SciELO sobre otros proyectos regionales de edición a texto completo, un recorrido por las conclusiones de la evaluación realizada y desafíos futuros que enfrenta la Red-SciELO y SciELO-Chile. Se mide el impacto de la colección SciELO-Chile, en diferentes ejes como son: la implementación de la edición electrónica, el desarrollo del acceso abierto, la calidad de las revistas indizadas, el uso efectivo de la colección, la satisfacción de los usuarios, y la eficiencia de los componentes que integran la metodología SciELO.

Apresentam-se os principais resultados da avaliação da SciELO-Chile, realizada em 2012. Apresenta-se o contexto histórico em que surge a SciELO-Chile, a metodologia de avaliação, e os resultados. Dimensiona-se a qualidade da coleção SciELO-Chile e sua visibilidade internacional. Caracteriza-se tematicamente o esforço investigador realizado pelos científicos chilenos e relaciona-se com a especialização temática da coleção SciELO-Chile. É medido o impacto e caracteriza-se o grau de internacionalização das revistas que integram a coleção do Chile. A apresentação é complementada com um destaque do papel de SciELO sobre outros projetos regionais de edição a texto completo, um recorrido pelas conclusões da avaliação realizada e desafios futuros que enfrenta a Rede-SciELO e SciELO-Chile. É medido o impacto de a coleção SciELO-Chile, em diferentes eixos como são: a implementação da edição eletrônica, o desenvolvimento do acesso aberto, a qualidade das revistas indexadas, o uso efetivo da coleção, a satisfação dos usuários, e a eficiência dos componentes que integram a metodologia SciELO.

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
822
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
32
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Evaluación de SciELO Chile

  1. 1. Avaliação SciELO-Chile Patricia Muñoz-Palma Programa de Información Científica – CONICYT – Chile Atilio Bustos-González, SCImago Lab – España Pontificia Universidad Católica de Valparaíso – Chile
  2. 2. Plan de la presentación • • • • • Contexto histórico Metodología del estudio Principales resultados Algunas conclusiones Desafíos
  3. 3. Contexto histórico • Chile fue el primer país que acompañó a Brasil en la instalación de SciELO en el mundo. • La gran socia de Abel Packer fue Anna María Prat. • SciELO inició sus operaciones en Chile en 1998, siendo CONICYT el organismo nacional encargado implementar la metodología, construir la colección, y operar los servicios (Prat, 2000). • En la experiencia chilena es muy difícil diferenciar los aportes de CONICYT de los de SciELO. Fuente: Prat, Anna María. (2000). Programa Biblioteca Científica Electrónica en Línea, SciELO-Chile: una nueva forma de acceder a la literatura científica nacional. Biological Research, 33(2). En <http://www.scielo.cl/scielo.php? script=sci_arttext&pid=S071697602000000200003&lng=es&nrm=iso>
  4. 4. CONICYT- CHILE
  5. 5. Programa de Información Científica-CONICYT Su propósito es fortalecer y asegurar el acceso a la información científica nacional e internacional para fines de investigación, educación e innovación. Objetivos: 1 POTENCIAR LA VISIBILIDAD DE LA PRODUCCIÓN CIENTÍFICA NACIONAL JUNTO CON MEDIR CALIDAD Y SU IMPACTO. 2 DIVERSIFICAR LOS MECANISMOS DE ACCESO A LA INFORMACIÓN CIENTÍFICA COMO COMPONENETE DE LAS ACTIVIDADES DE I&D. 3 DISEÑO DE INSTRUMENTOS QUE PERMITAN REUTILIZAR Y GESTIONAR LA INFORMACIÓN CIENTÍFICA Y LOS DATOS DE INVESTIGACIÓN.
  6. 6. Acceso y Visibilidad SciELO: Artículos científicos nacionales Consorcio CINCEL: Artículos científicos internacionales RI SciELO CINCEL Sistema Nacional de Información Científica Red Ciencia Redes y vinculación • Plataforma de colaboración científica de mayor impacto entre los investigadores de habla hispana, con presencia activa en más de 15 países de América Latina Acceso y preservación Patrimonio Científico Nacional RI 1: Proyectos de información referencial RI 2: Proyectos y artículos relacionados a textos completos Monitoreo de producción Acceso, difusión y evaluación • Indicadores de productividad generada por proyectos CONICYT Portal de Investigadores Acceso, difusión y transparencia • Acceso expertos por área • Facilitar contacto de pares • Visibilizar comunidad científica • Indicadores de productividad nacional
  7. 7. ¿Por qué evaluar SciELO-Chile? • Por ser uno de los componentes de la estrategia • • • • nacional de acceso a información científica. La evaluación es parte de la gobernanza de CONICYT. Proceso que se debe aplicar a cualquier política pública diseñada para intervenir en el sistema de C y T después de un periodo de tiempo. La Presidencia se adelantó a una evaluación del Ministerio de Economía. La evaluación es parte de la estrategia destinada a tener evidencia para defender y rediseñar el programa.
  8. 8. ¿Para qué evaluar SciELO-Chile? Contar con una línea base de información e indicadores que faciliten la toma de decisiones. • Verificar si la misión y objetivos declarados por SciELO – Chile, se han cumplido y grado de eficiencia en su ejecución (declaración política y pública). • Conocer impacto del instrumento en el sistema de ciencia y tecnología y sus externalidades positivas. • Analizar cualitativamente de la colección de revistas indexadas en SciELO Chile.
  9. 9. Preguntas de investigación 1. ¿Cuál es el impacto de SciELO-Chile sobre la formación de pregrado? 2. ¿Cuáles son las prácticas de los académicos para estimular el uso de SciELO-Chile en los estudiantes? 3. ¿Cuáles son los hábitos de los estudiantes en relación con el uso de revistas incluida en SciELO-Chile? 4. ¿Cuáles son los hábitos de los académicos e investigadores en relación con el uso de la SciELO-Chile? 5. ¿Por qué son tan altas las estadísticas de acceso a SciELO-Chile? 6. ¿Existen usos de SciELO-Chile no previstos en el diseño del programa? 7. ¿Cuál es el grado de conocimiento, uso y valoración que los alumnos hacen de SciELO-Chile? 8. ¿Cuál es el grado de conocimiento, uso y valoración que los académicos hacen de SciELO-Chile? 9. ¿Cuál es el grado de conocimiento, uso y valoración que los investigadores hacen de SciELO-Chile? 10. ¿Cuál es el grado de conocimiento, uso y valoración que los editores tienen de SciELO-Chile? 11. ¿A juicio de los editores cuáles son las fortalezas y debilidades de SciELO-Chile? 12. ¿Cuál ha sido el efecto de la existencia de SciELO-Chile sobre la visibilidad, calidad e impacto de la ciencia generada en Chile y en la región? 13. ¿Cuáles son los campos temáticos en que SciELO-Chile es más valorado por diferentes audiencias? 14. ¿Se justifica la existencia de SciELO-Chile? 15. ¿Los servicios ofrecidos por SciELO-Chile responden a la promesa? 16. ¿Cuáles son las mayores críticas y recomendaciones que se realizan de SciELO-Chile? 17. Y más ¿..? Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.
  10. 10. Metodología • Desarrollar una evaluación multidimensional. Cada dimensión requirió la definición de una metodología específica, y generó un informe: • Estudio bibliométrico de las revistas SciELO-Chile. • Estudio de percepción de los usuarios de SciELO-Chile. • Estudio de impacto de SciELO-Chile en los estudios de pregrado. • Estudio de impacto de SciELO-Chile en la comunidad científica chilena y en la colaboración internacional. • Estudio de la cadena de producción de SciELO-Chile. • Se trabajó con las 88 revistas vigentes que integraban SciELO-Chile a diciembre 2011. • Los estudios bibliométricos, en todos los casos que fue posible, abarcaron la ventana temporal 1999-2011. • Como fuente de datos bibliométricos se utilizó la base de datos comprensiva SCOPUS®. Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.
  11. 11. Hallazgos SciELO en la producción científica chilena Evolución de la producción chilena total, de la comunicada en revistas SciELO-Chile y en revistas de la Red-SciELO Fuente: Datos Scopus. Análisis: SCImago Research Group.
  12. 12. Hallazgos SciELO-Chile en la producción científica OA El 2011 un 24.8 % de la producción chilena, se publicó en revistas OA con acceso internacional inmediato (Scopus). El 2011 un 11% de la producción científica mundial fue comunica en revistas OA con acceso inmediato (Scopus). Fuente: Laakso and Björk. Anatomy of open access publishing: a study of longitudinal development and internal structure. MDC Medicine. 10, 124 (2012). doi:10.1186/1741-7015-10-124
  13. 13. Hallazgos Especialización temática y esfuerzo investigador % de documentos por área temática publicados en revistas SciELO-Chile el 2011 Fuentes: Datos - Scopus. Análisis - SCImago Research Group.
  14. 14. Hallazgos Especialización temática y esfuerzo investigador Área temática A Chile % producción total 2011 en Scopus Medicina 16,6% Agricultura y ciencias biológicas 12,7% Ciencias planetarias y de la tierra 9,9% Física y astronomía 6,7% Ciencias sociales 6,3% Bioquímica, genética molecular y biología5,8% Matemáticas 5,7% Ingeniería 4,9% Ciencias ambientales 4,2% B Chile % producción en SciElo-Chile 2011 33,0% 17,5% 4,4% 0,0% 14,7% 2,1% 0,2% 3,2% 9,1% Delta A-B Chile % producción total en Q1 2011 Chile Impacto normalizado 2005-2011 -16,4% -4,8% 5,5% 6,7% -8,4% 3,7% 5,5% 1,7% -4,9% 29,36% 42,70% 65,71% 67,72% 25,25% 42,20% 45,72% 39,61% 55,22% 0,90 0,84 1,25 1,14 0,62 0,97 1,05 1,26 0,93 Esfuerzo investigador total y en SciELO-Chile por área temática (con más del 4%) el 2011, comparado con producción chilena total del año 2011 en revistas Q1 e impacto normalizado que alcanzó la producción científica chilena por área temática Fuentes: Datos - Scopus. Análisis - SCImago Research Group.
  15. 15. Hallazgos Aporte SciELO-Chile a la visibilidad de las disciplinas Caso 1 - Revista indexada en SciELO-Chile y Scopus 0.35 Chile-Mundo 0.323 Revista-Mundo 0.30 0.309 0.285 Impacto normalizado 0.25 0.246 0.20 0.182 0.15 0.142 0.137 0.107 0.100 0.10 0.100 0.086 0.056 0.097 0.096 0.05 0.050 0.034 0.00 1999 2000 2001 2002 2003 2004 2005 2006 2007 Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus. 2008 2009 2010
  16. 16. Hallazgos Aporte SciELO-Chile a la visibilidad de las disciplinas Caso 2 - Revista indexada en SciELO-Chile, Scopus y WoS 1.6 Chile-Mundo Revista-Mundo 1.491 1.460 1.359 1.4 1.240 1.130 1.2 1.205 1.046 1.010 1.0 Mundo 0.961 0.991 0.820 0.8 Impacto Normalizado 0.891 0.6 0.435 0.4 0.416 0.240 0.2 0.0 1999 2000 2001 2002 2003 2004 2005 2006 2007 Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus. 2008 2009 2010
  17. 17. Hallazgos Aporte SciELO-Chile a la visibilidad de las disciplinas Impacto Normalizado 0.3 Caso 3 - Revista indexada en SciELO-Chile y Scopus Chile-Mundo Revista-Mundo 0.200 0.2 0.187 0.173 0.162 0.2 0.123 0.1 Mundo 0.078 0.074 0.055 0.1 0.040 0.039 0.032 0.020 0.018 0.0 0.000 1999 2000 2001 2002 2003 2004 2005 2006 2007 Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus. 2008 2009 2010
  18. 18. Hallazgos Impacto Distribución porcentual de revistas Red-SciELO por cuartil - 2011 Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO
  19. 19. Brazil Mexico Colombia Hallazgos EvoluciónNormalized proporción %de Chile de la % Q4 Argentina publicaciones e Normalized Normalized Normalized Normalized Año % Q4 % Q4 Q4 % Q4 citation in Q4 citation in Q4 citation in Q4 citation in Q4 citation in Q4 impacto normalizado0,36 cuartil0,37 revista de publicación por 7,37% de 7,32% 0,40 7,42% 0,25 2003 9,30% 0,36 8,95% 2004 2005 2006 2007 Año 2008 2009 2003 2010 2004 2011 2005 2006 2007 Año 2008 2009 2003 2010 2004 2011 2005 2006 2007 Año 2008 2009 2003 2010 2004 2011 2005 2006 2007 2008 2009 2010 2011 8,60% 0,41 7,46% 0,43 10,99% Brazil 0,33 12,66% 0,34 Normalized % Q3 13,57% 0,29 citation in Q3 13,89% 0,24 23,41% 0,38 17,51% 0,18 23,45% 0,39 21,14% 0,16 25,98% 0,40 32,76% Brazil 0,38 33,93% 0,40 Normalized % Q2 36,46% citation in Q2 0,41 38,95% 0,38 37,65% 0,68 36,28% 0,34 40,65% 0,67 32,88% 0,35 39,43% 0,70 Brazil 38,57% 0,71 Normalized 38,32% 0,70 % Q1 citation in Q1 35,55% 0,73 31,98% 0,68 45,68% 1,15 30,88% 0,71 42,71% 1,21 29,35% 0,69 38,73% 1,37 33,43% 1,31 33,04% 1,33 31,41% 1,38 29,51% 1,40 28,82% 1,39 29,75% 1,49 8,10% 0,41 7,99% 0,33 9,20% Mexico0,24 11,05% 0,34 Normalized % Q3 12,74% 0,24 citation in Q3 14,99% 0,23 17,47% 0,32 18,65% 0,20 21,25% 0,29 16,33% 0,19 24,07% 0,28 26,81% Mexico0,29 27,88% 0,34 Normalized % Q2 32,00% citation in Q2 0,34 30,57% 0,34 39,41% 0,51 26,46% 0,34 37,70% 0,56 27,87% 0,37 38,16% 0,58 Mexico 35,99% 0,62 Normalized 37,22% 0,60 % Q1 citation in Q1 29,85% 0,72 28,89% 0,66 46,95% 1,09 30,68% 0,71 45,76% 1,15 30,00% 0,71 39,74% 1,23 37,53% 1,27 37,34% 1,32 36,66% 1,35 34,69% 1,50 33,59% 1,42 35,98% 1,65 6,36% 0,57 7,74% 0,31 6,55% Argentina 0,24 9,41% 0,31 Normalized % Q3 11,63% 0,23 citation in Q3 13,05% 0,23 18,30% 0,28 14,99% 0,21 17,64% 0,30 13,73% 0,25 17,11% 0,35 23,20%Argentina 0,33 21,74% 0,43 Normalized % Q2 24,62% citation in Q2 0,47 25,31% 0,42 37,88% 0,63 24,15% 0,42 39,31% 0,65 26,24% 0,39 39,81% 0,63 Argentina 38,64% 0,73 Normalized 41,57% 0,67 % Q1 citation in Q1 34,58% 0,74 34,49% 0,69 53,04% 1,21 33,39% 0,73 54,68% 1,25 33,30% 0,70 51,58% 1,24 49,34% 1,41 47,08% 1,39 46,46% 1,52 44,01% 1,53 42,76% 1,46 44,32% 1,75 5,47% 0,60 7,30% 0,81 9,04% Chile 0,24 11,25% 0,34 Normalized % Q3 14,67% 0,37 citation in Q3 14,60% 0,29 16,29% 0,41 17,35% 0,35 16,91% 0,37 19,17% 0,24 19,88% 0,38 25,82% Chile 0,40 29,07% 0,35 Normalized % Q2 28,00% citation in Q2 0,48 30,23% 0,42 30,84% 0,70 23,66% 0,39 38,49% 0,68 23,49% 0,43 37,70% 0,69 Chile 36,56% 0,76 Normalized 34,87% 0,72 % Q1 citation in Q1 32,27% 0,81 31,06% 0,68 60,19% 1,29 33,41% 0,71 53,66% 1,39 31,26% 0,75 50,23% 1,33 43,92% 1,39 43,71% 1,42 41,47% 1,39 40,49% 1,53 40,77% 1,48 42,93% 1,75 8,33% 0,43 9,34% 0,23 8,23% Colombia 0,23 14,70% 0,24 Normalized % Q3 25,27% 0,17 citation in Q3 27,74% 0,15 23,65% 0,38 29,58% 0,14 28,31% 0,26 25,96% 0,19 27,43% 0,30 32,39%Colombia 0,26 35,76% 0,35 Normalized % Q2 32,14% citation in Q2 0,44 34,10% 0,31 42,44% 0,55 26,75% 0,29 38,53% 0,50 26,58% 0,33 33,16% 0,63 Colombia 39,00% 0,79 Normalized 33,82% 0,65 % Q1 citation in Q1 26,91% 0,89 22,90% 0,80 46,65% 1,25 22,05% 0,85 41,18% 1,34 23,67% 0,81 44,56% 1,43 34,44% 1,59 33,77% 1,77 28,69% 1,52 25,62% 1,59 24,77% 1,77 27,50% 2,34 Sin cuartil, por debajo de estos impactos normalizados Fuente: SCImago Institutions Ranking. Fuente de datos: Scopus.
  20. 20. Hallazgos Prestigio de la colección SciELO 5 1 2 6 3 4 Distribución porcentual de revistas Red-Scielo por cuartil - 2011 Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO
  21. 21. Hallazgos Prestigio de la colección SciELO Q1 Q2 Q3 Q4 Sin Q Rank 1,1% 7,8% 14,4% 76,7% 5 2,4% 8,3% 26,6% 30,6% 1,1% 8,0% 23,9% 36,4% 30,7% 2 Colombia 0,8% 6,5% 22,0% 70,7% 6 México 5,9% 9,9% 15,8% 68,3% 3 Venezuela 5,8% 7,7% 40,4% 46,2% 4 Argentina 5 Brasil Chile 1 2 6 3 32,1% 1 4 Distribución porcentual de revistas Red-Scielo por cuartil - 2011 Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO
  22. 22. Resultados Impacto de la colección SciELO n ∑ SNIP 2011 media Argentina 32 6,360 0,20 0,16 78,71 Brasil 215 96,226 0,45 0,35 Chile 57 19,780 0,35 Colombia 38 1,165 México 54 Venezuela 36 desviación coeficiente mediana estandar variación Moda Rank 0,2 0,1 4 77,32 0,4 0,0 1 0,25 71,16 0,3 0,0 2 0,03 0,02 73,62 0,0 0,0 6 12,431 0,23 0,21 92,53 0,1 0,0 3 5,194 0,14 0,19 132,71 0,4 0,0 5 Comparación de SNIP 2011 medio de colecciones Red-SciELO Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO Created by Professor Henk Moed at CTWS, University of Leiden, Source-Normalized Impact per Paper (SNIP) measures contextual citation impact by weighting citations based on the total number of citations in a subject field. It is defined as the ratio of a journal’s citation count per paper and the citation potential in its subject field. It aims to allow direct comparison of sources in different subject fields. Fuente: JournalM3trics. http://www.journalmetrics.com/snip.php Consultado el
  23. 23. Hallazgos Se confirma que SciELO-Chile es reconocido por gestores de políticas públicas, directivos universitarios y editores científicos, como un sello de calidad. Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.
  24. 24. Conclusiones ҉ Mientras en el mundo el 11% de la producción científica fue comunica en revistas OA, en Chile fue el 24,8%. ҉ SciELO-Chile, si bien es comprensivo, a nivel de artículos mantiene una especialización temática en medicina y una parte significativa de las revistas son de ciencias sociales. ҉ Algunas revistas que se internacionalizan, logran desempeños por encima de su comunidad disciplinaria local, favoreciendo su desarrollo. ҉ Existe una proporción significativa de títulos que no alcanzan cuartil, mostrando estos un desempeño periférico. ҉ Las mejores colecciones SciELO son las de Brasil y Chile. ҉ El prestigio y el impacto no son homogéneos en la Red-SciELO. ҉ SciELO-Chile es reconocido como un sello de calidad. Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.
  25. 25. Desafíos – SciELO Chile Revistas indexadas en SciELO- Chile • Incrementar los niveles de calidad. • Fortalecer la profesionalización de los editores. • Internacionalizar las revistas: idioma, autores, evaluadores, lectores. • Diversificar los modelos de negocios. • Fortalecer los canales de comunicación de confianza.
  26. 26. Desafíos – SciELO-Chile Asociado a la gestión en CONICYT • Mejorar el impacto de las revistas actualmente indexadas en SciELO Chile. • Fortalecer la cadena de producción con plataformas de edición científica, que agilicen la evaluación y la publicación oportuna. (extracción de datos , web services, revistas editadas en OJS) etc.)
  27. 27. Desafíos SciELO-Chile Asociado a la gestión en CONICYT • Potenciar la formación de editores profesionales. • Medir consumo de información, y no satisfacción o demanda. • Implementar métricas que no estén solo enfocadas a la citación. (visión global de la colección ) • Incorporar proceso de auditorías y control de calidad a las revistas para eliminar malas prácticas como: exceso de auto citación, y criterios que afectan a la visibilidad de la revista y se alejan de la calidad exigida por SciELO.
  28. 28. Desafíos SciELO-Chile Asociado a la gestión en CONICYT • Generar código de ética nacional que permita una actuación única frente a conductas inadecuadas de autores o editores (ej. COPE). • Servicio para la evaluación de pares, Base de datos de investigadores y evaluadores nacionales e internacionales. • Diseñar e implementar plataforma de SciELO-Chile Datos, Acceso, preservación y transparencia de los datos de investigación utilizados en los artículos publicados en SciELO-Chile.
  29. 29. Parabéns SciELO Patricia Muñoz-Palma Programa de Información Científica – CONICYT – Chile Atilio Bustos-González, SCImago Lab – España Pontificia Universidad Católica de Valparaíso – Chile

×