Métricas responsables. Escenarios para la evaluación de la Ciencia Latinoamericana y del Caribe por Jaider Ochoa-Gutiérrez, Escuela Interamericana de Bibliotecología, Universidad de Antioquia.

1. Métricas responsables
Escenario para la evaluación de la ciencia
latinoamericana y del Caribe
o Gabriel Vélez Cuartas
o Diego Restrepo
o Alejandro Uribe Tirado
o Marcela Suárez Tamayo
o Omar Zapata
o Gerardo Gutiérrez
o César Pallares Delgado
o Jaider Ochoa Gutiérrez

2. Jaider Ochoa Gutiérrez
Profesor e investigador
Escuela Interamericana de Bibliotecología
Laboratorio de Informática y Ciencia de la Información –LabCInf-
CoLaV – Colaboratorio para las Ciencias Sociales Computacionales
Grupo de Investigación Información, Conocimiento y Sociedad
jaider.ochoa@udea.edu.co
https://about.me/jaiderog

3. Quiénes somos

4. Consideraciones problemáticas
1
Exclusión y crítica a las
medidas de citación (sur-sur,
género, prácticas
comunitarias diferentes).
Problema de desarrollo
tecnológico y economía
política de la citación.
2
A pesar de la múltiple oferta
de métricas, las
evaluaciones siguen siendo
pobres dimensionalmente
hablando.
3
La cita vagamente se
considera como referencia
multidimensional (temas,
lugares, organizaciones,
especialidades,
identificadores).
4
Las diversas comunidades
epistémicas no son
consideras en los análisis
citacionales: n-hélice, el
nuevo colegio invisible de
Wagner, la multiplicidad de
actores que colaboran.
5
Retos en la organización de
colecciones digitales.
Obstáculos para la
integración de diferentes
fuentes de datos.
6
La citación está,
tradicionalmente, asociada a
los artículos de revista y
desconoce otras tipologías
documentales como
patentes, libros, informes de
investigación, trabajos de
grado, etc.
7
El reconocimiento de las
diferencias disciplinares en
los modos de producción y
en la valoración de la
construcción de
conocimiento en diferentes
idiomas.
8
Hay un falso dilema
creciente entre las
metodologías cualitativas y
cuantitativas en el estudio de
la ciencia.

5. Premisas importantes
• Lo que no se mide no se puede evaluar
• La ciencia es una actividad crucial para el desarrollo de la sociedad,
es clave medir su estado
• En alta proporción, la investigación se evidencia como un bien
financiado por el estado y por tanto se hace necesario
conocer/estimar su impacto
Marcela Suárez
César Pallares

6. Formas de evaluación
Cualitativa
Evaluación por
pares
Cuantitativa
Indicadores

7. Discusiones métricas tradicionales
Concentración
en pocos
indicadores
Enfoque solo
en revistas
Fuentes de
datos únicas
Costos para el
acceso a datos
Solo impacto
científico
Centrado en
artículos
Usos limitados

8. Propuestas

9. Propuestas comunitarias
• Comunidad crítica y activa
• Múltiples propuestas y críticas sobre el uso de indicadores
• Diversificación de formas de medición de las actividades científicas y tecnológicas

10. Vinculación con el entorno: Manual de Valencia

11. Proponer modelos de métricas responsables implica
Un ejercicio cooperativo de
evaluación de lo que permite
mejorar la observación del
desempeño de los mismos
científicos. En este sentido la
ciencia abierta tiene un papel
muy importante: los algoritmos
de medición (abiertos en
GitHub), los datos (la
circulación abierta no
comercial de los metadatos) y
el diálogo entre los miembros
de la comunidad que se
observa en los modelos de
medición deben ser abiertos.
El rescate de data histórica
que permita observar la
evolución del conocimiento, no
sólo desde el punto de vista de
las citas más antiguas, sino
desde la observación de los
procesos de
institucionalización de la
ciencia en el Sur Global. La
historia siempre ha sido
contada desde Europa. Habría
que ver qué polaridades
cambian con otros datos y
otros relatos.
Métricas orientadas a la
búsqueda de criterios para
medir diferentes formas de
desempeño e impacto
(científico, social, económico,
político, etc.), no para encontrar
sólo a los más visibles.
Ejemplos de algunas iniciativas:
The Metric Tide y Manual de
Valencia.
(Vélez Cuartas et al., 2019)
https://doi.org/10.24215/18539912e068
1 2 3

12. Proponer modelos de métricas responsables implica
Contrastar el desempeño
de las prácticas de las revistas
universitarias y las revistas
comerciales en términos de alcances
en la construcción de comunidades.
Es importante hacer seguimiento a
estas prácticas como posibilidad de
generar estrategias para un balance
pertinente al desarrollo de la
academia sin tener que incurrir en
altos costos para poder generar
circulación del conocimiento. Esto
constituye una dinámica
especialmente importante para los
países del sur global.
La integración de fuentes
de datos de uso bibliométrico,
para observar el desempeño de
los diferentes indicadores,
corroborarlos y crear nuevos.
Para esto se requieren
conocimientos para la
recuperación masiva de datos y
políticas definidas para la
gestión de los mismos.
Considerar otras tipologías
documentales diferentes al
artículo científico: patentes,
libros, informes de
investigación, trabajos de
grado, etc.
(Vélez Cuartas et al., 2019)
https://doi.org/10.24215/18539912e068
4 5 6
Considerar el contexto para
el cálculo de diferentes metrías.
7
Basado en Björneborn e Ingwersen (2004)
http://www.inaecu.com/altmetria-influmetria-informetria/

13. ¿Qué es la citación?
Las citas son la unidad mínima
de una red de comunicacionesque
constituye la totalidad del
conocimiento de la ciencia, y es
posible porque se ha constituido
una forma específica de
comunicación que utiliza la
redundancia,la emergencia y la
variación como principios de
continuidad del sistema. Las
referencias juegan un papel
importante en el equilibrio entre
estos elementos (historia de la cita).
La cita contiene información
significativa (o puede derivarse con
fuentes secundarias) de la fuente de
citación: aspectos temáticos, de
afiliación, temporales, de
especialización, geográficos,etc.
Intertextualidad referencial
(semiótica, semántica, cibernética
de segundo orden, fenomenología).
Las citas son un bien del mercado.
Por lo tanto las referencias se
compran y se venden. Existe un
mercado de referenciasque
estratifican el producto de acuerdo
a estándaresde calidad. Como
alternativas del mercado, las
referencias también circulan en
sistemas de acceso abierto
(economía política).

14. La cita contiene información significativa
(o puede derivarse de fuentes secundarias) de
la fuente de citación: aspectos temáticos, de
afiliación, temporales, de especialización,
geográficos, etc. Intertextualidad referencial
(semiótica, semántica, cibernética de segundo
orden, fenomenología).

15. Representaciones holográficas
HEP / INSPIRE /arXiv
https://paperscape.org/

16. Instrumentos
multidimensionales
para la medición y la evaluación
significativa de la información científica

17. Visibilidad y controversia Objetos a analizar
Autores
Países
Fuentes
Impacto Altmetría Análisis retórico
Organizaciones
CálculodelH5
Depurados
Índices citacionales (indicadores
bibliométricos)
Citationcontext; citation concept analysis.
Análisis semánticos de co-citación y
acoplamientobibliográfico.
Conteos de ocurrencias, descargas, likes,
reenvíos en plataformas sociales, medios de
comunicación y plataformas comerciales
Dinámicas de incremento y
decremento en la citación
Herramientas dominantes
Número de menciones de investigadores en medios, UdeA
Fuente: Google News
Estudio disponible en: http://eprints.rclis.org/39194/
Comportamiento H5 Revista Estudios Gerenciales, 2013-2017
Fuente: Google Scholar
Elaborado por CoLav (2020)

18. Temporalidad, innovación y decaimiento Objetos a analizar
Autores
Países
Fuentes
Disrupción Envejecimiento Senderos y trayectorias
Organizaciones
Análisis de envejecimiento por
campos de conocimiento
Difusión de innovacionesMain-Path Analysis/
Historiografíaalgorítmica
Análisis de disruptividad
Herramientas dominantes
Modelo de cálculo de disruptividad
Estudio disponible en: https://doi.org/10.1038/s41586-019-
0941-9
Main Path Analysis producción COVID, 19 a 30 de marzo
Fuente: Lens
Disponible en: https://onodo.org/visualizations/115523
Difusión

19. Semántica Objetos a analizar
Autores
Países
FuentesVectores Co-palabras Similaridad
Organizaciones
Algoritmos de agrupación:
clusterización y modularidad
Natural LanguageProcessing
Análisis de dominios semánticos
Herramientas dominantes
Difference between Symmetry and Asymmetry of Meaning in Scientific Communications: A Personality Disorder Study Case. ISA world Congress.
Fuente: Vélez Cuartas y Ramírez (2010)
NLP

20. Especialización Objetos a analizar
Autores
Países
Fuentes
Estudios por
disciplinas
Emergencia
disciplinar
Organizaciones
Co-ocurrencia: co-citación y
acoplamientobibliográfico
Diversidad y coherencia
Herramientas dominantes
LAC map of Science, WoS Core Collection (1) y Scielo CI (2); 224 Web of Science categories. Method based on Rafols, Porter and Leydesdorff (2010)
Fuente: Vélez Cuartas, Lucio y Leydesdorff (2017)
Disponible en: https://bit.ly/2Z0ShaH
interdisciplinariedad
(1) (2)

21. Acceso Objetos a analizar
Autores
Países
Fuentes
Rutas de
acceso abierto
Concentraciónde la
industria editorial
Organizaciones
Conteos y distribución de citas de
acuerdo a los tipos de acceso
Número de publicaciones pagadas y
cantidad de dinero por editorial
Cálculo del costo de publicación
institucional, nacional, por autor
Herramientas dominantes
Gasto en APC en la UdeA
Fuente: OADOI
Estudio disponible en: http://eprints.rclis.org/39194/
Costos de APC
Distribución de citas en acceso abierto y cerrado según base de datos, UdeA. Fuente:
OADOI. Estudio disponible en: http://eprints.rclis.org/39194/
Distribución de citas en acceso abierto y cerrado
según base de datos UdeA. Fuente: OADOI
Estudio disponible en: http://eprints.rclis.org/39194/
Ciencia
abierta

22. Comunitaria
Objetos a analizar
Autores
Países
Fuentes
Redes de
conocimiento
Colegios
invisibles
Comunidades
epistémicas
Organizaciones
Análisis de centralidades
Co-citación y acoplamiento
bibliográfico
Asortatividad
Detección de grupos y jerarquías
Herramientas dominantes
Evolución de la colaboración científica en la producción escrita de agro en Colombia
Fuente: Romero Goyeneche et al. (2019)
Estudio disponible en: https://doi.org/10.5565/rev/redes.818
Crecimiento de las relaciones promedio de un investigador en 20 revistas
Elaborado por CoLav
Interdisciplina
N-tuple
hélice

23. Geográfica Objetos a analizar
Autores
Países
Fuentes
Distancias
Alcance
geográfico Idiomas
Organizaciones
Distancias Flujos de conocimientoDualidad centro-
periferia
Alcances
Herramientas dominantes
Alcance geográfico de la Revista Estudios Gerenciales.
Elaborado por CoLav (2020)
Alcance geográfico de la comunidad de un profesor de la UdeA
Elaborado por CoLav (2019)
Giro
espacial
Investigador Global:
76% de las citas
https://doi.org/10.1080/0034340052000320887

24. Uso de la información científica Objetos a analizar
Autores
Países
Fuentes
Investigación Formación Desarrollotecnológico
Organizaciones
Conteos de tipos de documentos
citantes
Herramientas dominantes
Tesis citantes de la producción de Andrés Amell, docente UdeA
Elaborado por CoLav (2019)
Tipos de documentos citantes y funcionalidad
Revista Estudios Gerenciales
Elaborado por CoLav (2020)
Divulgación
Funciones de la producción
investigativa

25. Estándares de información
Objetos a analizar
Autores
Países
Fuentes
Acceso Actualización Disponibilidad
Organizaciones
Conteos de
documentos
Intersecciones
de contenidos
Normalización y estandarización
(correspondencias)
Herramientas dominantes
Número de artículos y citas por base de datos científica, UdeA
Fuentes: Web of Science. Scielo Citation Index, Scopus y Oficina de Asuntos Docentes
Estudio disponible en: http://eprints.rclis.org/39194/
Solapamiento
Recuperación
de información
Restricciones
para el acceso
Períodos y contenidos
de actualización

26. ¿Qué sigue?
Formalizar los
modelos asociados a
las dimensiones
Avanzar en la revisión de
los entornos evaluativos
de la investigación
(gobierno, academia,
sectores económicos,
sociedad)
Una nueva cultura
de la evaluación

27. Conclusiones
Son muchas las herramientas
disponibles para métricas de la
producción investigativa, pero
pocas las dimensiones de
observación.
Pensar en métricas responsables
también implica responsabilidad
en el tratamiento de los datos,
limpieza en la información,
criterios de normalización claros
y recomendación de estándares.
La multidimensionalización del
fenómeno de la citación
permite ampliar los criterios
evaluativos y generar inclusión
de la mayoría de los aspectos
que permiten la observación
de la ciencia de una manera
más integral.
Las métricas responsables van
en doble vía. De un lado el
acompañamiento a los
equipos de evaluación,
políticas y métricas para
mejorar sus herramientas de
captura y análisis de
información. De otro lado, la
importancia de abrir nuevas
dimensiones de análisis y
sintetizar indicadores
pertinentes a las preguntas de
los distintos agentes
relacionados con la ciencia y
la investigación.
Resignificar la evaluación de la
información científica a partir
del su uso, que incluya otras
dimensiones como la formación,
la divulgación y el desarrollo
tecnológico.
1
2
3
4
5

28. Gracias
¿Preguntas?

29. Jaider Ochoa Gutiérrez
Escuela Interamericanade Bibliotecología
Laboratorio de Informática y Ciencia de la Información –LabCInf-
CoLaV – Colaboratorio para las Ciencias Sociales
Computacionales
Grupo de Investigación Información, Conocimiento y Sociedad
jaider.ochoa@udea.edu.co
https://about.me/jaiderog