SlideShare una empresa de Scribd logo
1 de 13
Descargar para leer sin conexión
La evaluación de la actividad científica y el uso de indicadores
bibliométricos




                                                            María Victoria Juárez Micó
                                           Maestría en Ciencia, Tecnología y Sociedad
                                                     Universidad Nacional de Quilmes
                                                                                  2013




 1.    Introducción


 A partir de la creciente atención que principalmente desde la segunda guerra mundial,
las naciones le otorgan a la ciencia y la tecnología, la evaluación científica se ha
tornado un factor clave, fundamentalmente por la escasez de recursos materiales y
económicos que ha provocado la necesidad de determinar prioridades en su
asignación.


 En este proceso, aparecen distintos criterios en cuanto a las finalidades y métodos de
la evaluación, más aún si se tiene en cuenta que las formas de producción de
conocimiento cada vez son más complejas y transdisciplinarias. Si bien existen
algunos criterios compartidos internacionalmente, aún se intentan perfeccionar los
métodos y herramientas utilizadas. En este trabajo se busca indagar acerca del
proceso de la evaluación científica y la utilización de los indicadores bibliométricos
como herramienta para evaluar la ciencia y sus productos.




                                                                                     1
2.     La evaluación de la ciencia y sus productos


 La evaluación de la ciencia y sus productos no es algo novedoso, el juicio entre pares
ha existido desde los comienzos de la comunicación del conocimiento científico, a
mediados del siglo XVII. Con el surgimiento de las primeras revistas científicas como
el    Journal des Scavans de Francia o la Philosophical Transactions of the Royal
Society de Inglaterra, los científicos1 comienzan a publicar el resultado de su trabajo,
exponiéndose a las críticas de sus colegas. Lejos de ser este un aspecto negativo, en
gran medida ha sido motor y estímulo del desarrollo de la actividad científica, siendo la
difusión de los conocimientos parte intrínseca de la labor científica. En palabras de
Spinak (2001), el conocimiento en ciencia y tecnología puede verse como un espiral
ascendente y perfectible, de manera tal que a medida que avanza, se perfecciona y
legitima mediante la comunicación y superación del escrutinio realizado por pares,
garantizándose ciertos estándares de calidad, normas y valores académicos.


 Pero la evaluación, no sólo impulsa el avance de la ciencia, en la actualidad una de
sus funciones primordiales es la determinación en la asignación de recursos
materiales o financieros, y su racionalización, dado que estos son escasos.
Permitiendo además, la definición de nuevos incentivos y programas, la orientación de
políticas específicas y la gestión de la ciencia y la tecnología. Asimismo, se pueden
definir finalidades explícitas e implícitas de la evaluación, las primeras relacionadas
con el financiamiento, la acreditación de los grupos, la determinación de capacidades y
la definición de vacancias. Las segundas, correspondiéndose a la consolidación de la
comunidad científica, su sistema de valores y reconocimientos2.


 A su vez, el constante y creciente interés de los gobiernos por la ciencia y la
tecnología, ha provocado que se tomen en cuenta nuevos criterios en cuanto a su
finalidad. Así, el uso social del conocimiento se comenzó a cuestionar, impulsando a
que la evaluación no sólo se base en criterios de utilidad y eficiencia, sino también se
tenga presente su pertinencia social. Asimismo, las nuevas formas de producción de




1       Debe tenerse presente que aquí el uso de la palabra “científico” es un anacronismo,
dado que comienza a utilizarse recién a principios del siglo XIX, reemplazando al término
“filósofo natural”.
2      Albornoz, M. (2003). La evaluación de la ciencia y la tecnología. Indicadores del sistema
nacional de ciencia y tecnología. Perspectivas metodológicas, Año 3, N° 3.

                                                                                              2
conocimiento y la práctica transdiciplinaria (Gibbons. 1997), generan nuevas
estructuras organizacionales y otros factores a considerar.


 En este nuevo contexto, las evaluaciones científicas deben ser sensibles al entorno
en el que la ciencia y la tecnología se encuentran insertas. Por lo cual, el marco de
evaluación de la labor científica debe contener una visión política, económica, social e
histórica de la realidad local. Asimismo, dado que estas características varían según
cada país, institución, etc., será de gran valor considerar factores como las
expectativas que la sociedad pone en la ciencia, su aplicabilidad, la transferencia de
los conocimientos, su contribución al desarrollo local, nacional e internacional, entre
otros.


 Es por todo ello que en la actualidad, el proceso de evaluación implica una visión
integradora y multidimensional, donde el juicio entre pares es sólo uno de los
elementos a considerar, pero no el único. La autorregulación de la comunidad
científica ya no es suficiente, y elementos como modelos econométricos, análisis
prospectivos y estudios bibliométricos, entre otros, forman parte de este complejo
proceso, donde hacen su aparición nuevos actores que se encuentran por fuera del
ámbito científico. Justamente, en el informe de perspectivas en ciencia y tecnología del
2006 de la OCDE, se plantea la necesidad de generar nuevas herramientas que se
ajusten a la complejidad tratada, dada la importancia de la evaluación para la toma de
decisión en materia de política científica.


 De forma breve se puede decir que en el proceso de evaluación de la actividad
científica se deben considerar distintos aspectos entre los que se encuentran: el
campo de la evaluación, los fines, los criterios a utilizar, la organización, y el contexto
en donde se desarrolla la actividad3. El campo de la evaluación determinará todos los
demás aspectos, dado que allí se define el tipo de investigación, la unidad de análisis
y el momento de la evaluación, entre otros. Establecidos estos, se tendrán en cuenta
los fines, los criterios a usar y la organización. Asimismo, el marco de la evaluación lo
otorga el contexto donde se desarrolla la actividad científica.


 Entre los actuales métodos utilizados para evaluar la investigación se encuentran
entre otros: la revisión por pares; el análisis retrospectivo; la tasa de retorno

3    Albornoz, M (2003). Op. Cit.

                                                                                         3
económico; el estudio de casos; el benchmarking y el análisis bibliométrico. El juicio
entre pares es uno de los más usados, y también de los más criticados dado que
presenta múltiples aspectos a considerar. Por un lado, existen diferencias de criterios,
por lo cual la evaluación no puede ser completamente objetiva, más aún si hay
intereses o prejuicios de por medio; además, se corresponde con un modelo de
innovación lineal, lo cual provoca dificultad al evaluar otro modelo, tendiendo a
privilegiar concepciones tradicionales (ciencia “normal”) por sobre las innovadoras;
asimismo, suele criticarse por casos de arbitrariedades, corrupción, imprecisiones,
falta de visión en cuanto a los aspectos no científicos del conocimiento, etc. Es por
ello, que el papel de los no-pares en la evaluación resulta importante (sobre todo para
el conocimiento producido en “modo 2”), donde el aporte tanto de los administrativos,
como de aquellos profesionales que coinciden en la disciplina pero que no realizan
tareas de investigación, resulta esencial.


 Otro punto a considerar es que resulta necesario que la evaluación posea cierta
legitimidad social. Para ello, es necesario consensuar sus fines y metodologías tanto
entre los evaluadores y evaluados, como así también con los usuarios de sus
resultados. En este sentido, a fines del año 2012, una comisión asesora integrada por
universidades públicas y privadas, el CONICET y organismos de ciencia y tecnología,
definieron nuevos criterios de evaluación del personal científico tecnológico. Se
consideraron la generación de conocimiento en sus distintas modalidades y la
contribución de este a la solución de problemas y/o demandas específicas locales,
regionales o nacionales, sean de carácter social o productivo. Así, se busca tener en
cuenta no sólo la trayectoria individual de los investigadores sino también su inserción
y desempeño en equipos y proyectos estratégicos. A su vez, se desea incentivar las
investigaciones aplicadas, para que se conviertan en desarrollos concretos, prototipos
o productos.


 Por último, cabe señalar que los procesos evaluativos siempre son perfectibles y
justamente por ello, siempre generarán tensiones y dificultades a la hora de llevarlos
adelante, ya sea por disconformidad en sus procedimientos, por errores involuntarios
(y voluntarios) en su trayecto, por falta de adecuación a los cambios de las actividades
de investigación, por criterios arbitrarios, etc. Es por ello que la revisión y reajuste de
los fines y métodos utilizados, deben estar constantemente en la mira, y en




                                                                                         4
correspondencia con las políticas nacionales y el posicionamiento de la actividad
científica local en el contexto mundial.




 3.    Los Indicadores bibliométricos


 El nacimiento de la bibliometría puede situarse a comienzos del siglo XX, vinculado
con los estudios de sociología de la ciencia. Sin embargo, suele señalarse a Eugene
Garfield y Derek de Solla Price como los “padres de la bibliometría” por sus trabajos
realizados a mediados de ese siglo. Por su parte, en el año 1955 Garfield publicó un
artículo desarrollando el concepto del uso de citas para el análisis de la producción
científica, asimismo, fue el fundador en 1960 del Instituto para Información Científica 4
(ISI, según su sigla en inglés), actualmente conocido como Thomson Reuters ISI. Por
otro lado, Solla Price en su libro Little Science, Big Science del año 1963, analizó el
sistema de comunicación científica y el comportamiento de su comunidad, entre otras
cuestiones. Este texto es considerado como el primer trabajo sistemático que usa las
publicaciones científicas como unidad de medida5.


 En un trabajo de Okubo (1997) publicado por la OCDE, se define la bibliometría como
“la disciplina que mide y analiza la producción de la ciencia bajo su forma de artículos,
publicaciones, citaciones, patentes u otros indicadores derivados más complejos”. Así,
el uso de la bibliometría tiene múltiples alcances y enfoques, en disciplinas como
historia de la ciencia y sociología de la ciencia, contribuyendo al estudio del desarrollo
de las distintas disciplinas y las comunidades científicas; en la gestión de la
información, generando bases de datos; y fundamentalmente en la política científica,
mediante la generación de indicadores que midan la producción científica, la
productividad de los investigadores, las redes de cooperación entre instituciones y/o
países, entre otros.


 Como ya se mencionó, la publicación del trabajo científico se encuentra presente
desde el siglo XVII, y al día de hoy es uno de los principales medios de comunicación
de los resultados de las actividades científicas. Para tener idea de la dimensión de

4     Institute for Scientific Information.
5    Pratt, A. (2010). Módulo de capacitación para la recolección y el análisis de indicadores
de producto de las actividades de ciencia y tecnología. REDES - Banco Interamericano de
Desarrollo, Working Paper 7.

                                                                                            5
información con la que se cuenta, se estima que actualmente se agregan a nivel
mundial, alrededor de 1.000.000 de publicaciones por año. Estos grandes volúmenes
de conocimiento como así también, el crecimiento heterogéneo de la producción
científica y la colaboración tanto nacional como internacional en materia de ciencia,
hacen necesario tener herramientas que puedan medir dichos aspectos.


 Si bien las publicaciones no son el único producto de la labor científica, son usadas
como unidad de medida para dicha producción, en particular los artículos indizados en
revistas internacionales, evaluados por expertos de cada disciplina. Al respecto,
existen distintas bases de datos que indexan estas revistas internacionales, una de las
más usadas es el Science Citation Index (SCI), que contiene artículos de múltiples
disciplinas. También son multidisciplinarias Scopus y PASCAL. Otras bases en cambio,
se especializan en disciplinas específicas, como es el caso de MEDLINE que se
dedica al campo de la biomedicina; Chemical Abstracts, de la química; INSPEC, de la
física; Compendex, de ingeniería; y CAB que abarca las ciencias agropecuarias.
Asimismo, se suele utilizar distintas bases de datos de patentes industriales, para
medir la producción tecnológica de un país o región. La base PATENT-SCOPE que
pertenece a la Organización Mundial de la Propiedad Intelectual (WIPO según su sigla
en inglés), es de acceso libre, y entre otras, permite acceder a las solicitudes de
patentes mediante convenio PCT6. También son importantes las bases de datos de la
Oficina de Patentes de Estados Unidos (USPTO según su sigla en inglés) y de la
Oficina de Patentes Europea, que contienen gran cantidad de documentos.


 En cuanto a los datos locales, la Argentina no cuenta con una base de publicaciones
propia, sin embargo, existen esfuerzos regionales como la base Scielo, creada en
Brasil de la cual participan catorce países iberoamericanos, cubriendo revistas de la
región. Por otro lado, existe la Red de Revistas Científicas de América Latina, el
Caribe, España y Portugal (REDALYC) que también ofrece información plausible de
ser utilizada para estudios regionales.        Por su parte, la Red Iberoamericana e
Interamericana de Indicadores de Ciencia y Tecnología (RICyT) publica anualmente
distintos indicadores regionales de ciencia y tecnología, y en particular, se puede
contar con indicadores bibliométricos y de patentes. Asimismo, para el caso de
patentes, en nuestro país se cuenta con el Instituto Nacional de Propiedad Industrial
6     El tratado de colaboración de patentes (PCT) permite solicitar la patente por una
invención de manera simultánea en los distintos países firmantes del convenio. Si bien la
decisión de otorgar o no la patente recae en la oficina de propiedad industrial de cada uno de
los países, este mecanismo simplifica la tramitación del registro.

                                                                                            6
(INPI) que brinda información acerca de marcas y avances tecnológicos sobre
patentes de invención, entre otros, a nivel nacional e internacional.


 El uso de las bases de datos internacionales permite acceder a información que ha
sido previamente evaluada y que mantiene ciertos estándares de normalización y
calidad. Entendiendo que estos criterios de calidad o especificidad, permiten dar
cuenta de la investigación que se encuentra en la frontera científica internacional. Las
principales estrategias de búsqueda se basan en palabras clave, listados de revistas
especializadas, códigos de clasificación de patentes, etc.


 Los principales indicadores bibliométricos que tradicionalmente se utilizan son: la
productividad de los investigadores o instituciones según sus publicaciones; las
disciplinas en las que más se publica; las citas de los artículos; el factor de impacto de
las revistas; el recuento de publicaciones de un país, el cual puede medirse de forma
general, por disciplinas o áreas de interés, por año, etc.; los artículos publicados en
conjunto con otros países; la co-publicación entre distintas instituciones, sean estas
nacionales o extranjeras, entre otros indicadores. Asimismo, en función de lo
requerido, estos indicadores se pueden complejizar.


 Por lo general, los indicadores bibliométricos son elementos confiables que permiten
a su vez la comparación internacional. Al respecto, resulta de interés para las distintas
naciones que el esfuerzo realizado en materia de ciencia y tecnología, sea cual fuere
su grado de avance, pueda ser comparado tanto a nivel regional como global. Ya sea
para reforzar los vínculos de colaboración, para la generación e implementación de
políticas, como para posicionarse a nivel mundial en áreas estratégicas.


 Sin embargo, el uso de estos indicadores es controvertido y ha generado
discrepancias al respecto. En principio, se corre grandes riesgos al atribuirle a las
revistas más prestigiosas la capacidad de juzgar el valor de la ciencia. Por un lado,
porque centrándonos en ellas se asume que la ciencia es el conocimiento que se
publica, quedando por fuera todo aquello que no es publicado. En este sentido, se
debe considerar la desigual cobertura de las revistas según las distintas bases de
datos, como así también las restricciones idiomáticas y de recursos en cuanto a la
publicación. Asimismo, existe una sub-representación de los campos científicos, dado
que no todas las disciplinas acostumbran a publicar sus resultados; como así también,


                                                                                         7
una sub-representación de la producción científica de los países en desarrollo, dado
que las revistas son principalmente de los países centrales y, en general, representan
el mainstream de la ciencia internacional, que coincide con las principales líneas de
investigación de dichos países. Por otro lado, existe cierta tendencia a transferir el
prestigio de la revista de publicación al documento allí inscripto, otorgando un valor al
documento que no siempre se corresponde. En particular, el uso de indicadores de
citas es complejo, principalmente porque la citación no implica calidad. Entre otros
problemas se encuentran la autocitación, la citación tendenciosa y las citas a autores
reconocidos (efecto San Mateo7). Además, debe considerarse que la citación muchas
veces se realiza para cumplir ciertas normas de calidad que son exigidas en la propia
comunidad científica, como forma de acreditar el propio trabajo, considerando otros
trabajos ya aceptados en el ámbito científico.


 Dada la cantidad de inconvenientes que se pueden suscitar con estos indicadores,
debe tenerse en cuenta que la bibliometría es mucho más eficiente en medir y evaluar
ciencia básica que ciencia aplicada; que por sus características es más aplicable a las
ciencias “duras” que a las ciencias “blandas”; y que los datos agregados, sean a nivel
nacional o institucional, resultan mucho más confiables que la desagregación a nivel
individual. Asimismo, muchas veces la aplicación obsesiva de estos indicadores en
países en desarrollo persiguiendo la comparación con países industrializados, omite
las realidades locales y regionales.




 4.    El uso de indicadores bibliométricos como herramienta para evaluar la
ciencia


 La evaluación científica es parte fundamental de todos los programas de ciencia y
tecnología, y la asignación de recursos a estos programas es una de las principales
preocupaciones. Es por ello que se debe contar con herramientas cada vez más
eficaces para los procesos de toma de decisiones, una de estas herramientas es la
bibliometría.


7     El efecto San Mateo, fue señalado por Robert Merton, quien planteaba que ante dos
contribuciones equivalentes, los investigadores de renombre tienen más reconocimiento que
aquellos desconocidos. En este sentido, Mario Bunge sugiere que el mismo Merton se ha
beneficiado con el efecto San Mateo, ya que en trabajos realizados con otros autores uno
tiende a recordar sólo su nombre.

                                                                                        8
Una de las formas de evaluar la ciencia es mediante sus resultados, sin embargo, al
ser estos intangibles y multidimensionales se dificulta su medición. Es por ello, que se
busca medir la producción científica por medio de la publicación del conocimiento
producido, dado que las publicaciones son uno de los principales medios de
comunicación y difusión de los resultados de las actividades científicas y tecnológicas.


 Los indicadores basados en publicaciones científicas permiten, entre otras
estimaciones, la comparación a nivel internacional, el reconocimiento de áreas fuertes
y de vacancias, el posicionamiento de las instituciones en determinadas temáticas, y la
productividad científica.


 A nivel nacional, la evaluación de los resultados de la ciencia es clave para la
definición de políticas científicas. La competitividad nacional, la identificación de
instituciones y actores clave, la cooperación en áreas específicas, y el desarrollo de
determinadas disciplinas, entre otros, pueden medirse mediante indicadores
bibliométricos. El tener conocimiento acerca de estos aspectos influye en la
determinación de políticas y en la gestión de la ciencia, sea para la creación de
créditos o subsidios en determinadas áreas, el impulso de convenios entre
instituciones locales y extranjeras, la determinación de prioridades, la creación de
nuevos organismos de gestión, etc.


 Al igual que a nivel nacional, la evaluación científica en una institución permite la
revisión de los programas de ciencia y tecnología y la asignación de recursos
económicos o materiales. Sin embargo, en ambos casos debe considerarse que este
tipo de indicadores son una herramienta, pero no la única y que de por si solos no son
suficientes para la toma de decisión. Deben utilizarse como complemento de otros
métodos de evaluación, y a pesar de ser bastante confiables, no pueden tomarse
como una verdad absoluta.


 Los indicadores bibliométricos como forma de medir la productividad científica, se
pueden sustentar desde el punto de vista teórico en que, por un lado, los científicos
publican todos sus resultados, ya sea por necesidad de reconocimiento, sea porque
los mismos mecanismos burocráticos de evaluación los empujan a hacerlo. Por otro
lado, estas publicaciones se encuentran sometidas al sistema de revisión de pares,



                                                                                       9
por parte de las revistas donde se publican, lo cual garantiza su calidad y originalidad
científica8.
 La cantidad de artículos publicados por un autor, el análisis de citas o el factor de
impacto de las revistas, son buenos indicadores de producción científica. Sin embargo,
los indicadores bibliométricos son más confiables cuando se trabaja la información de
forma agregada, por lo que cuando se tratan a nivel de desagregación de personas,
deben tomarse con cuidado. Más aún teniendo en cuenta que determinadas
comunidades científicas no utilizan tan frecuentemente las publicaciones como forma
de difusión del conocimiento, que por este medio no se puede aseverar la calidad de lo
producido, que no se cubren todas las revistas científicas, entre otras limitaciones.
Asimismo, debe considerarse que estos indicadores son instrumentos neutros que no
consideran la idiosincrasia cultural del contexto de investigación.


 Por último, dada la complejidad de las actividades científicas y tecnológicas, estas no
pueden evaluarse exclusivamente por el uso de un tipo de indicador o un método en
particular, sino que deben ser abarcadas de forma más completa. Es por ello que los
indicadores bibliométricos son un excelente complemento de otros métodos de
evaluación. Asimismo, se debe considerar que los métodos de evaluación deben estar
en constante revisión y actualización, para poder adecuarse a las nuevas formas de
producción de conocimiento y estar acordes a las políticas científicas.




 5.     Conclusiones


 La evaluación científica desde sus orígenes ha sido impulsora del avance de la
ciencia y en la actualidad una de sus funciones primordiales es la determinación en la
asignación de recursos materiales o financieros.


 El proceso de evaluación implica una visión integradora y multidimensional dada la
complejidad en la producción del conocimiento. Dado que dichos procesos son
perfectibles, generan tensiones y dificultades a la hora de llevarlos adelante, ya sea
por disconformidad en sus procedimientos, por errores involuntarios (y voluntarios) en



8 Albornoz, Mario; Barrere, Rodolfo; Bageneta, Martín y Matas, Lautaro (2007). Indicadores
bibliométricos como herramienta para la evaluación institucional. CAICYT-CONICET.

                                                                                         10
su trayecto, por falta de adecuación a los cambios de las actividades de investigación,
por criterios arbitrarios, etc.


 Los indicadores bibliométricos son elementos confiables para medir la producción
científica, que permiten a su vez la comparación internacional. Sin embargo, debe
tenerse en cuenta que la bibliometría es mucho más eficiente en medir y evaluar
ciencia básica que ciencia aplicada; que por sus características es más aplicable a las
ciencias “duras” que a las ciencias “blandas”; y que los datos agregados, sean a nivel
nacional o institucional, resultan mucho más confiables que la desagregación a nivel
individual.


 Por último, dada la complejidad de las actividades científicas y tecnológicas, estas no
pueden evaluarse exclusivamente por el uso de un tipo de indicador o un método en
particular, sino que deben ser abarcadas de forma más completa. Es por ello que los
indicadores bibliométricos son un excelente complemento de otros métodos de
evaluación, los cuales deben estar en constante revisión y actualización, para poder
adecuarse a las nuevas formas de producción de conocimiento y estar acordes a las
políticas científicas.




                                                                                     11
6.    Bibliografía


 Albornoz, Mario (2003). La evaluación de la ciencia y la tecnología. Indicadores del
sistema nacional de ciencia y tecnología. Perspectivas metodológicas, Año 3, N° 3.


 Albornoz, Mario; Barrere, Rodolfo; Bageneta, Martín y Matas, Lautaro (2007).
Indicadores bibliométricos como herramienta para la evaluación institucional. CAICYT-
CONICET. Disponible en: www.asociacionag.org.ar


 Arencibia, Jorge y de Moya Anegón, Félix (2008). La evaluación de la investigación
científica: una aproximación teórica desde la Cienciometría. Acimed, 2008, 17(4).
Disponible en: www.scielo.sld.cu


 Barre, Rémi (1997). La producción de indicadores para la política de investigación e
innovación: organización y contexto institucional. En El Universo de la Medición. La
perspectiva de la ciencia y la tecnología, Albornoz, M. y Jaramillo, H. (editores), RICYT
- COLCIENCIAS - Tercer Mundo, Bogotá.


 Borrego, Ángel y Urbano, Cristóbal (2006). La evaluación de revistas científicas en
ciencias sociales y humanidades. Información, Cultura y Sociedad, N° 14, pp. 11-27.


 Bunge, Mario (2001). El efecto San Mateo (publicación realizada en junio de 1991).
Polis, Revista de la Universidad Bolivariana, año/vol. 1, N°2. Disponible en:
www.redalyc.com


 Cortés Vargas, Daniel (2007). Medir la producción científica de los investigadores
universitarios: La bibliometría y sus límites. Revista de la Educación Superior, Vol.
XXXVI (2), N° 142, pp. 43-65.


 Gibbons, Michael; Limoges, Camille; Nowotny, Helga; Schwartzman, Simon; Scott,
Peter y Trow, Martin (1997). La nueva producción del conocimiento. Ediciones
Pomares-Corredor.




                                                                                      12
Gómez Caridad, Isabel y Bordon Gangas, María (1997). Limitaciones en el uso de los
indicadores bibliométricos para la evaluación científica. Política Científica, N° 46, pp.
21-27.


 González Guitián, María Virginia y Molina Piñeiro, Maricela (2008). La evaluación de
la ciencia y la tecnología: revisión de sus indicadores. Acimed, 2008, 18 (6). Disponible
en: www.bvs.sld.cu


 OCDE (2003). Manual de Frascati 2002. Propuesta de norma práctica para
encuestas de investigación y desarrollo experimental. Disponible en: www.oecd.org


 OCDE (2006). Ciencia, tecnología e industria: perspectiva de la OCDE 2006.
Síntesis. Disponible en: www.oecd.org


 Okubo, Yoshiko (1997). Bibliometric indicators and analysis of research systems:
Methods and examples. OECD. Science, Technology and Industry Working Papers.
Disponible en: www.oecd.org


 Prat, Anna María (2010). Módulo de capacitación para la recolección y el análisis de
indicadores de producto de las actividades de ciencia y tecnología. REDES - Banco
Interamericano de Desarrollo, Working Paper 7. Disponible en: www.politicascti.net


 Spinak, Ernesto (2001). Indicadores cienciométricos. Acimed, 2001, 9 (Suppl.): 42-9.
Disponible en: www.bvs.sld.cu




                                                                                      13

Más contenido relacionado

La actualidad más candente

Evaluación de revistas cientificas
Evaluación de revistas cientificasEvaluación de revistas cientificas
Evaluación de revistas cientificasguest18c6a6
 
Formulario para presentación de anteproyectos 2021 para rubrica breslin
Formulario para presentación de anteproyectos 2021 para rubrica    breslinFormulario para presentación de anteproyectos 2021 para rubrica    breslin
Formulario para presentación de anteproyectos 2021 para rubrica breslinElva Lara
 
Visibilidad de la ciencia y escritura de artículos de impacto
Visibilidad de la ciencia y escritura de artículos de impactoVisibilidad de la ciencia y escritura de artículos de impacto
Visibilidad de la ciencia y escritura de artículos de impactoOrlando Gregorio-Chaviano
 
Estructura diseño curricular díaz barriga
Estructura diseño curricular díaz barrigaEstructura diseño curricular díaz barriga
Estructura diseño curricular díaz barrigaWilliam Garcia
 
Lineas, Programa y Proyectos de Investigacion / Formación de Recursos Humanos
Lineas, Programa y Proyectos de Investigacion / Formación de Recursos HumanosLineas, Programa y Proyectos de Investigacion / Formación de Recursos Humanos
Lineas, Programa y Proyectos de Investigacion / Formación de Recursos HumanosRicardo Cuberos Mejía
 
Sociales icfes
Sociales icfesSociales icfes
Sociales icfesjuan vega
 
PROPUESTA DE CLASIFICACION DE REVISTAS CIENTIFICAS COLOMBIANAS DE CIENCIAS SO...
PROPUESTA DE CLASIFICACION DE REVISTAS CIENTIFICAS COLOMBIANAS DE CIENCIAS SO...PROPUESTA DE CLASIFICACION DE REVISTAS CIENTIFICAS COLOMBIANAS DE CIENCIAS SO...
PROPUESTA DE CLASIFICACION DE REVISTAS CIENTIFICAS COLOMBIANAS DE CIENCIAS SO...Orlando Gregorio-Chaviano
 
Metodo cientifico
Metodo cientificoMetodo cientifico
Metodo cientificoGato Rivas
 
Presentacion 2 proyecto
Presentacion 2 proyectoPresentacion 2 proyecto
Presentacion 2 proyectoAnais Hartmann
 
Guia Metodológica FAREM 2015
Guia Metodológica FAREM 2015Guia Metodológica FAREM 2015
Guia Metodológica FAREM 2015Danielguido
 
Programa uc invest e innov iii unes
Programa uc invest e  innov iii unesPrograma uc invest e  innov iii unes
Programa uc invest e innov iii unesDouglas Rafael
 
Ismery silva. presentacion tema1 proyecto i. diag intsitamb
Ismery silva. presentacion tema1 proyecto i. diag intsitambIsmery silva. presentacion tema1 proyecto i. diag intsitamb
Ismery silva. presentacion tema1 proyecto i. diag intsitambIsmery Silva
 
Teoría Desarrollo Curricular.
Teoría Desarrollo Curricular.Teoría Desarrollo Curricular.
Teoría Desarrollo Curricular.Lorgio Soliz
 
La investigación-acción en la etapa de Educación Infantil
La investigación-acción en la etapa de Educación InfantilLa investigación-acción en la etapa de Educación Infantil
La investigación-acción en la etapa de Educación InfantilGloria Alfaro Portero
 

La actualidad más candente (18)

13
1313
13
 
Evaluación de revistas cientificas
Evaluación de revistas cientificasEvaluación de revistas cientificas
Evaluación de revistas cientificas
 
Formulario para presentación de anteproyectos 2021 para rubrica breslin
Formulario para presentación de anteproyectos 2021 para rubrica    breslinFormulario para presentación de anteproyectos 2021 para rubrica    breslin
Formulario para presentación de anteproyectos 2021 para rubrica breslin
 
Visibilidad de la ciencia y escritura de artículos de impacto
Visibilidad de la ciencia y escritura de artículos de impactoVisibilidad de la ciencia y escritura de artículos de impacto
Visibilidad de la ciencia y escritura de artículos de impacto
 
Estructura diseño curricular díaz barriga
Estructura diseño curricular díaz barrigaEstructura diseño curricular díaz barriga
Estructura diseño curricular díaz barriga
 
Lineas, Programa y Proyectos de Investigacion / Formación de Recursos Humanos
Lineas, Programa y Proyectos de Investigacion / Formación de Recursos HumanosLineas, Programa y Proyectos de Investigacion / Formación de Recursos Humanos
Lineas, Programa y Proyectos de Investigacion / Formación de Recursos Humanos
 
Sociales icfes
Sociales icfesSociales icfes
Sociales icfes
 
PROPUESTA DE CLASIFICACION DE REVISTAS CIENTIFICAS COLOMBIANAS DE CIENCIAS SO...
PROPUESTA DE CLASIFICACION DE REVISTAS CIENTIFICAS COLOMBIANAS DE CIENCIAS SO...PROPUESTA DE CLASIFICACION DE REVISTAS CIENTIFICAS COLOMBIANAS DE CIENCIAS SO...
PROPUESTA DE CLASIFICACION DE REVISTAS CIENTIFICAS COLOMBIANAS DE CIENCIAS SO...
 
Metodo cientifico
Metodo cientificoMetodo cientifico
Metodo cientifico
 
Comunicacion
ComunicacionComunicacion
Comunicacion
 
Presentacion 2 proyecto
Presentacion 2 proyectoPresentacion 2 proyecto
Presentacion 2 proyecto
 
Manual de investigación 2012
Manual de investigación 2012Manual de investigación 2012
Manual de investigación 2012
 
Guia Metodológica FAREM 2015
Guia Metodológica FAREM 2015Guia Metodológica FAREM 2015
Guia Metodológica FAREM 2015
 
Programa uc invest e innov iii unes
Programa uc invest e  innov iii unesPrograma uc invest e  innov iii unes
Programa uc invest e innov iii unes
 
Ciencia de la_investigacion
Ciencia de la_investigacionCiencia de la_investigacion
Ciencia de la_investigacion
 
Ismery silva. presentacion tema1 proyecto i. diag intsitamb
Ismery silva. presentacion tema1 proyecto i. diag intsitambIsmery silva. presentacion tema1 proyecto i. diag intsitamb
Ismery silva. presentacion tema1 proyecto i. diag intsitamb
 
Teoría Desarrollo Curricular.
Teoría Desarrollo Curricular.Teoría Desarrollo Curricular.
Teoría Desarrollo Curricular.
 
La investigación-acción en la etapa de Educación Infantil
La investigación-acción en la etapa de Educación InfantilLa investigación-acción en la etapa de Educación Infantil
La investigación-acción en la etapa de Educación Infantil
 

Similar a La evaluación de la actividad científica y el uso de indicadores bibliométricos

Ciencia y tecnologia
Ciencia y tecnologiaCiencia y tecnologia
Ciencia y tecnologiaMbartolo25
 
Revistas cientificas america latina
Revistas cientificas america latinaRevistas cientificas america latina
Revistas cientificas america latinaJOHNNY28000
 
La Investigacion Cientifica Teoria y Metodologia.pdf
La Investigacion Cientifica Teoria y Metodologia.pdfLa Investigacion Cientifica Teoria y Metodologia.pdf
La Investigacion Cientifica Teoria y Metodologia.pdfPlaninvestSa
 
La Investigacion Cientifica Teoria y Metodologia.pdf
La Investigacion Cientifica Teoria y Metodologia.pdfLa Investigacion Cientifica Teoria y Metodologia.pdf
La Investigacion Cientifica Teoria y Metodologia.pdfJhonnCharless
 
modelo de medición de laciencia desde el Sur Global: métricas responsables
modelo de medición de laciencia desde el Sur Global: métricas responsablesmodelo de medición de laciencia desde el Sur Global: métricas responsables
modelo de medición de laciencia desde el Sur Global: métricas responsablesAna Maria Franco
 
Indicadores y evaluación del conocimiento científico y su impacto social
Indicadores y evaluación del conocimiento científico y su impacto socialIndicadores y evaluación del conocimiento científico y su impacto social
Indicadores y evaluación del conocimiento científico y su impacto socialMaria Garcia
 
Programa UNESR: Metodología de la Investigación (Año:1981)
Programa UNESR: Metodología de la Investigación (Año:1981)Programa UNESR: Metodología de la Investigación (Año:1981)
Programa UNESR: Metodología de la Investigación (Año:1981)Dra. Anggy Rodríguez
 
Sillabus dra. peirone
Sillabus dra. peironeSillabus dra. peirone
Sillabus dra. peironeepeirone
 
ENSAYO INVESTIGACION CUALITATIVA
ENSAYO INVESTIGACION CUALITATIVAENSAYO INVESTIGACION CUALITATIVA
ENSAYO INVESTIGACION CUALITATIVAGustavo1840
 
ENSAYO INVESTIGACION CUALITATIVA
ENSAYO INVESTIGACION CUALITATIVAENSAYO INVESTIGACION CUALITATIVA
ENSAYO INVESTIGACION CUALITATIVAGustavo1840
 
57769404 ensayo-investigacion-cualitativa-cuantitativa
57769404 ensayo-investigacion-cualitativa-cuantitativa57769404 ensayo-investigacion-cualitativa-cuantitativa
57769404 ensayo-investigacion-cualitativa-cuantitativaYudith Cb
 
El proceso de_la_investigacion_cientifica
El proceso de_la_investigacion_cientificaEl proceso de_la_investigacion_cientifica
El proceso de_la_investigacion_cientificaFran Sonur
 
ACTUALIZADPO DISEÑO DE INSTRUMENTOS DE INVESTIGACION .pdf
ACTUALIZADPO DISEÑO DE INSTRUMENTOS DE INVESTIGACION .pdfACTUALIZADPO DISEÑO DE INSTRUMENTOS DE INVESTIGACION .pdf
ACTUALIZADPO DISEÑO DE INSTRUMENTOS DE INVESTIGACION .pdfLuzMayeliSaucedo
 
El proceso de escritura y publicación de un artículo científico
El proceso de escritura y publicación de un artículo científicoEl proceso de escritura y publicación de un artículo científico
El proceso de escritura y publicación de un artículo científicoDANIEL CUBILLOS
 
investigacion cualitativa
investigacion cualitativainvestigacion cualitativa
investigacion cualitativamargotha
 
Estudios metricos (impacto cientifico)
 Estudios metricos (impacto cientifico) Estudios metricos (impacto cientifico)
Estudios metricos (impacto cientifico)Jetzymar
 

Similar a La evaluación de la actividad científica y el uso de indicadores bibliométricos (20)

Ciencia y tecnologia
Ciencia y tecnologiaCiencia y tecnologia
Ciencia y tecnologia
 
Revistas cientificas america latina
Revistas cientificas america latinaRevistas cientificas america latina
Revistas cientificas america latina
 
La Investigacion Cientifica Teoria y Metodologia.pdf
La Investigacion Cientifica Teoria y Metodologia.pdfLa Investigacion Cientifica Teoria y Metodologia.pdf
La Investigacion Cientifica Teoria y Metodologia.pdf
 
La Investigacion Cientifica Teoria y Metodologia.pdf
La Investigacion Cientifica Teoria y Metodologia.pdfLa Investigacion Cientifica Teoria y Metodologia.pdf
La Investigacion Cientifica Teoria y Metodologia.pdf
 
Manual basico de metodologia de la investigación social
Manual basico de metodologia de la investigación socialManual basico de metodologia de la investigación social
Manual basico de metodologia de la investigación social
 
modelo de medición de laciencia desde el Sur Global: métricas responsables
modelo de medición de laciencia desde el Sur Global: métricas responsablesmodelo de medición de laciencia desde el Sur Global: métricas responsables
modelo de medición de laciencia desde el Sur Global: métricas responsables
 
Indicadores y evaluación del conocimiento científico y su impacto social
Indicadores y evaluación del conocimiento científico y su impacto socialIndicadores y evaluación del conocimiento científico y su impacto social
Indicadores y evaluación del conocimiento científico y su impacto social
 
Apuntes metodosdeinvestigacion
Apuntes metodosdeinvestigacionApuntes metodosdeinvestigacion
Apuntes metodosdeinvestigacion
 
Programa UNESR: Metodología de la Investigación (Año:1981)
Programa UNESR: Metodología de la Investigación (Año:1981)Programa UNESR: Metodología de la Investigación (Año:1981)
Programa UNESR: Metodología de la Investigación (Año:1981)
 
Sillabus dra. peirone
Sillabus dra. peironeSillabus dra. peirone
Sillabus dra. peirone
 
ENSAYO INVESTIGACION CUALITATIVA
ENSAYO INVESTIGACION CUALITATIVAENSAYO INVESTIGACION CUALITATIVA
ENSAYO INVESTIGACION CUALITATIVA
 
ENSAYO INVESTIGACION CUALITATIVA
ENSAYO INVESTIGACION CUALITATIVAENSAYO INVESTIGACION CUALITATIVA
ENSAYO INVESTIGACION CUALITATIVA
 
Proceso Investigacion Cientifica
Proceso Investigacion CientificaProceso Investigacion Cientifica
Proceso Investigacion Cientifica
 
57769404 ensayo-investigacion-cualitativa-cuantitativa
57769404 ensayo-investigacion-cualitativa-cuantitativa57769404 ensayo-investigacion-cualitativa-cuantitativa
57769404 ensayo-investigacion-cualitativa-cuantitativa
 
El proceso de_la_investigacion_cientifica
El proceso de_la_investigacion_cientificaEl proceso de_la_investigacion_cientifica
El proceso de_la_investigacion_cientifica
 
Capitulo i mimi
Capitulo i mimiCapitulo i mimi
Capitulo i mimi
 
ACTUALIZADPO DISEÑO DE INSTRUMENTOS DE INVESTIGACION .pdf
ACTUALIZADPO DISEÑO DE INSTRUMENTOS DE INVESTIGACION .pdfACTUALIZADPO DISEÑO DE INSTRUMENTOS DE INVESTIGACION .pdf
ACTUALIZADPO DISEÑO DE INSTRUMENTOS DE INVESTIGACION .pdf
 
El proceso de escritura y publicación de un artículo científico
El proceso de escritura y publicación de un artículo científicoEl proceso de escritura y publicación de un artículo científico
El proceso de escritura y publicación de un artículo científico
 
investigacion cualitativa
investigacion cualitativainvestigacion cualitativa
investigacion cualitativa
 
Estudios metricos (impacto cientifico)
 Estudios metricos (impacto cientifico) Estudios metricos (impacto cientifico)
Estudios metricos (impacto cientifico)
 

La evaluación de la actividad científica y el uso de indicadores bibliométricos

  • 1. La evaluación de la actividad científica y el uso de indicadores bibliométricos María Victoria Juárez Micó Maestría en Ciencia, Tecnología y Sociedad Universidad Nacional de Quilmes 2013 1. Introducción A partir de la creciente atención que principalmente desde la segunda guerra mundial, las naciones le otorgan a la ciencia y la tecnología, la evaluación científica se ha tornado un factor clave, fundamentalmente por la escasez de recursos materiales y económicos que ha provocado la necesidad de determinar prioridades en su asignación. En este proceso, aparecen distintos criterios en cuanto a las finalidades y métodos de la evaluación, más aún si se tiene en cuenta que las formas de producción de conocimiento cada vez son más complejas y transdisciplinarias. Si bien existen algunos criterios compartidos internacionalmente, aún se intentan perfeccionar los métodos y herramientas utilizadas. En este trabajo se busca indagar acerca del proceso de la evaluación científica y la utilización de los indicadores bibliométricos como herramienta para evaluar la ciencia y sus productos. 1
  • 2. 2. La evaluación de la ciencia y sus productos La evaluación de la ciencia y sus productos no es algo novedoso, el juicio entre pares ha existido desde los comienzos de la comunicación del conocimiento científico, a mediados del siglo XVII. Con el surgimiento de las primeras revistas científicas como el Journal des Scavans de Francia o la Philosophical Transactions of the Royal Society de Inglaterra, los científicos1 comienzan a publicar el resultado de su trabajo, exponiéndose a las críticas de sus colegas. Lejos de ser este un aspecto negativo, en gran medida ha sido motor y estímulo del desarrollo de la actividad científica, siendo la difusión de los conocimientos parte intrínseca de la labor científica. En palabras de Spinak (2001), el conocimiento en ciencia y tecnología puede verse como un espiral ascendente y perfectible, de manera tal que a medida que avanza, se perfecciona y legitima mediante la comunicación y superación del escrutinio realizado por pares, garantizándose ciertos estándares de calidad, normas y valores académicos. Pero la evaluación, no sólo impulsa el avance de la ciencia, en la actualidad una de sus funciones primordiales es la determinación en la asignación de recursos materiales o financieros, y su racionalización, dado que estos son escasos. Permitiendo además, la definición de nuevos incentivos y programas, la orientación de políticas específicas y la gestión de la ciencia y la tecnología. Asimismo, se pueden definir finalidades explícitas e implícitas de la evaluación, las primeras relacionadas con el financiamiento, la acreditación de los grupos, la determinación de capacidades y la definición de vacancias. Las segundas, correspondiéndose a la consolidación de la comunidad científica, su sistema de valores y reconocimientos2. A su vez, el constante y creciente interés de los gobiernos por la ciencia y la tecnología, ha provocado que se tomen en cuenta nuevos criterios en cuanto a su finalidad. Así, el uso social del conocimiento se comenzó a cuestionar, impulsando a que la evaluación no sólo se base en criterios de utilidad y eficiencia, sino también se tenga presente su pertinencia social. Asimismo, las nuevas formas de producción de 1 Debe tenerse presente que aquí el uso de la palabra “científico” es un anacronismo, dado que comienza a utilizarse recién a principios del siglo XIX, reemplazando al término “filósofo natural”. 2 Albornoz, M. (2003). La evaluación de la ciencia y la tecnología. Indicadores del sistema nacional de ciencia y tecnología. Perspectivas metodológicas, Año 3, N° 3. 2
  • 3. conocimiento y la práctica transdiciplinaria (Gibbons. 1997), generan nuevas estructuras organizacionales y otros factores a considerar. En este nuevo contexto, las evaluaciones científicas deben ser sensibles al entorno en el que la ciencia y la tecnología se encuentran insertas. Por lo cual, el marco de evaluación de la labor científica debe contener una visión política, económica, social e histórica de la realidad local. Asimismo, dado que estas características varían según cada país, institución, etc., será de gran valor considerar factores como las expectativas que la sociedad pone en la ciencia, su aplicabilidad, la transferencia de los conocimientos, su contribución al desarrollo local, nacional e internacional, entre otros. Es por todo ello que en la actualidad, el proceso de evaluación implica una visión integradora y multidimensional, donde el juicio entre pares es sólo uno de los elementos a considerar, pero no el único. La autorregulación de la comunidad científica ya no es suficiente, y elementos como modelos econométricos, análisis prospectivos y estudios bibliométricos, entre otros, forman parte de este complejo proceso, donde hacen su aparición nuevos actores que se encuentran por fuera del ámbito científico. Justamente, en el informe de perspectivas en ciencia y tecnología del 2006 de la OCDE, se plantea la necesidad de generar nuevas herramientas que se ajusten a la complejidad tratada, dada la importancia de la evaluación para la toma de decisión en materia de política científica. De forma breve se puede decir que en el proceso de evaluación de la actividad científica se deben considerar distintos aspectos entre los que se encuentran: el campo de la evaluación, los fines, los criterios a utilizar, la organización, y el contexto en donde se desarrolla la actividad3. El campo de la evaluación determinará todos los demás aspectos, dado que allí se define el tipo de investigación, la unidad de análisis y el momento de la evaluación, entre otros. Establecidos estos, se tendrán en cuenta los fines, los criterios a usar y la organización. Asimismo, el marco de la evaluación lo otorga el contexto donde se desarrolla la actividad científica. Entre los actuales métodos utilizados para evaluar la investigación se encuentran entre otros: la revisión por pares; el análisis retrospectivo; la tasa de retorno 3 Albornoz, M (2003). Op. Cit. 3
  • 4. económico; el estudio de casos; el benchmarking y el análisis bibliométrico. El juicio entre pares es uno de los más usados, y también de los más criticados dado que presenta múltiples aspectos a considerar. Por un lado, existen diferencias de criterios, por lo cual la evaluación no puede ser completamente objetiva, más aún si hay intereses o prejuicios de por medio; además, se corresponde con un modelo de innovación lineal, lo cual provoca dificultad al evaluar otro modelo, tendiendo a privilegiar concepciones tradicionales (ciencia “normal”) por sobre las innovadoras; asimismo, suele criticarse por casos de arbitrariedades, corrupción, imprecisiones, falta de visión en cuanto a los aspectos no científicos del conocimiento, etc. Es por ello, que el papel de los no-pares en la evaluación resulta importante (sobre todo para el conocimiento producido en “modo 2”), donde el aporte tanto de los administrativos, como de aquellos profesionales que coinciden en la disciplina pero que no realizan tareas de investigación, resulta esencial. Otro punto a considerar es que resulta necesario que la evaluación posea cierta legitimidad social. Para ello, es necesario consensuar sus fines y metodologías tanto entre los evaluadores y evaluados, como así también con los usuarios de sus resultados. En este sentido, a fines del año 2012, una comisión asesora integrada por universidades públicas y privadas, el CONICET y organismos de ciencia y tecnología, definieron nuevos criterios de evaluación del personal científico tecnológico. Se consideraron la generación de conocimiento en sus distintas modalidades y la contribución de este a la solución de problemas y/o demandas específicas locales, regionales o nacionales, sean de carácter social o productivo. Así, se busca tener en cuenta no sólo la trayectoria individual de los investigadores sino también su inserción y desempeño en equipos y proyectos estratégicos. A su vez, se desea incentivar las investigaciones aplicadas, para que se conviertan en desarrollos concretos, prototipos o productos. Por último, cabe señalar que los procesos evaluativos siempre son perfectibles y justamente por ello, siempre generarán tensiones y dificultades a la hora de llevarlos adelante, ya sea por disconformidad en sus procedimientos, por errores involuntarios (y voluntarios) en su trayecto, por falta de adecuación a los cambios de las actividades de investigación, por criterios arbitrarios, etc. Es por ello que la revisión y reajuste de los fines y métodos utilizados, deben estar constantemente en la mira, y en 4
  • 5. correspondencia con las políticas nacionales y el posicionamiento de la actividad científica local en el contexto mundial. 3. Los Indicadores bibliométricos El nacimiento de la bibliometría puede situarse a comienzos del siglo XX, vinculado con los estudios de sociología de la ciencia. Sin embargo, suele señalarse a Eugene Garfield y Derek de Solla Price como los “padres de la bibliometría” por sus trabajos realizados a mediados de ese siglo. Por su parte, en el año 1955 Garfield publicó un artículo desarrollando el concepto del uso de citas para el análisis de la producción científica, asimismo, fue el fundador en 1960 del Instituto para Información Científica 4 (ISI, según su sigla en inglés), actualmente conocido como Thomson Reuters ISI. Por otro lado, Solla Price en su libro Little Science, Big Science del año 1963, analizó el sistema de comunicación científica y el comportamiento de su comunidad, entre otras cuestiones. Este texto es considerado como el primer trabajo sistemático que usa las publicaciones científicas como unidad de medida5. En un trabajo de Okubo (1997) publicado por la OCDE, se define la bibliometría como “la disciplina que mide y analiza la producción de la ciencia bajo su forma de artículos, publicaciones, citaciones, patentes u otros indicadores derivados más complejos”. Así, el uso de la bibliometría tiene múltiples alcances y enfoques, en disciplinas como historia de la ciencia y sociología de la ciencia, contribuyendo al estudio del desarrollo de las distintas disciplinas y las comunidades científicas; en la gestión de la información, generando bases de datos; y fundamentalmente en la política científica, mediante la generación de indicadores que midan la producción científica, la productividad de los investigadores, las redes de cooperación entre instituciones y/o países, entre otros. Como ya se mencionó, la publicación del trabajo científico se encuentra presente desde el siglo XVII, y al día de hoy es uno de los principales medios de comunicación de los resultados de las actividades científicas. Para tener idea de la dimensión de 4 Institute for Scientific Information. 5 Pratt, A. (2010). Módulo de capacitación para la recolección y el análisis de indicadores de producto de las actividades de ciencia y tecnología. REDES - Banco Interamericano de Desarrollo, Working Paper 7. 5
  • 6. información con la que se cuenta, se estima que actualmente se agregan a nivel mundial, alrededor de 1.000.000 de publicaciones por año. Estos grandes volúmenes de conocimiento como así también, el crecimiento heterogéneo de la producción científica y la colaboración tanto nacional como internacional en materia de ciencia, hacen necesario tener herramientas que puedan medir dichos aspectos. Si bien las publicaciones no son el único producto de la labor científica, son usadas como unidad de medida para dicha producción, en particular los artículos indizados en revistas internacionales, evaluados por expertos de cada disciplina. Al respecto, existen distintas bases de datos que indexan estas revistas internacionales, una de las más usadas es el Science Citation Index (SCI), que contiene artículos de múltiples disciplinas. También son multidisciplinarias Scopus y PASCAL. Otras bases en cambio, se especializan en disciplinas específicas, como es el caso de MEDLINE que se dedica al campo de la biomedicina; Chemical Abstracts, de la química; INSPEC, de la física; Compendex, de ingeniería; y CAB que abarca las ciencias agropecuarias. Asimismo, se suele utilizar distintas bases de datos de patentes industriales, para medir la producción tecnológica de un país o región. La base PATENT-SCOPE que pertenece a la Organización Mundial de la Propiedad Intelectual (WIPO según su sigla en inglés), es de acceso libre, y entre otras, permite acceder a las solicitudes de patentes mediante convenio PCT6. También son importantes las bases de datos de la Oficina de Patentes de Estados Unidos (USPTO según su sigla en inglés) y de la Oficina de Patentes Europea, que contienen gran cantidad de documentos. En cuanto a los datos locales, la Argentina no cuenta con una base de publicaciones propia, sin embargo, existen esfuerzos regionales como la base Scielo, creada en Brasil de la cual participan catorce países iberoamericanos, cubriendo revistas de la región. Por otro lado, existe la Red de Revistas Científicas de América Latina, el Caribe, España y Portugal (REDALYC) que también ofrece información plausible de ser utilizada para estudios regionales. Por su parte, la Red Iberoamericana e Interamericana de Indicadores de Ciencia y Tecnología (RICyT) publica anualmente distintos indicadores regionales de ciencia y tecnología, y en particular, se puede contar con indicadores bibliométricos y de patentes. Asimismo, para el caso de patentes, en nuestro país se cuenta con el Instituto Nacional de Propiedad Industrial 6 El tratado de colaboración de patentes (PCT) permite solicitar la patente por una invención de manera simultánea en los distintos países firmantes del convenio. Si bien la decisión de otorgar o no la patente recae en la oficina de propiedad industrial de cada uno de los países, este mecanismo simplifica la tramitación del registro. 6
  • 7. (INPI) que brinda información acerca de marcas y avances tecnológicos sobre patentes de invención, entre otros, a nivel nacional e internacional. El uso de las bases de datos internacionales permite acceder a información que ha sido previamente evaluada y que mantiene ciertos estándares de normalización y calidad. Entendiendo que estos criterios de calidad o especificidad, permiten dar cuenta de la investigación que se encuentra en la frontera científica internacional. Las principales estrategias de búsqueda se basan en palabras clave, listados de revistas especializadas, códigos de clasificación de patentes, etc. Los principales indicadores bibliométricos que tradicionalmente se utilizan son: la productividad de los investigadores o instituciones según sus publicaciones; las disciplinas en las que más se publica; las citas de los artículos; el factor de impacto de las revistas; el recuento de publicaciones de un país, el cual puede medirse de forma general, por disciplinas o áreas de interés, por año, etc.; los artículos publicados en conjunto con otros países; la co-publicación entre distintas instituciones, sean estas nacionales o extranjeras, entre otros indicadores. Asimismo, en función de lo requerido, estos indicadores se pueden complejizar. Por lo general, los indicadores bibliométricos son elementos confiables que permiten a su vez la comparación internacional. Al respecto, resulta de interés para las distintas naciones que el esfuerzo realizado en materia de ciencia y tecnología, sea cual fuere su grado de avance, pueda ser comparado tanto a nivel regional como global. Ya sea para reforzar los vínculos de colaboración, para la generación e implementación de políticas, como para posicionarse a nivel mundial en áreas estratégicas. Sin embargo, el uso de estos indicadores es controvertido y ha generado discrepancias al respecto. En principio, se corre grandes riesgos al atribuirle a las revistas más prestigiosas la capacidad de juzgar el valor de la ciencia. Por un lado, porque centrándonos en ellas se asume que la ciencia es el conocimiento que se publica, quedando por fuera todo aquello que no es publicado. En este sentido, se debe considerar la desigual cobertura de las revistas según las distintas bases de datos, como así también las restricciones idiomáticas y de recursos en cuanto a la publicación. Asimismo, existe una sub-representación de los campos científicos, dado que no todas las disciplinas acostumbran a publicar sus resultados; como así también, 7
  • 8. una sub-representación de la producción científica de los países en desarrollo, dado que las revistas son principalmente de los países centrales y, en general, representan el mainstream de la ciencia internacional, que coincide con las principales líneas de investigación de dichos países. Por otro lado, existe cierta tendencia a transferir el prestigio de la revista de publicación al documento allí inscripto, otorgando un valor al documento que no siempre se corresponde. En particular, el uso de indicadores de citas es complejo, principalmente porque la citación no implica calidad. Entre otros problemas se encuentran la autocitación, la citación tendenciosa y las citas a autores reconocidos (efecto San Mateo7). Además, debe considerarse que la citación muchas veces se realiza para cumplir ciertas normas de calidad que son exigidas en la propia comunidad científica, como forma de acreditar el propio trabajo, considerando otros trabajos ya aceptados en el ámbito científico. Dada la cantidad de inconvenientes que se pueden suscitar con estos indicadores, debe tenerse en cuenta que la bibliometría es mucho más eficiente en medir y evaluar ciencia básica que ciencia aplicada; que por sus características es más aplicable a las ciencias “duras” que a las ciencias “blandas”; y que los datos agregados, sean a nivel nacional o institucional, resultan mucho más confiables que la desagregación a nivel individual. Asimismo, muchas veces la aplicación obsesiva de estos indicadores en países en desarrollo persiguiendo la comparación con países industrializados, omite las realidades locales y regionales. 4. El uso de indicadores bibliométricos como herramienta para evaluar la ciencia La evaluación científica es parte fundamental de todos los programas de ciencia y tecnología, y la asignación de recursos a estos programas es una de las principales preocupaciones. Es por ello que se debe contar con herramientas cada vez más eficaces para los procesos de toma de decisiones, una de estas herramientas es la bibliometría. 7 El efecto San Mateo, fue señalado por Robert Merton, quien planteaba que ante dos contribuciones equivalentes, los investigadores de renombre tienen más reconocimiento que aquellos desconocidos. En este sentido, Mario Bunge sugiere que el mismo Merton se ha beneficiado con el efecto San Mateo, ya que en trabajos realizados con otros autores uno tiende a recordar sólo su nombre. 8
  • 9. Una de las formas de evaluar la ciencia es mediante sus resultados, sin embargo, al ser estos intangibles y multidimensionales se dificulta su medición. Es por ello, que se busca medir la producción científica por medio de la publicación del conocimiento producido, dado que las publicaciones son uno de los principales medios de comunicación y difusión de los resultados de las actividades científicas y tecnológicas. Los indicadores basados en publicaciones científicas permiten, entre otras estimaciones, la comparación a nivel internacional, el reconocimiento de áreas fuertes y de vacancias, el posicionamiento de las instituciones en determinadas temáticas, y la productividad científica. A nivel nacional, la evaluación de los resultados de la ciencia es clave para la definición de políticas científicas. La competitividad nacional, la identificación de instituciones y actores clave, la cooperación en áreas específicas, y el desarrollo de determinadas disciplinas, entre otros, pueden medirse mediante indicadores bibliométricos. El tener conocimiento acerca de estos aspectos influye en la determinación de políticas y en la gestión de la ciencia, sea para la creación de créditos o subsidios en determinadas áreas, el impulso de convenios entre instituciones locales y extranjeras, la determinación de prioridades, la creación de nuevos organismos de gestión, etc. Al igual que a nivel nacional, la evaluación científica en una institución permite la revisión de los programas de ciencia y tecnología y la asignación de recursos económicos o materiales. Sin embargo, en ambos casos debe considerarse que este tipo de indicadores son una herramienta, pero no la única y que de por si solos no son suficientes para la toma de decisión. Deben utilizarse como complemento de otros métodos de evaluación, y a pesar de ser bastante confiables, no pueden tomarse como una verdad absoluta. Los indicadores bibliométricos como forma de medir la productividad científica, se pueden sustentar desde el punto de vista teórico en que, por un lado, los científicos publican todos sus resultados, ya sea por necesidad de reconocimiento, sea porque los mismos mecanismos burocráticos de evaluación los empujan a hacerlo. Por otro lado, estas publicaciones se encuentran sometidas al sistema de revisión de pares, 9
  • 10. por parte de las revistas donde se publican, lo cual garantiza su calidad y originalidad científica8. La cantidad de artículos publicados por un autor, el análisis de citas o el factor de impacto de las revistas, son buenos indicadores de producción científica. Sin embargo, los indicadores bibliométricos son más confiables cuando se trabaja la información de forma agregada, por lo que cuando se tratan a nivel de desagregación de personas, deben tomarse con cuidado. Más aún teniendo en cuenta que determinadas comunidades científicas no utilizan tan frecuentemente las publicaciones como forma de difusión del conocimiento, que por este medio no se puede aseverar la calidad de lo producido, que no se cubren todas las revistas científicas, entre otras limitaciones. Asimismo, debe considerarse que estos indicadores son instrumentos neutros que no consideran la idiosincrasia cultural del contexto de investigación. Por último, dada la complejidad de las actividades científicas y tecnológicas, estas no pueden evaluarse exclusivamente por el uso de un tipo de indicador o un método en particular, sino que deben ser abarcadas de forma más completa. Es por ello que los indicadores bibliométricos son un excelente complemento de otros métodos de evaluación. Asimismo, se debe considerar que los métodos de evaluación deben estar en constante revisión y actualización, para poder adecuarse a las nuevas formas de producción de conocimiento y estar acordes a las políticas científicas. 5. Conclusiones La evaluación científica desde sus orígenes ha sido impulsora del avance de la ciencia y en la actualidad una de sus funciones primordiales es la determinación en la asignación de recursos materiales o financieros. El proceso de evaluación implica una visión integradora y multidimensional dada la complejidad en la producción del conocimiento. Dado que dichos procesos son perfectibles, generan tensiones y dificultades a la hora de llevarlos adelante, ya sea por disconformidad en sus procedimientos, por errores involuntarios (y voluntarios) en 8 Albornoz, Mario; Barrere, Rodolfo; Bageneta, Martín y Matas, Lautaro (2007). Indicadores bibliométricos como herramienta para la evaluación institucional. CAICYT-CONICET. 10
  • 11. su trayecto, por falta de adecuación a los cambios de las actividades de investigación, por criterios arbitrarios, etc. Los indicadores bibliométricos son elementos confiables para medir la producción científica, que permiten a su vez la comparación internacional. Sin embargo, debe tenerse en cuenta que la bibliometría es mucho más eficiente en medir y evaluar ciencia básica que ciencia aplicada; que por sus características es más aplicable a las ciencias “duras” que a las ciencias “blandas”; y que los datos agregados, sean a nivel nacional o institucional, resultan mucho más confiables que la desagregación a nivel individual. Por último, dada la complejidad de las actividades científicas y tecnológicas, estas no pueden evaluarse exclusivamente por el uso de un tipo de indicador o un método en particular, sino que deben ser abarcadas de forma más completa. Es por ello que los indicadores bibliométricos son un excelente complemento de otros métodos de evaluación, los cuales deben estar en constante revisión y actualización, para poder adecuarse a las nuevas formas de producción de conocimiento y estar acordes a las políticas científicas. 11
  • 12. 6. Bibliografía Albornoz, Mario (2003). La evaluación de la ciencia y la tecnología. Indicadores del sistema nacional de ciencia y tecnología. Perspectivas metodológicas, Año 3, N° 3. Albornoz, Mario; Barrere, Rodolfo; Bageneta, Martín y Matas, Lautaro (2007). Indicadores bibliométricos como herramienta para la evaluación institucional. CAICYT- CONICET. Disponible en: www.asociacionag.org.ar Arencibia, Jorge y de Moya Anegón, Félix (2008). La evaluación de la investigación científica: una aproximación teórica desde la Cienciometría. Acimed, 2008, 17(4). Disponible en: www.scielo.sld.cu Barre, Rémi (1997). La producción de indicadores para la política de investigación e innovación: organización y contexto institucional. En El Universo de la Medición. La perspectiva de la ciencia y la tecnología, Albornoz, M. y Jaramillo, H. (editores), RICYT - COLCIENCIAS - Tercer Mundo, Bogotá. Borrego, Ángel y Urbano, Cristóbal (2006). La evaluación de revistas científicas en ciencias sociales y humanidades. Información, Cultura y Sociedad, N° 14, pp. 11-27. Bunge, Mario (2001). El efecto San Mateo (publicación realizada en junio de 1991). Polis, Revista de la Universidad Bolivariana, año/vol. 1, N°2. Disponible en: www.redalyc.com Cortés Vargas, Daniel (2007). Medir la producción científica de los investigadores universitarios: La bibliometría y sus límites. Revista de la Educación Superior, Vol. XXXVI (2), N° 142, pp. 43-65. Gibbons, Michael; Limoges, Camille; Nowotny, Helga; Schwartzman, Simon; Scott, Peter y Trow, Martin (1997). La nueva producción del conocimiento. Ediciones Pomares-Corredor. 12
  • 13. Gómez Caridad, Isabel y Bordon Gangas, María (1997). Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica. Política Científica, N° 46, pp. 21-27. González Guitián, María Virginia y Molina Piñeiro, Maricela (2008). La evaluación de la ciencia y la tecnología: revisión de sus indicadores. Acimed, 2008, 18 (6). Disponible en: www.bvs.sld.cu OCDE (2003). Manual de Frascati 2002. Propuesta de norma práctica para encuestas de investigación y desarrollo experimental. Disponible en: www.oecd.org OCDE (2006). Ciencia, tecnología e industria: perspectiva de la OCDE 2006. Síntesis. Disponible en: www.oecd.org Okubo, Yoshiko (1997). Bibliometric indicators and analysis of research systems: Methods and examples. OECD. Science, Technology and Industry Working Papers. Disponible en: www.oecd.org Prat, Anna María (2010). Módulo de capacitación para la recolección y el análisis de indicadores de producto de las actividades de ciencia y tecnología. REDES - Banco Interamericano de Desarrollo, Working Paper 7. Disponible en: www.politicascti.net Spinak, Ernesto (2001). Indicadores cienciométricos. Acimed, 2001, 9 (Suppl.): 42-9. Disponible en: www.bvs.sld.cu 13