Your SlideShare is downloading. ×
0
<ul><ul><li>Isidro F. Aguillo, José L. Ortega, </li></ul></ul><ul><ul><li>José A. Prieto, Begoña Granadino </li></ul></ul>...
Evaluación: Situación y perspectivas <ul><li>Importantes sesgos en las herramientas de evaluación </li></ul><ul><ul><li>So...
Ventajas de la presencia en el Web <ul><li>Económicas </li></ul><ul><ul><li>La publicación en el Web es más económica </li...
Indicadores cibermétricos <ul><li>Medida del conjunto de la actividad académica e investigadora de una institución </li></...
Objetivos <ul><li>Medir la  visibilidad real e impacto  de la presencia de instituciones de I+D en el Web </li></ul><ul><l...
Poblaciones estudiadas <ul><li>9330 dominios institucionales de universidades de todo el mundo </li></ul><ul><ul><li>Googl...
Fuentes
Tamaño    de Spearman: ** p< 0,01 <ul><li>Correlación positiva estadísticamente significativa entre los datos de tamaño d...
Visibilidad    de Spearman: ** p< 0,01 <ul><li>Sólo dos motores permiten el cálculo de la visibilidad (enlaces externos r...
Ficheros ricos    de Spearman: ** p< 0,01 <ul><li>Los ficheros ricos han sido extraídos merced al buscador Google y el co...
Ranking    de Spearman: ** p< 0,01 <ul><li>I=2*R S +4*R V +R R </li></ul><ul><li>La medida de impacto se construye median...
Análisis comparativo (I)    de Spearman: ** p< 0,01 <ul><li>ESI-ISI: Criterios bibliométricos </li></ul><ul><ul><li>Númer...
Análisis comparativo (II) <ul><li>El ranking Web ... </li></ul><ul><ul><li>Complementa los criterios bibliométricos </li><...
PageRank (I) <ul><li>Web hispanohablante </li></ul><ul><ul><li>947 páginas con mayor PR (104 universitarias) </li></ul></u...
PageRank (II)    de Spearman: ** p< 0,01 <ul><li>Universidades españolas </li></ul><ul><ul><li>50 más productivas según a...
Otros indicadores    de Spearman: ** p< 0,01 <ul><li>Ficheros ricos </li></ul><ul><ul><li>La mayor correlación encontrada...
Sesgos y limitaciones <ul><li>Sesgos geográficos y lingüísticos </li></ul><ul><ul><li>Suma del tamaño de los dominios univ...
Conclusiones <ul><li>Los indicadores cibermétricos son bastante robustos estadísticamente y pueden ser utilizados para la ...
Más información <ul><li>Laboratorio de Internet internetlab.cindoc.csic.es </li></ul><ul><li>Revista Cybermetrics www.cind...
Lo que siempre quiso preguntar... Rompa el hielo
Upcoming SlideShare
Loading in...5
×

Indicadores

776

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
776
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Indicadores"

  1. 1. <ul><ul><li>Isidro F. Aguillo, José L. Ortega, </li></ul></ul><ul><ul><li>José A. Prieto, Begoña Granadino </li></ul></ul>Medida de la actividad y comunicación científica mediante indicadores cibermétricos
  2. 2. Evaluación: Situación y perspectivas <ul><li>Importantes sesgos en las herramientas de evaluación </li></ul><ul><ul><li>Sobre-representación de las publicaciones anglosajonas y en inglés </li></ul></ul><ul><ul><li>Inadecuada presencia de las ciencias sociales y humanas y la tecnología </li></ul></ul><ul><ul><li>Errores </li></ul></ul><ul><li>Utilización indiscriminada del FI </li></ul><ul><ul><li>Diseñado para revistas, se utiliza para el análisis de países, instituciones o individuos </li></ul></ul><ul><ul><li>Evaluación de individuos o grupos según las citas esperadas y no las reales </li></ul></ul><ul><li>Escasos estudios combinados, considerando otros resultados de la actividad de I+D </li></ul>
  3. 3. Ventajas de la presencia en el Web <ul><li>Económicas </li></ul><ul><ul><li>La publicación en el Web es más económica </li></ul></ul><ul><ul><li>Los servidores y los sistemas de almacenamiento son cada vez más potentes y asequibles </li></ul></ul><ul><li>Socio-culturales </li></ul><ul><ul><li>El Web es ubicuo, lo que garantiza una mayor accesibilidad, incluso desde países en vías de desarrollo </li></ul></ul><ul><ul><li>El carácter distribuido del Web asegura cierta universalidad temática, geográfica, lingüística y cultural </li></ul></ul><ul><li>Científicas </li></ul><ul><ul><li>La publicación es más rápida </li></ul></ul><ul><ul><li>Se puede aplicar evaluación por pares </li></ul></ul><ul><ul><li>La publicación puede ser más rica (datos originales, gráficos y tablas complejas, ficheros media) </li></ul></ul><ul><ul><li>Refleja la comunicación informal y la realización de un más amplio espectro de actividades </li></ul></ul>
  4. 4. Indicadores cibermétricos <ul><li>Medida del conjunto de la actividad académica e investigadora de una institución </li></ul><ul><ul><li>No solo de los trabajos publicados en revistas de prestigio (medida sesgada para tecnólogos, científicos sociales y humanistas) </li></ul></ul><ul><ul><li>Refleja mejor los procesos de comunicación informal y las actividades complementarias </li></ul></ul><ul><ul><li>Se mide también ruido, dada la dificultad de identificar la información de calidad </li></ul></ul><ul><li>Medida de impacto ampliada a través de la visibilidad hipertextual </li></ul><ul><ul><li>Se incluye un rango de motivaciones de enlace más amplio y por parte de más actores, no solo de los pares </li></ul></ul><ul><ul><li>Pero la cita bibliográfica es más precisa </li></ul></ul><ul><li>Medidas muy útiles a nivel institucional </li></ul><ul><ul><li>Además del impacto científico, permite la evaluación del consumo de información (impacto social, cultural) o la identificación de relaciones entre instituciones (impacto industrial, económico, triple hélice) </li></ul></ul><ul><ul><li>Los indicadores cibermétricos se pueden combinar con otros indicadores tradicionales (bibliométricos, patentométricos, cienciométricos) </li></ul></ul><ul><ul><li>La interpretación no siempre es fácil y quedan por resolver problemas metodológicos </li></ul></ul>
  5. 5. Objetivos <ul><li>Medir la visibilidad real e impacto de la presencia de instituciones de I+D en el Web </li></ul><ul><li>Comparar las instituciones más productivas de acuerdo a criterios bibliométricos y cibermétricos </li></ul><ul><li>Posicionar las universidades y centros de investigación respecto a organizaciones de su propio país </li></ul><ul><li>Evaluar si existen diferencias entre instituciones y grupos de carácter tecnológico y los dedicados a la investigación científica </li></ul><ul><li>Ponderar la visibilidad de la actividad científica en los países del Tercer Mundo </li></ul><ul><li>Identificar el tipo de información que publican las instituciones en sus sedes Web, especialmente las fases de la actividad científica: aspectos teóricos, métodos, herramientas, datos, comunicación científica, divulgación, docencia, explotación de resultados </li></ul><ul><li>Estimar la madurez del sistema y el peso relativo de las páginas personales </li></ul>
  6. 6. Poblaciones estudiadas <ul><li>9330 dominios institucionales de universidades de todo el mundo </li></ul><ul><ul><li>Google, Yahoo Search, MSN Search y Teoma (Enero 2005) </li></ul></ul><ul><li>100 universidades mejor posicionadas </li></ul><ul><ul><li>Essential Science Indicators (ISI, 1994-2004) </li></ul></ul><ul><ul><li>Academic Ranking of World Universities (Univ. Shanghai, 2004) </li></ul></ul><ul><ul><li>World Universities Rankings (The Times, 2004) </li></ul></ul><ul><li>947 páginas más visibles del Web hispanohablante </li></ul><ul><ul><li>PageRank de Google (Febrero 2005) </li></ul></ul><ul><li>50 universidades españolas más productivas </li></ul><ul><ul><li>SCI-CINDOC (Periodo 1996-2001) </li></ul></ul>
  7. 7. Fuentes
  8. 8. Tamaño  de Spearman: ** p< 0,01 <ul><li>Correlación positiva estadísticamente significativa entre los datos de tamaño de todos los motores </li></ul><ul><ul><li>Los robots de los buscadores recopilan e indizan de forma distinta y el esquema temporal de visitas varía entre ellos. El solapamiento entre resultados es bajo. </li></ul></ul><ul><ul><li>La correlación soporta la consistencia de combinar los datos de los motores </li></ul></ul>
  9. 9. Visibilidad  de Spearman: ** p< 0,01 <ul><li>Sólo dos motores permiten el cálculo de la visibilidad (enlaces externos recibidos). </li></ul><ul><li>Existe una alta correlación entre ambos valores, que es estadísticamente significativa </li></ul><ul><ul><li>La correlación positiva confirma la opción de sumar los resultados </li></ul></ul>
  10. 10. Ficheros ricos  de Spearman: ** p< 0,01 <ul><li>Los ficheros ricos han sido extraídos merced al buscador Google y el comando filetype </li></ul><ul><li>Los tipos elegidos corresponden a los más frecuentemente utilizados, especialmente aquellos reservados a procesos de comunicación académica o científica </li></ul><ul><li>Como en casos anteriores, la alta correlación existente justifica su combinación como medida única </li></ul>
  11. 11. Ranking  de Spearman: ** p< 0,01 <ul><li>I=2*R S +4*R V +R R </li></ul><ul><li>La medida de impacto se construye mediante combinación de las posiciones relativas de cada dominio ( R ) respecto a los tres indicadores descritos (S=tamaño, V=visibilidad, R=ficheros ricos), cuya correlación es alta y significativa </li></ul><ul><li>Los pesos se asignan arbitrariamente, considerando cual podría ser la contribución relativa de cada indicador </li></ul>
  12. 12. Análisis comparativo (I)  de Spearman: ** p< 0,01 <ul><li>ESI-ISI: Criterios bibliométricos </li></ul><ul><ul><li>Número de citas recibidas en 10 años (desde revistas fuente ISI) </li></ul></ul><ul><li>Shanghai Jiao Tong University: Visibilidad </li></ul><ul><ul><li>Publicaciones, Premios (Nóbel), Tamaño </li></ul></ul><ul><li>Times: Popularidad </li></ul><ul><ul><li>Publicaciones, encuestas de opinión </li></ul></ul><ul><li>Correlación significativa entre todos los rankings </li></ul><ul><ul><li>Alta entre ESI, Shanghai y Web </li></ul></ul><ul><ul><li>No tan alta con los datos del Times </li></ul></ul>
  13. 13. Análisis comparativo (II) <ul><li>El ranking Web ... </li></ul><ul><ul><li>Complementa los criterios bibliométricos </li></ul></ul><ul><ul><li>Ofrece resultados generales similares a los otros métodos </li></ul></ul><ul><li>Pero ... </li></ul><ul><ul><li>Las universidades tecnológicas aparecen mejor posicionadas </li></ul></ul><ul><ul><li>La investigación biomédica no es tan prominente como en el listado ISI </li></ul></ul><ul><ul><li>Las grandes universidades de países en vías de desarrollo no aparecen desplazadas </li></ul></ul><ul><ul><li>Los países escandinavos aparecen bien representados en un modelo general donde las universidades norteamericanas dominan claramente la escena </li></ul></ul><ul><ul><li>Las universidades alemanes están presentes </li></ul></ul><ul><ul><li>Las universidades francesas y japonesas aparecen muy retrasadas </li></ul></ul>
  14. 14. PageRank (I) <ul><li>Web hispanohablante </li></ul><ul><ul><li>947 páginas con mayor PR (104 universitarias) </li></ul></ul><ul><ul><li>Resultados parecidos pero no iguales al ranking Web </li></ul></ul><ul><ul><li>Gran peso de las instituciones académicas en la vertebración del Web hispano </li></ul></ul><ul><ul><li>Especialmente de las universidades españolas </li></ul></ul><ul><li>Limitaciones </li></ul><ul><ul><li>Válido para páginas, no para dominios </li></ul></ul><ul><ul><li>No aplicable a escenarios plurinacionales o globales </li></ul></ul>
  15. 15. PageRank (II)  de Spearman: ** p< 0,01 <ul><li>Universidades españolas </li></ul><ul><ul><li>50 más productivas según artículos publicados en el SCI en el periodo 1996-2001 (CINDOC, 2004) </li></ul></ul><ul><ul><li>Mejora de la posición de las universidades tecnológicas en las rankings basados en el Web </li></ul></ul>
  16. 16. Otros indicadores  de Spearman: ** p< 0,01 <ul><li>Ficheros ricos </li></ul><ul><ul><li>La mayor correlación encontrada entre ficheros pdf, doc y ppt con el número de publicaciones indica que estos son un indicador de actividad científica, aunque son formatos también utilizados con fines administrativos </li></ul></ul><ul><ul><li>Los ficheros ps , utilizados por ingenieros, físicos o matemáticos, presentan una correlación más baja con el SCI, donde abunda la producción biomédica </li></ul></ul><ul><li>Subdirectorios y páginas personales </li></ul><ul><ul><li>El número de subdirectorios puede indicar una mayor madurez del sistema y, por tanto, una mayor capacidad productiva </li></ul></ul><ul><ul><li>Se necesita un análisis más fino, ya que es probable que se trate de páginas de grupos de investigación </li></ul></ul>
  17. 17. Sesgos y limitaciones <ul><li>Sesgos geográficos y lingüísticos </li></ul><ul><ul><li>Suma del tamaño de los dominios universitarios por países </li></ul></ul><ul><ul><li>Tamaño de Google se normaliza al 100% y se ajusta el resto </li></ul></ul><ul><ul><li>Teoma presenta importantes desviaciones </li></ul></ul><ul><ul><li>Google parece subestimar los países asiáticos y los eslavos (¿problemas con el alfabeto?) </li></ul></ul>
  18. 18. Conclusiones <ul><li>Los indicadores cibermétricos son bastante robustos estadísticamente y pueden ser utilizados para la evaluación de instituciones y grupos. </li></ul><ul><li>La combinación de datos de tamaño, visibilidad hipertextual y número de ficheros ricos ofrece un ranking cuyos resultados son comparables a los producidos por otros indicadores de impacto. </li></ul><ul><li>Los indicadores basados en el Web parecen reflejar mejor las contribuciones de instituciones de países en vías de desarrollo, de los tecnólogos e ingenieros y posiblemente de científicos sociales y humanistas. </li></ul><ul><li>La cibermetría puede ayudar a superar algunas limitaciones de los indicadores bibliométricos, pero es necesario resolver ciertos sesgos geográficos y lingüísticos que presentan los motores de búsqueda. </li></ul>
  19. 19. Más información <ul><li>Laboratorio de Internet internetlab.cindoc.csic.es </li></ul><ul><li>Revista Cybermetrics www.cindoc.csic.es/cybermetrics </li></ul><ul><li>Proyecto EICSTES www.eicstes.org </li></ul><ul><li>Proyecto WISER www.webindicators.org </li></ul><ul><li>Ranking Web www.webometrics.info </li></ul>
  20. 20. Lo que siempre quiso preguntar... Rompa el hielo
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×