27 de abril de 2012Rankings de UniversidadesSituación actualIsidro F. Aguillo
¿Por qué son necesarios los Rankings?    La globalización de la enseñanza superior y una oferta cada día más    competitiv...
Tipos de Rankings    Los métodos y los públicos objetivos son sustancialmente diferentes y    también su utilidad/utilizac...
Reacciones sorprendentes    Exageradas descalificaciones junto con aceptaciones acríticas y uso    indiscriminado y poco i...
Situación actual    Aunque cuestionados los rankings son ya extremadamente populares y    guían decisiones personales, ins...
¿Como construir un Ranking? Un par de modelos    OTROS RANKINGS       ACTIVIDAD                   IMPACTO                 ...
Pesos ¿arbitrarios?    En la mayoría de los Rankings Globales no se proporciona un modelo    que justifique los pesos arbi...
Calidad    La calidad puede ser derivada cuantitativamente de un consenso o    mayoría de opiniones de expertos sobre un t...
Una mirada crítica    Una revisión de los rankings más prestigiosos y populares, con una    brevísima valoración crítica d...
Top 200 universidades por país y ranking (2011)10
Méritos “obsoletos” (?)                                 GANANCIA DE                               ¡80 POSICIONES!         ...
Errores12
Ranking Web     El Ranking Web es uno de los primeros rankings internacionales con     vocación global y en la actualidad ...
Distribución mundial                            5227        3481                 424         288                          ...
Modelo del ranking web     Se mantiene un ratio 1:1 entre actividad (presencia web) e impacto     (visibilidad hipertextua...
Fuentes de los datos     Se utilizan tanto fuentes Web (Google, Google Scholar, MajesticSEO)     como bases de datos bibli...
Estrategias web para la Universidad de Salamanca     La Web es el principal escaparate de la Universidad, el lugar donde  ...
Gran estrategia     El secreto para obtener una buena presencia web y una gran posición en     el ranking estriba en conse...
USAL en Webometrics19
Popularidad de las sedes de la USAL                                           ESTRUCTURA                                  ...
Producción científica de la USAL21
USAL y UVA en el sistema MS Academic Search22
Ruptura de unidad de dominios USAL
Presencia web de los departamentos de la USAL24
Ejemplos de páginas web personales en la USAL                 MODELO                                           SIN ENLACES...
Origen de los enlaces recibidos26
Repositorio de la USAL27
Acceso abierto real de la USAL28
Utilidad de nuestro ranking      ¿Por qué la Web?       o La presencia web es un indicador. Se puede asegurar que refleja...
Consejos finales     Rankings, el ranking Web y algunos consejos      Rankings globales       o Los Rankings no deben ser...
Debate     Isidro F. Aguillo, HcPhD     The Cybermetrics Lab. IPP-CCHS-CSIC     isidro.aguillo@cchs.csic.es               ...
Upcoming SlideShare
Loading in …5
×

Ranking web: situación actual

980 views
894 views

Published on

Conferencia pronunciada por Isidro Aguillo en la Universidad de Salamanca el 27 de abril de 2012 para presentar la situación del Ranking web que coordina.

Published in: Education
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
980
On SlideShare
0
From Embeds
0
Number of Embeds
307
Actions
Shares
0
Downloads
2
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Ranking web: situación actual

  1. 1. 27 de abril de 2012Rankings de UniversidadesSituación actualIsidro F. Aguillo
  2. 2. ¿Por qué son necesarios los Rankings? La globalización de la enseñanza superior y una oferta cada día más competitiva están cambiando el panorama Excelencia – Los indicadores de calidad se concentran cada vez más en los cuartiles superiores Internacionalización – Se prima la atracción de élites extranjeras, ya sean docentes de primer nivel o estudiantes brillantes que ayuden al equilibrio presupuestario Comunidad – La tercera misión ya no es sólo trasferencia de tecnología, sino involucración directa en el desarrollo socio-económico local y regional Simplicidad – Lectura rápida, interpretación inmediata, series temporales Benchmarking – Comparativas a nivel mundial Utilidad2
  3. 3. Tipos de Rankings Los métodos y los públicos objetivos son sustancialmente diferentes y también su utilidad/utilización práctica Rankings nacionales • Priman la exhaustividad de variables • Variables no académicas (costos, seguridad, oferta de alojamiento) • Abundan los ratios (alumnos/profesor, graduados/admitidos, doctores/graduados, presupuesto per cápita, ordenadores ó libros/ estudiante, publicaciones/investigador, …) Rankings mundiales • Priman la excelencia (fundamentalmente investigadora) • Indicadores compuestos, con pesos asignados por variable – Rankings de prestigio • Basados en resultados de encuestas – Rankings bibliométricos – Rankings web – Falsos rankings3
  4. 4. Reacciones sorprendentes Exageradas descalificaciones junto con aceptaciones acríticas y uso indiscriminado y poco informado Hostiles a las prácticas evaluativas • Excesiva simplicidad de los rankings • Metodologías cuestionables (fiabilidad y calidad de las fuentes, opacidad) • Comparar diferentes sistemas, tipologías, disciplinas (“peras y manzanas”) • Utilidad escasa (no son multifacéticos, análisis de escasa profundidad) • Resultados obvios (por esperables y ya conocidos) Ignorancia de malas prácticas • Falsos expertos (periodistas, consultores, ex-gestores) • Sesgos intencionados (empresas comerciales) • Errores críticos (variables fuertemente correlacionadas, umbrales muy bajos en los ratios, pesos injustificables, identificaciones incorrectas, datos no fiables, criterios de inclusión/exclusión aberrantes) • Obsolescencia (se prima la estabilidad inter-anual) • Prestigio asumido, no demostrable4
  5. 5. Situación actual Aunque cuestionados los rankings son ya extremadamente populares y guían decisiones personales, institucionales y de política nacional Los rankings están guiando la re-ordenación y reforma del sistema universitario de los países europeos – Y de otros países del mundo • Favoreciendo las fusiones de universidades • Incrementando el esfuerzo en investigación • Flexibilizando la gobernanza y autonomía de las universidades • Desarrollando procesos más rigurosos de evaluación Aunque se generan obsesiones peligrosas – Todo el mundo quiere pertenecer a la élite de las “World-class” universities • Incluso con prácticas poco éticas – Los rankings se utilizan como listados-base para homologar titulaciones • Aunque la mayoría solo evalúan menos del 3% de las instituciones • Y se ignoran sesgos y ausencias “técnicas” – Se ha multiplicado el número de “expertos” en la materia5
  6. 6. ¿Como construir un Ranking? Un par de modelos OTROS RANKINGS ACTIVIDAD IMPACTO Estudiantes/Profesor Prestigio Internacionalización (Encuestas a pares) Artículos científicos Egresados/total Recursos Citas por artículo (económicos, biblioteca, computo, becas) Premios Páginas Web Enlaces WEBOMETRICS (tres misiones) Menciones Documentos (Visibilidad) (ficheros ricos) Popularidad e-Artículos (Visitas, visitantes)6
  7. 7. Pesos ¿arbitrarios? En la mayoría de los Rankings Globales no se proporciona un modelo que justifique los pesos arbitrarios de las variables RANKING ACTIVIDAD IMPACTO ARWU (Shanghái) 40% 60% TIMES HE (2010) 35% 65% QS 30% 70% HEEACT (Taiwán) 20% 80% WR (Web) 50% 50%7
  8. 8. Calidad La calidad puede ser derivada cuantitativamente de un consenso o mayoría de opiniones de expertos sobre un tema  Encuesta o Opinión: Percepción subjetiva de la reputación académica o Expertos: Difícilmente alguien con conocimientos globales o Tamaño del grupo: Unos pocos miles, con opiniones muy sesgadas  Análisis de citas o Reconocimiento: Impacto de la comunicación formal de la ciencia o Expertos: Pares científicos o Tamaño del grupo: Muy pequeño, unas docenas de citas  Análisis de enlaces o Motivaciones variadas (y diversas), académicas y no académicas o Expertos: Editores de páginas web (pares y no-pares) o Tamaño del grupo: Enorme, puede que millones8
  9. 9. Una mirada crítica Una revisión de los rankings más prestigiosos y populares, con una brevísima valoración crítica de sus característicasRanking Misiones Indicadores Modelo Resultados ComentariosARWU Investigación Excelencia (científica) Ninguno Correlación “World class” (estable=errores buena no corregidos) (Top 200)WEB Todas Actividad e Impacto Similar al Correlación Malas prácticas (web) penalizan (web) factor de buena en exceso impacto (discrepancias)QS Todas Prestigio (encuestas) Ninguno Sesgos Inadecuado más allá de las e Impacto (citas) geográficos primeras posiciones sospechososHEEACT Investigación Actividad e Impacto Ninguno Correlación “research universities” (artículos, citas) buena (método cuestionado)LEIDEN Investigación Impacto “Crown Varios Exclusión de las publicaciones (citas/artículos) indicator” “rankings” en idiomas localesSCIMAGO Investigación Actividad o Impacto Posición Varios Universidades + Centros de (artículos, citas) según tamaño “rankings” investigación por defecto (sin indicador compuesto)THE Todas Actividades, Prestigio Ninguno Errores no Comportamiento poco ético (encuestas) e corregidos (no informa sobre qué Impacto (citas) universidades no responden)9
  10. 10. Top 200 universidades por país y ranking (2011)10
  11. 11. Méritos “obsoletos” (?) GANANCIA DE ¡80 POSICIONES! EN ARWU11
  12. 12. Errores12
  13. 13. Ranking Web El Ranking Web es uno de los primeros rankings internacionales con vocación global y en la actualidad es el que tiene la mayor cobertura • Se edita desde 2004, con dos ediciones al año (enero y julio) • El más completo y actualizado, con más de 20.000 instituciones de educación superior de todo el mundo • Incorpora las mejores fuentes de información: Google (Google Scholar), MajesticSEO, Scimago/Scopus • En pleno siglo XXI la Web refleja la organización, actividades, resultados de la investigación, la transferencia de conocimientos, prestigio y visibilidad internacional de las universidades • Si el rendimiento de la web está debajo de lo esperado podría deberse a la falta de compromiso con la publicación electrónica, o las malas prácticas web13
  14. 14. Distribución mundial 5227 3481 424 288 6473 669 181 4 3906 446 8 165 58 37 20372 (Top 1000) WR Enero 201214
  15. 15. Modelo del ranking web Se mantiene un ratio 1:1 entre actividad (presencia web) e impacto (visibilidad hipertextual) Páginas web Documentos (rich files) Enlaces externos Dominios Artículos que enlazan científicos PRESENCIA IMPACTO 50% 50%15
  16. 16. Fuentes de los datos Se utilizan tanto fuentes Web (Google, Google Scholar, MajesticSEO) como bases de datos bibliográficas de citas (Scimago/Scopus)16
  17. 17. Estrategias web para la Universidad de Salamanca La Web es el principal escaparate de la Universidad, el lugar donde publicar información básica, actividades, resultados, etc …  Contenidos o Gran cantidad de contenidos o Atendiendo a todas las misiones, no solo la investigadora o Especial atención a la tercera misión, incluyendo el hospedaje de sedes de terceras partes (hostales, museos, ONGs, …)  Contenidos de calidad o Repositorio de trabajos científicos o Otros portales: Revistas, super-sedes, recursos multimedia (videos, audios, webinars), datos, software  Contenidos internacionales o Versiones multilingües (incluyendo, además, textos en inglés) o Guías para estudiantes/profesores extranjeros17
  18. 18. Gran estrategia El secreto para obtener una buena presencia web y una gran posición en el ranking estriba en conseguir la colaboración efectiva de todo el mundo18
  19. 19. USAL en Webometrics19
  20. 20. Popularidad de las sedes de la USAL ESTRUCTURA PROFUNDA IMPACTO LIMITADO20
  21. 21. Producción científica de la USAL21
  22. 22. USAL y UVA en el sistema MS Academic Search22
  23. 23. Ruptura de unidad de dominios USAL
  24. 24. Presencia web de los departamentos de la USAL24
  25. 25. Ejemplos de páginas web personales en la USAL MODELO SIN ENLACES DESACTUALIZADA
  26. 26. Origen de los enlaces recibidos26
  27. 27. Repositorio de la USAL27
  28. 28. Acceso abierto real de la USAL28
  29. 29. Utilidad de nuestro ranking  ¿Por qué la Web? o La presencia web es un indicador. Se puede asegurar que refleja de forma global el desempeño de la universidad y no solo sus actividades en línea o La Web es ya la mas importante herramienta de comunicación científica o La Web incrementa significativamente la audiencia, la visibilidad y el impacto de las actividades y logros de profesores, investigadores y estudiantes o La Web es el canal futuro y presente para la enseñanza no presencial, el escaparate mas económico y el mas atractivo para reclutar los mejores estudiantes y profesores internacionales y es el punto de encuentro entre la universidad, la sociedad, sus actores económicos y los líderes políticos  ¿Por qué el Ranking Web? o El ranking web es el de mas amplia cobertura, ya que clasifica tanto las universidades de nivel mundial como aquellas que aparecen más allá de la posición 500 como, por ejemplo, muchas de los países emergentes o Las discrepancias observadas nos informan de serios problemas de gobernanza, ausencia de estrategias a largo plazo, políticas inadecuadas u obsoletas y malas prácticas web o Promueve las iniciativas de acceso abierto, posibilitando la diseminación de resultados, no solo a otros académicos, sino también a terceros tanto de sectores económicos, industriales como sociales o culturales29
  30. 30. Consejos finales Rankings, el ranking Web y algunos consejos  Rankings globales o Los Rankings no deben ser ignorados, cumplen una importante misión y son una excelente herramienta en el diseño de estrategias y políticas universitarias o La crítica global es absurda, pero hay que identificar los Rankings con metodologías poco académicas, sesgos injustificados e intereses comerciales  Ranking Web o La Web es clave en todas las misiones universitarias o El Ranking Web es un indicador del éxito de las universidades o La mayoría de las “discrepancias” se explican por inadecuadas políticas o malas prácticas web  Los contenidos son la clave o Alta producción o Excelencia o Acceso abierto o Internacionalidad30
  31. 31. Debate Isidro F. Aguillo, HcPhD The Cybermetrics Lab. IPP-CCHS-CSIC isidro.aguillo@cchs.csic.es ¿Preguntas? … ¡Gracias!31

×