Marco de referencia para evaluar calidad de sitios OCW mediante atributos cisti2015

563 views

Published on

Marco de referencia para evaluar calidad de sitios Open Course Ware OCW mediante atributos de calidad cisti2015

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
563
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
13
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Marco de referencia para evaluar calidad de sitios OCW mediante atributos cisti2015

  1. 1. Marco  de  Referencia  para  evaluar  la  calidad   de  si2os  Open  Course  Ware  (OCW)  mediante   atributos  de  calidad   Actas Cisti 2015 Pág. 835     grrodriguez@utpl.edu.ec   spcueva@utpl.edu.ec   mesucunuta@utpl.edu.ec   omarban@fi.upm.es    
  2. 2. Agenda   1.  Tendencia Abierto en Educación 2.  Problema y propuesta de solución 3.  Marco Conceptual – Insumos 4.  Marco de valoración de calidad basada en atributos propuesto 5.  Implementación del marco de evaluación 6.  Conclusiones 7.  Bibliografía
  3. 3. Tendencia  Open  en  Educación   Año Aporte 1994 Objetos de Aprendizaje (OA) - Wayne Hodgins 1998 Recursos Educativos Abiertos (REA) 2002 Open Course Ware (OCW) – MIT Foro UNESCO impacto REA en la Educación 2004 Open Course Ware Consortium (OCWC) – MIT y otras universidades 2008 Massive Open Online Courses (MOOC) 2012 Foro UNESCO 10 años REA Declaración de París sobre REA: literal e) Apoyar a las instituciones, formar y motivar a los profesores y demás personal para que produzcan e intercambien materiales educativos accesibles y de alta calidad
  4. 4. Problema  y  propuesta  de  solución   ¿Cómo valorar la calidad de un REA? ¿Cuál es el REA más adecuado? ¿Cuál es el mejor REA? El presente trabajo propone un marco de referencia para evaluar la calidad de sitios OCW basado en atributos, fundamentado en estándares y modelos de calidad de software.  
  5. 5. Marco  conceptual   1. Propuestas de evaluación y aseguramiento de calidad para OER 2. Calidad basada en atributos – IEEE 1061 3. Metodología de evaluación de calidad basada en atributos – Web-QEM 1.  Planificación y Programación de la Evaluación de Calidad. 2.  Definición y Especificación de Requerimientos de Calidad. 3.  Definición e Implementación de la Evaluación Elemental. 4.  Definición e Implementación de la Evaluación Global. 5.  Análisis de Resultados, Conclusión y Documentación. 6.  Validación de Métricas (no mostrada en la figura).
  6. 6. Marco  de  referencia  propuesto   FASE1: Definir el dominio y ente para la Evaluación de la Calidad Para el contexto de OCW el dominio de aplicación es una muestra de sitios que proveen REA tipo OCW. El ente es el sitio web donde se publican (IS es un recurso, no un proceso, no un artefacto) FASE 2: Definir Metas de Evaluación y seleccionar el Perfil de Usuario La meta de evaluación propuesta es: Obtener una valoración cuantitativa de la calidad global de un sitio OCW basada en características y atributos definidos desde el punto de vista del visitante (ISO/IEC 9126 visitantes, desarrolladores, gerenciadores)
  7. 7. Marco  de  referencia  propuesto   FASE 3: Especificar Requerimientos de Calidad para artefactos Web Características de un conjunto prescrito, esto es, a partir de la medición directa de un conjunto de atributos. Las 4 características de significativa importancia para sitios de instituciones educativas según (Olsina & Rossi, 2002) son: usabilidad, funcionalidad, confiabilidad y eficiencia. •  Usabilidad: conjunto de atributos que confieren el esfuerzo necesario para su uso. •  Funcionalidad: atributos que influyen en la existencia de un conjunto de funciones y sus propiedades especificadas. •  Confiabilidad: conjunto de atributos que le confieren la capacidad para mantener su nivel de rendimiento. •  Eficiencia: agrupación de atributos que influyen en la relación entre el nivel de rendimiento del software y la cantidad de recursos utilizados, bajo las condiciones establecidas.
  8. 8. Marco  de  referencia  propuesto   FASE 3: Especificar Requerimientos de Calidad para artefactos Web Cada característica se descompone en atributos y sub atributos en lo posible medibles que se codifican utilizando una tabla.  
  9. 9. Marco  de  referencia  propuesto   FASE 4: Definir Criterios Elementales e Implementando Procedimientos de Medición Definir procedimientos de medición para cada uno de ellos, en lo posible una estrategia y una escala de valoración; a continuación se muestra un ejemplo para el atributo Mapa del sitio. Título: Mapa del sitio; Código: 1.1.1; Tipo: Atributo Característica de más Alto Nivel: Usabilidad Super-característica: Organización del sitio Definición/Comentarios: Este atributo permite una navegación rápida dentro del sitio. Medición: Verificación visual del componente
  10. 10. Marco  de  referencia  propuesto   FASE 5: Definir las Estructuras de Agregación e Implementando la Evaluación de Calidad Global   Accesibilidad (0.15) Deficiencias varias (0.1) Rendimiento (0.05) Calidad (1) Funcionalidad (0.3) Usabilidad (0.3) Confiabilidad (0.2) Eficiencia (0.2) Organización (0.07) Ayuda (0.05) Interfaces (0.07) Estilo (0.05) Miscelánea (0.07) Búsqueda (0.075) Recuperación (0.075) Navegabilidad (0.075) Aspectos de dominio(0.075) Errores de enlace (0.1)
  11. 11. Marco  de  referencia  propuesto   FASE 6: Analizar los Resultados Parciales y Globales Se centrará   en analizar la valoración cuantitativa de la   calidad obtenida por cada sitio OCW y en comparativas entre los resultados obtenidos.  
  12. 12. Implementación  del  marco  de  evaluación   3. Medición de la calidad global y elemental cuantificando los atributos definidos 4. Analizar los resultados 2. Definir metas de evaluación y seleccionar el perfil de usuario 1. Definir el dominio y ente de evaluación de la calidad
  13. 13. Implementación  del  marco  de  evaluación   PASO1: Definir el dominio y ente para la Evaluación de la Calidad Los criterios que se tomaron para la selección de los sitios OCW a evaluar fueron: •  Número de visitas:   Mide la popularidad, se obtuvo el número de visitas mensuales promedio de cada sitio utilizando la herramienta trafficestimate; Número de resultados de búsquedas en sitios google: Mide la visibilidad; se consideraron los resultados de las  búsquedas en: google.com; .us; .ec; y .es. •  Número de recursos: Determina la producción; se obtuvo mediante observación directa.. •  Número de citas en bases de datos científicas: Evidencia la relevancia científica en torno a OCW. Las bases de datos en las que se realizaron las búsquedas son:  Google Scholar, Elsevier, Web of Knowledge, IEEE, Scopus, ACM.
  14. 14. Implementación  del  marco  de  evaluación   PASO1: Definir el dominio y ente para la Evaluación de la Calidad Con los datos de los criterios establecidos se obtuvo la muestra con los cinco sitios OCW institucionales con la mayor puntuación, y se agregan el sitio OCW de la Universidad Técnica Particular de Loja ya que es el sitio en donde se implementa la propuesta  del marco de referencia de atributos de calidad propuestos en este documento. •  Massachusetts Institute of Technology (MIT) http://ocw.mit.edu/ •  Universidad Politécnica de Madrid (UPM) http://ocw.upm.es/ •  Universidad Carlos III de Madrid (UC3M) http://ocw.uc3m.es/ •  Delft University of Technology (TUDelft) http://ocw.tudelft.nl/ •  TUFS University (TUFTS) http://ocw.tufts.edu/ •  Universidad Técnica Particular de Loja (UTPL) http://ocw.utpl.edu.ec
  15. 15. Implementación  del  marco  de  evaluación   PASO2. Definir Metas de Evaluación y seleccionar el Perfil de Usuario La meta de evaluación propuesta es valorar y comprender la calidad global de un sitio OCW desde el punto de vista del visitante general. El perfil de usuario evaluador es de usuario visitante no registrado. Así mismo es relevante mencionar que la evaluación se focaliza esencialmente en el sitio de la iniciativa OCW como un todo, antes que de cada titulación o curso individual. PASO 3: Medición de la Calidad global y elemental cuantificando los atributos definidos La medición de las Fases 3, 4 y 5 en las que se definieron las características, sub características, atributos y sub atributos, los criterios elementales para su medición, así   como las estructuras de agregación que permiten cuantificar la calidad de un sitio OCW, aplicando las técnicas y escalas definidas se obtiene la valoración de la calidad de cada sub atributo, atributo, sub carácterística, la sumatoria de la valoración proporcionan la cuantificación de la calidad por cada carácterística y finalmente sumadas proporciona la calidad global.
  16. 16. Implementación  del  marco  de  evaluación   PASO 3: Medición de la Calidad global y elemental cuantificando los atributos definidos
  17. 17. Implementación  del  marco  de  evaluación   PASO 4: Análisis de Resultados
  18. 18. Implementación  del  marco  de  evaluación   PASO 4: Análisis de Resultados
  19. 19. Conclusiones   Un buen número de instituciones educativas han decidió incorporar los OCW como parte de los recursos de aprendizaje, existe la necesidad de contar con recursos que aporten a los usuarios. Medir la calidad de los OCW mediante un marco de referencia desde el punto de vista de producto permite que se pueda establecer criterios de confiabilidad por parte de los usuarios de los recursos. El marco propuesto se ha utilizado en una muestra de 6 repositorios analizados permite tener una aproximación cuantitativa a la calidad de los sitios OCW, como trabajo futuro se propone incorporar otras características u atributos medibles, otro aspecto relevante sería incorporar una priorización de los atributos que ayuden a tener una mejor aproximación de los resultados; por ejemplo en el atributo de accesibilidad las sub atributos como la accesibilidad de navegadores y de dispositivos móviles.  
  20. 20. Gracias  por  su  atención!!       ¿Preguntas?  

×