EL DESAFÍO DE IMPLEMENTAR UN PROYECTO DE E-LEARNING Evaluación del proyecto de e-learning Nancy Piriz Claudia Tedesco

Evaluación de proyectos de e-learning “ La evaluación es un proceso continuo y planificado que permite la recolección y el análisis de información relevante sobre la que sostener los juicios de valor sobre el objeto evaluado: Proyecto de e-learning .” La evaluación es una meta-actividad que comprende todos los aspectos de la experiencia de e-learning. Los resultados se utilizarán para reconducir y mejorar los objetivos y resultados del Proyecto.

Evaluación de proyectos de e-learning

“ La evaluación es un proceso continuo y planificado

que permite la recolección y el análisis de información

relevante sobre la que sostener los juicios de valor sobre

el objeto evaluado: Proyecto de e-learning .”

La evaluación es una meta-actividad que comprende todos los aspectos de la experiencia de e-learning.

Los resultados se utilizarán para reconducir y mejorar los objetivos y resultados del Proyecto.

Evaluación cualitativa Entender y valorar los procesos educativos Comprender e interpretar los fenómenos educativos Evaluación cuantitativa Comprobar y cuantificar objetivos y resultados Medir el resultado a través de datos objetivos Tipos de evaluación

Evaluación cualitativa

Entender y valorar los procesos educativos

Comprender e interpretar los fenómenos educativos

Evaluación cuantitativa

Comprobar y cuantificar objetivos y resultados

Medir el resultado a través de datos objetivos

Tipos de evaluación

Tendencias en la evaluación de e-learning Enfoque parcial La actividad formativa Los materiales de formación Las plataformas tecnológicas La relación costo-beneficio Enfoque global Sistemas basados en Benchmarking Sistemas centrados en Normas de calidad

Tendencias en la evaluación de e-learning

Enfoque parcial

La actividad formativa

Los materiales de formación

Las plataformas tecnológicas

La relación costo-beneficio

Enfoque global

Sistemas basados en Benchmarking

Sistemas centrados en Normas de calidad

Procesos de evaluación En todo proceso de evaluación deben quedar especificadas cinco cuestiones: ¿Cuando evaluar ? ¿Para qué evaluar? ¿Qué evaluar? ¿Quiénes evalúan? ¿Cómo evaluar? Proceso de evaluación

Procesos de evaluación

I. Componentes de la evaluación En el marco de proceso de evaluación deben considerarse la correspondencia simultánea de diferentes componentes: Fases del proyecto Criterios de evaluación Herramientas de evaluación

I. Componentes de la evaluación

Fases del proyecto

Criterios de evaluación

Herramientas de

evaluación

La evaluación de las fases del proyecto de e-l Etapa Qué Para qué Instrumentos Planificación Valoración de los aspectos vinculados con los procesos de definición, formulación y establecimiento de la viabilidad del proyecto. Corregir el diseño y formulación del proyecto, reorinetarlo y estimar viabilidad de ejecución. Información producida en la etapa de diseño. Implementacin Valoración de cómo se están ejecutando las acciones del proyecto y todos sus componentes. Tomar de decisiones sobre eficiencia de recursos previstos y actividades desarrolladas. Reorientar los Proyectos. Evaluar las dificultades de medir. Generar fortalecimiento de las capacidades institucionales. Evaluaciones de proceso: sist. de monitoreo, evaluac. diagnósticas, evaluaciones de beneficiarios Finalización Valoración de los resultados y del impacto del proyecto. Conocer la eficacia, efectividad y eficiencia del proyecto. Indicadores de resultados y de impacto.

La evaluación de las fases del proyecto de e-l

Criterios de evaluación Eficacia Eficiencia Impacto Pertinencia Viabilidad o sostenibilidad Constituyen las pautas respecto a las cuales se realiza el análisis comparativo y la contrastación de la información recolectada para emitir el juicio valorativo del proyecto.

Criterios de evaluación

Eficacia

Eficiencia

Impacto

Pertinencia

Viabilidad o sostenibilidad

II. Fases de la evaluación Demanda Fase proy. Evaluación Variables Indicadores Fuentes Inform. Universo Instrumentos Análisis Proc.Info. Trabajo campo Todo proceso de evaluación incluye una serie de instancias que garantizan su desarrollo:

II. Fases de la evaluación

III. La cultura de la calidad en e-learning La cultura de la calidad está lejos de constituir una realidad en el campo de la formación. Diversas son las razones, pero pueden sintetizarse en: El carácter reciente de la modalidad La diversidad de actores que participan La calidad depende del propio destinatario

III. La cultura de la calidad en e-learning

Diversas son las razones, pero pueden sintetizarse en:

El carácter reciente de la modalidad

La diversidad de actores que participan

La calidad depende del propio destinatario

IV. Criterios y áreas de calidad en e-learning Se destacan nueve áreas donde se definen las variables críticas a analizar en materia de calidad de proyectos de e-l. Compromiso institucional - Financiero , espacio físico, articulación y otras políticas, apoyo técnico, cumplimiento de las leyes, plan tecnológico, seguridad, mantenimiento de infraestructura, capacitacion del cuerpo docente, y el personal, etc. Tecnología - Seguridad y privacidad de datos y comunicación. - Interactividad de alumnos y profesores. Servicios/Satisfacción estudiante - Inscripción. Soporte. Acceso a la información. - Biblioteca. Servicios. Calidad y variedad de materiales. - Percepción del alumno de su nivel de formación.

IV. Criterios y áreas de calidad en e-learning

Compromiso institucional

- Financiero , espacio físico, articulación y otras políticas,

apoyo técnico, cumplimiento de las leyes, plan tecnológico,

seguridad, mantenimiento de infraestructura, capacitacion

del cuerpo docente, y el personal, etc.

Tecnología

- Seguridad y privacidad de datos y comunicación.

- Interactividad de alumnos y profesores.

Servicios/Satisfacción estudiante

- Inscripción. Soporte. Acceso a la información.

- Biblioteca. Servicios. Calidad y variedad de materiales.

- Percepción del alumno de su nivel de formación.

IV. Criterios y áreas de calidad en e-learning Oferta educativa/Diseño instruccional - Objetivos de aprendizaje, presentación de los contenidos Interacciones. Evaluación. Herramientas y medios. Servicios y apoyo al alumno Docencia - Número de alumnos por grupo de aprendizaje. - Contacto entre profesores y alumnos. Materiales - Selección y evaluación - Disposición de los materiales Entrega y distribución - Administración del programa. Justa. Imparcial. Transparencia - Responsabilidades , políticas y procedimientos definidos

IV. Criterios y áreas de calidad en e-learning

Oferta educativa/Diseño instruccional

- Objetivos de aprendizaje, presentación de los contenidos

Interacciones. Evaluación. Herramientas y medios.

Servicios y apoyo al alumno

Docencia

- Número de alumnos por grupo de aprendizaje.

- Contacto entre profesores y alumnos.

Materiales

- Selección y evaluación

- Disposición de los materiales

Entrega y distribución

- Administración del programa. Justa. Imparcial. Transparencia

- Responsabilidades , políticas y procedimientos definidos

IV. Criterios y áreas de calidad en e-learning Finanzas - Compromiso financiero con el programa. Gestión de riesgos. Costos fijos y variables. Costos iniciales. Cumplimiento legal y de normas - Respeto por la normativa vigente: Derecho autor. Restricciones nacionales e internacionales sobre información y tecnologías. Requerimientos de las Instituciones educativas. Evaluación - Efectividad del Programa de e-learning. - Proceso de enseñanza-aprendizaje . Impacto en la sociedad / Creación de conocimiento - Apertura al entorno

IV. Criterios y áreas de calidad en e-learning

Finanzas

- Compromiso financiero con el programa. Gestión de riesgos.

Costos fijos y variables. Costos iniciales.

Cumplimiento legal y de normas

- Respeto por la normativa vigente: Derecho autor.

Restricciones nacionales e internacionales sobre información

y tecnologías. Requerimientos de las Instituciones educativas.

Impacto en la sociedad / Creación de conocimiento

- Apertura al entorno

IV. ISO Ejemplo proyecto de-learning Término de las ISO Interpretación para una organización (educativa o formativa) que adopta una solución e-learning Proveedor La institución u organización que imparte la enseñanza o formación Clientes Alumnado o participantes Producto Curso, programa, currículum Cuadros ejecutivos Dirección general/Dirección de centro/Rectorado/Comité de dirección Contrato Todos los tipos de acuerdos con los clientes: matriculación, acceso al sistema de comunicación, distribución de materiales, tutorización, acreditación, …. Diseño Definición de las especificidades de la plataforma tecnológica y sus capacidades instructivas y administrativas y los sistemas de seguridad Compras Adquisición de recursos materiales y humanos y servicios necesarios: contratación de profesorado, licencias de software, compra de hardware, … Procesos Proceso de impartición de la enseñanza o formación: metodología (trabajo en grupo, individual), uso de los espacios de comunicación, materiales (on-line, off-line, multimedia, textuales), evaluación (presencial o a distancia), … Inspección y pruebas Evaluación de la acción formativa, del profesorado, de los materiales, de la tecnología, ….por parte del alumnado o participantes Calibración Validación de los sistemas de evaluación utilizados

IV. ISO Ejemplo proyecto de-learning

V. Ejemplo Evaluación proyecto de-learning 1 Cumplimiento de los objetivos del plan 2 Dimensión alumnos : Indicadores - Numero de alumnos al comenzar el curso. - Porcentaje de egresados en relación con los inscriptos. - Porcentaje de egresados en el tiempo establecido en el plan con relación con los inscriptos - Porcentaje de alumnos que aprobaron cada asignatura en el año de la cursada. - Principales causas de deserción. - Principales causas de atraso en los estudios. Fuentes de información : Documentación archivada en los legajos de los alumnos, registros, libro matriz, registros de entrevistas, actas de reuniones. Instrumentos de evaluación : cuestionarios, escalas de valoración / ponderación, listas de control / cotejo. Técnicas de recolección de datos : observación, encuestas, entrevistas, triangulación .

V. Ejemplo Evaluación proyecto de-learning

V. Ejemplo Evaluación proyecto de-learning 3. Dimensión docentes : Indicadores : - Porcentaje con título docente. - Porcentaje con título profesional de carreras afines. - Porcentaje de docentes que acredite antecedentes académicos. - Porcentaje de docentes que dan cumplimiento a acciones de perfeccionamiento, capacitación y/o actualización. - Porcentaje de docentes que cumplimentan las acciones requeridas por la institución. Fuentes de información : Documentación archivada en los legajos de los docentes, registros de entrevistas, actas de reuniones. Instrumentos de evaluación : cuestionarios, escalas de valoración/ ponderación, listas de control / cotejo. Técnicas de recolección de datos : encuestas, entrevistas.

V. Ejemplo Evaluación proyecto de-learning

V. Ejemplo Evaluación proyecto de-learning 4. Dimensión egresados : Indicadores en relación con demandas del mercado laboral : - Porcentaje de egresados que se insertaron en el mercado laboral dentro de su especialidad. - Porcentaje de egresados que se insertaron en el mercado laboral en áreas afines. - Porcentaje de egresados que se insertaron en el mercado laboral en tareas no vinculadas con la carrera. - Porcentaje de egresados que no se insertaron en el mercado laboral. Fuentes de información : fichas de seguimiento del desempaño en el campo laboral, registros de entrevistas a especialistas del área y empresarios de la zona. Instrumentos de evaluación : cuestionarios, listas de control / cotejo . Técnicas de recolección de datos : encuestas, entrevistas

V. Ejemplo Evaluación proyecto de-learning

V. Ejemplo Evaluación proyecto de-learning 5. Dimensión estructura curricular Indicadores Pertinencia de la secuenciación de la estructura organizativa en cuanto a años de estudios, cuatrimestres y espacios curriculares. Correspondencia entre los objetivos y contenidos mínimos Aporte de los trabajos de campo y/o del trabajo autónomo al aprendizaje realizado por los alumnos Correspondencia entre competencias profesionales desarrolladas en las actividades de los espacios del Área de la Práctica Profesionalizante y las previstas en el perfil del egresado. Pertinencia del régimen de correlatividades. Fuentes de información : documentación oficial de planeamiento, seguimiento y evaluación de la tarea docente y de los resultados del aprendizaje de los alumnos; registros de observaciones y reuniones. Instrumentos de evaluación : cuestionarios, listas de control / cotejo. Técnicas de recolección de datos : encuestas, entrevistas.

V. Ejemplo Evaluación proyecto de-learning

5. Dimensión estructura curricular

Indicadores

Pertinencia de la secuenciación de la estructura organizativa en

cuanto a años de estudios, cuatrimestres y espacios curriculares.

Correspondencia entre los objetivos y contenidos mínimos

Aporte de los trabajos de campo y/o del trabajo autónomo al

aprendizaje realizado por los alumnos

Correspondencia entre competencias profesionales desarrolladas

en las actividades de los espacios del Área de la Práctica

Profesionalizante y las previstas en el perfil del egresado.

Pertinencia del régimen de correlatividades.

Fuentes de información : documentación oficial de planeamiento,

seguimiento y evaluación de la tarea docente y de los resultados del

aprendizaje de los alumnos; registros de observaciones y reuniones.

Instrumentos de evaluación : cuestionarios, listas de control / cotejo.

Técnicas de recolección de datos : encuestas, entrevistas.

Trabajo grupal: Evaluación proyecto e-l Compromiso institucional Tecnología Servicios/Satisfacción del estudiante Oferta educativa / Diseño instruccional Docencia Materiales Entrega y distribución Finanzas Cumplimiento legal y de normas Impacto en la sociedad / Creación de conocimientos Evaluación

Trabajo grupal: Evaluación proyecto e-l

Compromiso institucional

Tecnología

Servicios/Satisfacción del estudiante

Oferta educativa / Diseño instruccional

Docencia

Materiales

Entrega y distribución

Finanzas

Cumplimiento legal y de normas

Impacto en la sociedad / Creación de conocimientos

Evaluación

Planificación de un sistema de evaluación del aprendizaje Evaluación y auto-evaluación del aprendizaje en e-learning Teoría de la Educación que sirve como base Cuándo y cómo evaluar Metaevaluación Herramientas para la evaluación online Enfoque general en función de objetivos, contenidos , destinatarios Evaluación y auto-evaluación La evaluación “formal” La evaluación formativa Instrumentos y recursos de evaluación Determinación de criterios e indicadores Momentos Control de la calidad de las evaluaciones Evaluación de impacto I III II IV Tipos de pruebas de evaluación automática Ventajas e inconvenientes Bases de datos de preguntas y de items La certificación Actores Herramientas para el seguimiento del cursante en el campus

Planificación de un sistema de evaluación

del aprendizaje

Evaluación y auto-evaluación del aprendizaje en e-learning

Teoría de la

Educación que sirve como base

Cuándo y cómo evaluar

Metaevaluación

Herramientas para la evaluación online

Enfoque general en función de objetivos, contenidos , destinatarios

Evaluación y auto-evaluación

La evaluación “formal”

La evaluación formativa

Instrumentos y recursos de evaluación

Determinación de criterios e indicadores

Momentos

Control de la calidad de las evaluaciones

Evaluación de impacto

Tipos de pruebas de evaluación automática

Ventajas e inconvenientes

Bases de datos de preguntas y de items

La certificación

Actores

Herramientas para el seguimiento del cursante en el campus

www.net-learning.com.ar [email_address]