Metaevaluación

17,714
-1

Published on

Cómo llevar a cabo un proceso de metaevaluación.

Published in: Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
17,714
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
254
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Metaevaluación

  1. 1. TALLER SOBRE RICARDO DE LA VEGA ALEMPARTE METAEVALUACIÓNRicard de la Vega Alemparte 1
  2. 2. RICARDO DE LA VEGA ALEMPARTE¿qué expectativa tienes?¿qué te habrás llevado oqué habrá pasado paraconsiderarlo un éxito? 2
  3. 3. Para cubrir el trayecto de hoy ….. RICARDO DE LA VEGA ALEMPARTE1. ¿Qué es ese horizonte? ¿qué es?2. ¿Porqué queremos llegar hasta allí? ¿Para qué habrá servido llegar hasta allí? ¿propósito?3. ¿Cómo es ese horizonte? ¿enfoques, herramientas y centrado?4. ¿Cómo iremos de aquí a allí? ¿Qué problemas nos encontraremos? Integrarlo en nuestra cotidianeidad a través de una práctica 3
  4. 4. 1. ¿Qué es la MTV?La MTV es una evaluación de la evaluación, es una fase posterior, terminal, que trasciende a la fase de la evaluación. RICARDO DE LA VEGA ALEMPARTEEs un juicio sobre la evaluación como resultado que consiste en la aplicación de listas de comprobación (KEC Key Evaluation Checklist) para construir un juicio sobre el resultado de la evaluación original. Michael Scriven 1968“Los evaluadores tienen la obligación profesional de que las evaluaciones propuestas o finalizadas estén sujetas a una evaluación competente, la metaevaluación”. 4
  5. 5. ¿Qué es la MTV?Una evaluación de la evaluación en términos de fiabilidad, validez ycalidad …... sobre el uso y utilidad de la información derivada del procesode evaluación ….. en respuesta a la demanda social sobre la calidad de laevaluación. RICARDO DE LA VEGA ALEMPARTEEs como un termómetro de la veracidad, viabilidad, objetividad y lafiabilidad de la información recopilada y arrojada por la diversidad deinstrumentos utilizados en la práctica evaluativa.La evolución de la evaluación con la que se trata de averiguar hasta qué puntola evaluación utilizada ha ampliado sus objetivos y hasta qué punto se hacumplido la misión que se le había encomendado y hasta qué punto losinstrumentos utilizados son adecuados para obtener la información deseada.Ha sido y es comúnmente considerada como aquella investigación sistemáticacuyo objetivo es emitir un juicio acerca de la calidad o los méritos de unaevaluación. Más allá de los datos, más allá de los métodos… Ética y política, más allá de la técnica !! 5
  6. 6. ¿Qué es la MTV? Dos visiones opuestas ¿? sobre la MTV RICARDO DE LA VEGA ALEMPARTE Sobre la eficacia del programa en cuestión (pretende comprobar el impacto del programa en la realidad; ex: rentabilidad) como un proceso técnico Sobre la evaluación en sí (pretende analizar y cuestionar sus supuestos implícitos de la evaluación para mejorarla) como un proceso social complejo 6
  7. 7. 2. ¿Para qué sirve la MTV?"El objetivo de la metaevaluación es asegurar lacalidad de los servicios evaluativos, evitar o RICARDO DE LA VEGA ALEMPARTEenfrentarse a las prácticas ilegales o a los serviciosque no son de interés público, señalarel camino para el perfeccionamiento de la profesióny promover una mayor comprensión de la empresaevaluativa”.Daniel Stufflebeam (1987) Sirve para eliminar de la evaluación la parcialidad, el error técnico, dificultades administrativas o el mal uso de la misma. 7
  8. 8. ¿Para qué sirve la MTV? RICARDO DE LA VEGA ALEMPARTE1. Meditar sobre lo que pasa2. Mentir / Manipular sobre lo que pasa3. Medir lo que pasa4. Consensuar / Mediar entre stakeholders Mejorar la evaluación para alterar lo que pasará en el futuro 8
  9. 9. RICARDO DE LA VEGA ALEMPARTEAntes de hablar de losenfoques, herramientas y fases una reflexión previa 9
  10. 10. RICARDO DE LA VEGA ALEMPARTE 10 ¿Qué es la calidad?
  11. 11. RICARDO DE LA VEGA ALEMPARTE ¿Cómo medir LA CALIDAD?Todo juicio sobre la realidad implica de manera inherente unos valores previos e implícitos que “limitan” “nuestra caja” Think out of the box 11
  12. 12. Medir, pero……¿Qué medir? ¿Cómo medirlo? RICARDO DE LA VEGA ALEMPARTE VS¿Por qué medirlo de esa manera? (supuestos implícitos no sólo respecto a los indicadores sino a su utilidad, su finalidad, quién NO los mide y el proceso en sí) 12
  13. 13. Calidad como ajuste al RICARDO DE LA VEGA ALEMPARTE contexto No como algo inherente al producto o servicio evaluado ¿Sobre qué contexto centrar la MTV?El mapa de actores: más allá de los stakeholders 13
  14. 14. El mapa de actores (más allá de los stakeholders) MUNDO ACADÉMICO PROFESORES Ayuda sin coartar libertad para el avance del conocimiento. No burocracia. RICARDO DE LA VEGA ALEMPARTE ESTUDIANTES Empleabilidad EMPLEADORES MTV Profesionalidad POLÍTICOS SOCIEDAD GESTORES Rendición de cuentas Tomar decisiones de financiación Diferentes perspectivas Diferentes motivaciones Diferentes usos de la información (internos, externos)http://www.qaa.ac.uk/enhancement/qualityMatters/QMNovember08.asp 14
  15. 15. El mapa de actores (más allá de los stakeholders) AGENTES AGENTES INTERNOS EXTERNOS PRODUCTOR RICARDO DE LA VEGA ALEMPARTE CO-PRODUCTOR PROMOTOR Recibe activamente el ASOCIADO resultadoDESTINATARIO DESTINATARIO ASESOR PROVEEDOR USUARIO Recibe pasivamente el resultado AGENTE REGULADOR AGENTE DE INTERES 15
  16. 16. Diferentes perspectivas Diferentes motivacionesDiferentes usos de la información (internos, externos) RICARDO DE LA VEGA ALEMPARTEMARCO DE REFERENCIA UTILIDAD FUTURA 16
  17. 17. 3. ¿Cómo llevar a cabo la MTV? RICARDO DE LA VEGA ALEMPARTE1. Enfoques2. Herramientas3. Centrado del proceso4. Dimensiones 17
  18. 18. ¿Cómo llevar a cabo la MTV? EnfoquesTres grandes paradigmas: RICARDO DE LA VEGA ALEMPARTE 1. Cuantitativo • la MTV debe ser veraz • fuente positivista: lo que no se mide no se mejora 2. Cualitativo • la MTV debe ser creíble y “justa” • fuente humanista – político: valores y propósitos inherentes 3. Mixto 18
  19. 19. ¿Cómo llevar a cabo la MTV? Herramientas 1. Cuantitativas RICARDO DE LA VEGA ALEMPARTE • Meta estadística • Estadística cuantitativa (análisis factorial) • Preocupaciones metodológicas (fiabilidad y validez; origen y calidad de los datos) 2. Cualitativas • Análisis textual o hermenéutico (comprender un texto en su contexto) (SPAD, SPSS,..) • Grupos focales con stakeholders externos a la universidad (mapa de actores en contexto) • Delphi u otros métodos basados en expertos • Aspectos éticos, políticos y otros valores inherentes 3. Mixtas 19
  20. 20. ¿Herramientas? La caja de proceso RICARDO DE LA VEGA ALEMPARTE Guias Inputs Outputs Recursos 20
  21. 21. ¿Herramientas? El mapa de actores AGENTES AGENTES INTERNOS EXTERNOS PRODUCTOR RICARDO DE LA VEGA ALEMPARTE CO-PRODUCTOR PROMOTOR Recibe activamente el ASOCIADO resultadoDESTINATARIO DESTINATARIO ASESOR PROVEEDOR USUARIO Recibe pasivamente el resultado AGENTE REGULADOR AGENTE DE INTERES 21
  22. 22. ¿Sobre qué centrar la MTV? Centrado1. el proceso de evaluación en sí (lo diseñado)2. los resultados obtenidos o ayuda a la toma de decisiones que apoya (lo deseado) RICARDO DE LA VEGA ALEMPARTE3. los evaluadores y sus valores y conducta (ética)4. los modelos y las herramienta/s que se utiliza/n5. los valores inherentes al enfoque o marco del proceso evaluativo que usamos (por ejemplo, qué perfil tienen quienes forman parte del comité de evaluadores)6. la mejora conseguida en términos acumulativos7. Outputs o outcomes (intangibles)8. La ideología y filosofía del proceso en sí (lo que transciende) 22
  23. 23. ¿Cómo llevar a cabo la MTV? DimensionesExploraremos los siguientes ámbitos: RICARDO DE LA VEGA ALEMPARTE 1. Génesis del informe (origen y porqué del inicio) 2. Veracidad del informe (datos y método) 3. Credibilidad del informe (autoridad y fundamento moral) 4. Persuasión del informe 5. Justicia o equidad del informe (equilibrio interno) 6. Estética y belleza del informe 7. Equidad del informe (intereses en conflicto) 8. Impacto social del informe (actores concernidos) 9. Comunicación del informe (audiencia) 10. …….. Para ofrecer recomendaciones de futuro 23
  24. 24. ¿Cómo construir la MTV? Reflexión de lo que ha pasado + RICARDO DE LA VEGA ALEMPARTE Propósito que queremos cubrir con la MTVCentrado + Dimensiones = Protocolo y herramienta de MTV 24
  25. 25. ¿Cómo construir la MTV?Phi Delta Kappa Study Committee RICARDO DE LA VEGA ALEMPARTEPara medir la suficiencia técnica cuatro criterios:validación interna, validación externa, fiabilidad y la objetividad; ypara medir la utilidad se plantean siete criterios: pertinencia,trascendencia, alcance, credibilidad, oportunidady la accesibilidad, costo / efectividad.Daniel StufflebeamPara realizar una MTV, debemos contemplar seis elementos:- conceptuales, - socio-políticos, - legales-contractuales, - técnicos,- administrativos, - consideraciones morales, éticas y de utilidad. 25
  26. 26. ¿Cómo construir la MTV? Categorías RICARDO DE LA VEGA ALEMPARTE 26
  27. 27. ¿Cómo construir la MTV? Impactos RICARDO DE LA VEGA ALEMPARTE 27
  28. 28. Toda evaluación o MTV genera realidad Dime cómo me mides y te diré RICARDO DE LA VEGA ALEMPARTE cómo me comporto. Eliyahu Goldratt.Los comportamientos cambian cuando notamos que somos observados (y medidos) evidencia empíricaEl observador siempre influye en lo observado ! 28
  29. 29. El ciclo de mejora continuo o Caminante no hay camino… RICARDO DE LA VEGA ALEMPARTE 29
  30. 30. RICARDO DE LA VEGA ALEMPARTE 30
  31. 31. Por otra parte la evaluación educativa se va plegando cada vez más a intereses políticos yes por eso que muy acertadamente describe ese proceso de influenciacuando dice: RICARDO DE LA VEGA ALEMPARTE“Filosóficamente, los evaluadores dejaron de creer que su disciplina era una disciplinaneutral y asumieron que su práctica implicaba promover los valores e intereses de unosgrupos sobre otros; aunque no acostumbran tener claro en absoluto, qué hacer consemejante descubrimiento. Los evaluadores tuvieron que hacer frente a la disyuntiva, enapariencia conflictiva, entre ser científicos por un lado, y útiles, por otro.Políticamente, por último, se movieron de una esfera en la que se concebían a sí mismoscomo técnicos expertos opuestos a los males de la política, a otra en la que ahoraadmiten, francamente que la evaluación misma es una actividad con efectos eimplicaciones políticas. Estos cambios conceptuales fueron estimulados por la rápidaevolución del contexto social, en relación con el cambio del carácter en la sociedadnorteamericana”. Ernest House (1992) 31
  32. 32. Dudas, sugerencias, preguntas, interrogantes,.. RICARDO DE LA VEGA ALEMPARTE 32
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×