Coloquio mide27
Upcoming SlideShare
Loading in...5
×
 

Coloquio mide27

on

  • 413 views

 

Statistics

Views

Total Views
413
Views on SlideShare
413
Embed Views
0

Actions

Likes
0
Downloads
2
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Coloquio mide27 Coloquio mide27 Presentation Transcript

  • Medición de habilidades de comunicación escrita: Hallazgos y Proyecciones Jorge Manzi Paulina Flotts Coloquio MIDE UC 27 octubre 2008
  • Antecedentes generales La PUC, en el decreto que regula el Plan de Formación General de las licenciaturas, estableció que todos los alumnos de la universidad debían aprobar, como parte de los requisitos de egreso, un examen en que demostraran sus competencias para comunicarse en forma escrita. La VRA solicitó a MIDE UC que se hiciera cargo del diseño, corrección y análisis de este examen, que se aplica regularmente en la universidad desde el año 2003 a la fecha. Complementariamente, desde el año 2007 se aplica este examen en otra universidad del país como parte de un proyecto encomendado por ésta a MIDE UC.
  • Limitaciones asociadas a la medición de la habilidad para expresarse por escrito Escasa pertinencias de pruebas de selección múltiple. Riesgos de subjetividad en la corrección de respuestas construidas por los examinados. Dificultades (costo y tiempo) asociadas a la corrección de mediciones de esta habilidad en gran escala.
  • Antecedentes Medición de esta habilidad en el contexto de las pruebas de selección universitaria se ha implementado recientemente en EEUU (en el SAT como prueba obligatoria, en el ACT en forma opcional). En el caso chileno, en el marco del proyecto FONDEF que sirvió de base para la reformulación de las pruebas de selección universitaria, se había estudiado la viabilidad de medir confiablemente la capacidad para expresarse por escrito mediante ensayos argumentativos.
  • ¿Por qué utilizar ensayos argumentativos? Porque corresponden a una habilidad transversal, pertinente en todos los ámbitos de la educación superior. Porque pueden ser implementados en un amplio rango de contextos y contenidos, lo que facilita su uso en mediciones en gran escala. Porque permiten evaluar tanto aspectos formales de la escritura (ortografía, vocabulario, cohesión textual, etc.), como aspectos relativos a la calidad de la argumentación (tesis, argumentos, contrargumentos, etc.
  • ¿Cómo llevar a cabo la corrección de los ensayos? La corrección del ensayo implica el diseño e implementación de una serie de procedimientos que contribuyan a garantizar una corrección confiable: Rúbrica o pauta de corrección que explicite claramente los niveles de desempeño posible en cada una de la dimensiones de interés. Rigurosa selección, capacitación y entrenamiento de correctores calificados. Doble corrección de un porcentaje de los ensayos. Desarrollo del proceso de corrección en condiciones altamente estandarizadas.
  • Características específicas del examen El alumno debe escribir un ensayo de dos páginas a partir de un tema que escoge de entre tres opciones posible. Los temas son de interés general (no suponen conocimiento de una disciplina específica). Se eligen temas donde es fácil defender y fundamentar puntos de vista alternativos. En las instrucciones del ensayo se señala al alumnos cuáles son los aspectos que serán tomados en cuenta al momento de evaluarlo.
  • Ejemplos de temas Aunque siempre se ha afirmado que la TV es un medio para entretener, educar e informar, muchos sostienen que si se mantiene un énfasis en la entretención, se producirá un empobrecimiento del nivel cultural de las nuevas generaciones. Históricamente, los avances tecnológicos han traído aparejados una serie de cambios en las conductas sociales. Según algunos, nuevas formas de comunicación como el correo electrónico y el “chat”, llevarán a que las relaciones interpersonales sean menos profundas, menos auténticas y menos duraderas.
  • Pauta de corrección Se emplean rúbricas analíticas que distinguen 9 dimensiones y 5 niveles de desempeño en cada una de ellas. Estas rúbricas fueron elaboradas en conjunto por MIDE UC y la Facultad de Letras de la PUC.
  • Aspectos evaluados en la rúbrica Aspectos formales del discurso: Ortografía: Grado en que se emplean correctamente las reglas ortográficas de la lengua (literal, puntual y acentual). Vocabulario: Grado en que el vocabulario es pertinente al registro de habla esperado. Grado de variedad y precisión en el uso del vocabulario. Estructura global: El texto presenta introducción, desarrollo y cierre. Cohesión textual: Uso adecuado de la gramática oracional y de los conectores que vinculan las oraciones. Uso de párrafos: Estructura del texto (uso correcto de párrafos e inclusión de una idea central en cada uno de ellos).
  • Aspectos evaluados en la rúbrica Aspectos relacionados con el contenido: Calidad de la argumentación: Coherencia global del texto: las ideas se relacionan entre sí de manera adecuada, incorporando uno o más argumentos para apoyar la idea central. Tesis o idea central: Grado en que el texto identifica un tema o idea central que refleja un punto de vista o posición acerca del tema enunciado. Contrargumentos: Grado en que el texto incluye la consideración de puntos de vista alternativos o contrargumentos. Evaluación global del texto: Evaluación general del contenido y calidad del texto (el corrector indica este puntaje, después de realizar la corrección de todos los otros criterios).
  • Proceso de corrección Cada año se trabaja con un grupo de profesores de Lenguaje que corrigen los ensayos. Los correctores son entrenados en el empleo de la rúbrica, estableciéndose procedimientos para favorecer y monitorear su consistencia: Empleo de benchmarks. Marcha blanca con corrección colectiva de ensayos. Doble corrección del 100% de todos los ensayos (innovación en el proceso desde este año -anteriormente se doble corregía el 20% de los ensayos-)
  • Porcentajes de acuerdo entre correctores Porcentaje de Porcentaje Año 2007, Discrepancia casos Acumulado 20% doble 0 a 0,5 puntos 65,47% 65,47% corrección 0,6 a 1,0 puntos 28,98% 94,46% 1,1 a 1,5 puntos 4,74% 99,19% Sobre 1,5 puntos 0,82% 100% Porcentaje Porcentaje Año 2008, Discrepancia de casos Acumulado 100% doble 0 a 0,5 puntos 66% 66% corrección 0,6 a 1,0 puntos 29,2% 95% 1,1 a 1,5 puntos 3,8% 99% Sobre 1,5 puntos 1% 100%
  • RESULTADOS
  • Comparación de Perfil Medio 2004- 2008 2004 2005 2006 2007 2008 5 4,5 4 3,5 3 2,5 2 1,5 1 Ortografía Vocabulario Estructura Cohesión Párrafos Argumentación Tesis Contrargumentos Ev al. global
  • 0 50 100 150 200 250 300 350 1, 11 1, 33 1, 44 1, 56 1, 67 1, 78 2005 (N=3205) 1, 89 2, 00 2, 11 2, 22 2, 33 2, 44 2, 56 2, 67 2, 78 2, 89 3, 00 3, 11 3, 22 3, 33 3, 44 3, 56 3, 67 3, 78 3, 89 4, 00 4, 11 4, 22 4, 33 4, 44 4, 56 4, 78 Distribución del puntaje final del ensayo
  • 0 50 100 150 200 250 300 350 400 1 ,1 1 450 1 ,3 3 1 ,5 6 1 ,6 7 1 ,7 8 2006 (N=3701) 1 ,8 9 2 2 ,1 1 2 ,2 2 2 ,3 3 2 ,4 4 2 ,5 6 2 ,6 7 2 ,7 8 2 ,8 9 3 3 ,1 1 3 ,2 2 3 ,3 3 3 ,4 4 3 ,5 6 3 ,6 7 3 ,7 8 3 ,8 9 4 4 ,1 1 4 ,2 2 4 ,3 3 4 ,4 4 4 ,5 6 4 ,6 7 4 ,7 8 4 ,8 9 Distribución del puntaje final del ensayo
  • Rendimiento según carrera A través de los años se ha observado un patrón bastante estable y razonable: Carreras de mejor rendimiento son del área humanista (periodismo, letras, psicología) y medicina. Carreras de menor rendimiento incluyen principalmente las del área de las ciencias exactas (matemática, construcción civil, licenciatura en física, licenciatura en química).
  • Relación del ensayo con años de formación universitaria 4 3,5 3 2,5 2 2008 2007 2006 2005 2004 2003 2002 y anteriores Año de Egreso EM
  • Correlación del Ensayo con factores de selección (2006) 0,4 0,3 0,2 0,1 0 PAAV PAAM PAAH PSUL PSUM PSUH PSUC NEM INGLES
  • 1 1,5 2 2,5 3 3,5 4 4,5 5 Or tog ra fí a Vo c ab ula rio Es tru ct u ra Mujeres (2005) Co h er en c ia Pá rra Mujeres fo s Ar gu m en tac ión Hombres Te sis Co n tra rg um e nto s Ev a l. g lob al Comparación de Perfil Medio Hombres-
  • 1 1,5 2 2,5 3 3,5 4 4,5 5 Or tog ra fí a Vo c ab ula rio Es tru ct u ra Mujeres (2006) Co h er en c ia Pá rra Mujer fo s Ar gu m en tac ión Hombre Te sis Co n tra rg um e nto s Ev a l. g lob al Comparación de Perfil Medio Hombres-
  • Relación con antecedentes socioeconómicos: Diferencia estandarizada entre alumnos UC provenientes de establecimientos particulares y municipales (2006) 1 0,8 0,6 0,4 0,2 0 PSUL PSUM NEM INGLES ENSAYO PPA
  • Relación con antecedentes socioeconómicos: Porcentaje de la varianza que se asocia a la escolaridad de los padres y dependencia del colegio de origen (2008) 0,08 0,07 0,06 0,05 E scolar idad 0,04 padr e s De pe nde ncia 0,03 e stabl e cimi e n to 0,02 0,01 0 E CE PSU LE N PS U MAT
  • Relación del rendimiento en el ensayo con el manejo de otra lengua 4 3,8 3,6 3,4 3,2 3 No maneja Inglés Alemán Francés Italiano otra lengua
  • Correlaciones con Aspectos Indagados en Cuestionario Complementario 2006 -0.05 0 0.05 0.1 0.15 0.2 Autoev. Escritura Gusto Novela Gusto Cuento Gusto Poesía Gustoi Teatro Gusto Ensayo Resultados 2006
  • Correlaciones con Aspectos Indagados en Cuestionario Complementario 2006 -0.05 0 0.05 0.1 0.15 0.2 Frec. Curso-Texto Frec. Curso-Oral Imp. Carrera-escrito Imp. Carrera-oral Imp. Profesión-escrito Imp. Profesión-oral Autoev. Pruebas Autoev. Trabajos Autoev. Pres. orales Autoev. Debates Resultados 2006
  • Conclusiones Se ha podido desarrollar un examen que aporta evidencia relevante acerca de las competencias comunicacionales de los estudiantes de la UC. Los resultados muestran una progresión positiva en el tiempo, pero con importantes diferencias de rendimiento entre estudiantes de diversas carreras. El mejoramiento de estas habilidades supone esfuerzos sistemáticos de las carreras para incorporar examinaciones y evaluaciones escritas acompañadas de retroalimentaciones informativas. La experiencia de la UC puede servir como base para analizar la incorporación de exámenes de este tipo en el proceso de admisión a las universidades.
  • Medición de habilidades de comunicación escrita: Hallazgos y Proyecciones Jorge Manzi Paulina Flotts Coloquio MIDE UC 27 octubre 2008