Evaluación de la competencia clínica

1,505 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,505
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
22
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Evaluación de la competencia clínica

  1. 1. ARTÍCULO ESPECIALEvaluación de la competencia clínica de las facultadesde medicina de Cataluña, 1994-2006: evolución 206.217de los formatos de examen hasta la evaluaciónclínica objetiva y estructurada (ECOE)Eduard Kronfly Rubianoa,b, José I. Ricarte Díezb, Sebastián Juncosa Fonta,by Josep Maria Martínez CarreterocaMedicina de familia. Institut Català de la Salut (ICS). Barcelona.bUnitat d’Avaluació de les Competències Clíniques.cSubdirección. Institut d’Estudis de la Salut. Barcelona. España.El Instituto de Estudios de la Salud (IES), organismo del De- facultades de medicina de Cataluña se han presentado enpartamento de Salut de la Generalitat de Catalunya, siendo los congresos internacionales de la Ottawa Conference onfiel a su función dentro del sistema sanitario, de formación y Medical Education desde 1998 (Philadelphia, Estados Uni-evaluación de la competencia clínica (ECC) de los profesio- dos)12-16 hasta el último en 2006, y en el congreso de la As-nales sanitarios, inició hace más de 12 años diversos pro- sociation for Medical Education in Europe (AMEE) en 2002yectos dirigidos a la mejora de la formación y evaluación, (Lisboa)17,18, participando y compartiendo las experienciastanto en el pregrado como en el posgrado y para la acredita- metodológicas internacionales, especialmente sobre ECC yción y certificación profesional1 (tabla 1). sobre otros proyectos en educación médica.A petición de las facultades de medicina de Cataluña, el IES Este artículo presenta el desarrollo y la evolución de los for-ha realizado diversos proyectos de evaluación en pregrado matos evaluativos en los sucesivos años, desde su primeracon la finalidad de conocer con más rigor la competencia edición en 1994 hasta la edición de 2006, y muestra el di-clínica de los médicos que finalizan su formación, al consta- seño y el resultado de los proyectos en 2 grandes etapas, latar que los métodos tradicionales usados hasta entonces no del período inicial 1994-1997 y la del período con los for-evaluaban plenamente las habilidades clínicas básicas2. matos ECOE, desde 1998 hasta 2006.Desde el año 1993, se comenzó a fraguar todo un modeloconceptual y metodológico de lo que debería ser en el futu- Personas, materiales y métodoro, no sólo la evaluación de médicos y estudiantes, sino Marco conceptualtambién su formación. El fundamento sobre el cual naceeste proyecto innovador que pretende influir en el ámbito de Muchos autores han definido el constructo competencia clínica (CC). En ese sentido, inicialmente asumimos la definición genérica de Kane, donde los co-la educación médica, fue el de la ECC y la formación basa- nocimientos, habilidades, actitudes y buen juicio eran aplicados a la resolu-da en competencias. La filosofía de este concepto sirvió ción de problemas4. El perfeccionamiento progresivo de los métodos de eva-para comenzar a buscar en la evaluación una congruencia luación nos permitió asumir la medición de aspectos más complejos y basar nuestros trabajos en definiciones más completas del constructo CC, como,con el proceso formativo garantizando que la enseñanza de por ejemplo, la que considera al profesional competente como «aquel quela medicina se adaptara a las necesidades de la sociedad. usa de modo habitual y sensato los conocimientos, habilidades técnicas, lasPara ello se debería comprobar la calidad tanto del resulta- habilidades de comunicación, el razonamiento clínico, las emociones, valores y reflexión de la práctica diaria para el beneficio del individuo y la comunidaddo (el profesional sanitario) como del sistema que los forma, a la que se sirve»5. Ronald Epstein completa esta definición añadiendo quemediante unos instrumentos de medida fiables y válidosque puedan certificarla. TABLA 1Con el apoyo de la Educational Comission for Foreing Medi-cal Graduates (ECFMG) del National Board of Medical Exa- Proyectos sobre evaluación de las competencias clínicasminers (NBME) de Estados Unidos y el Centre d’Évaluation 1994-2006des Sciences de la Santé de l’Université Laval de Quebec Pregrado Proyectos (n) Total evaluados(Canadá), comenzamos a conocer la experiencia internacio- Medicina (ECC) 16 897nal en cuanto a la aplicación de las técnicas de ECC3-8 y a in- Medicina (ECOE) 64 4.153corporarlas progresivamente a nuestro medio educativo, es- Enfermería (ECC) 4 255tableciendo nuestro propio marco conceptual y metodológico Enfermería (ECOE) 33 1.856 Seminarios paciente-monitor 21 1.471en una guía de proyectos de ECC9,10. Fruto de este trabajo, Posgradoen enero de 1994 se realizó, en colaboración con el ECFMG,el primer proyecto de ECC diseñado para los estudiantes del Valoración formativa residentes Diversos proyectos No cuantificados de medicina de familiaúltimo curso de la carrera11. Desde entonces se inició una in- y comunitariavestigación sistemática y en los años posteriores se diseña- Certificación y acreditaciónron proyectos más complejos, hasta que las pruebas de ECC profesionaladquirieron el formato actual llamado evaluación clínica ob- ECOE de medicina interna, 53 1.201jetiva y estructurada (ECOE). Los proyectos de ECOE de las medicina de familia y comunitaria, pediatría, geriatría, neonatología, matronas y análisis clínicosCorrespondencia: Dr. J. M. Martínez Carretero. Técnico en transporte sanitario 6 4.670Subdirección. Institut d’Estudis de la Salut. Sistema de incentivación ElaboraciónRoc Boronat, 81-95. 08005 Barcelona. España. y promoción profesional documento 1997Correo electrónico: jmartinezcarre@gencat.net Total 197 14.503Recibido el 25-4-2007; aceptado para su publicación el 25-5-2007. ECC: evaluación de la competencia clínica; ECOE: evaluación clínica objetiva y estructurada. Med Clin (Barc). 2007;129(20):777-84 777
  2. 2. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE) TABLA 2 Tabla de especificaciones utilizada el año 2006 Fase multiestaciones Fase escrita Total Competencias Puntos % Puntos % Puntos % Anamnesis 289 13,8 0 0 289 13,8 Exploración física 213 10,1 0 0 213 10,1 Comunicación 185 8,8 0 0 185 8,8 Conocimientos 80 3,8 302 14,4 382 18,2 Juicio clínico 183 8,7 248 11,8 431 20,5 Habilidades técnicas 305 14,5 0 0 305 14,5 Investigación 0 0 40 1,9 40 1,9 Medicina preventiva 40 1,9 75 3,6 115 5,5 Relaciones interprofesionales 80 3,8 0 0 80 3,8 Ético-legales 25 1,2 35 1,7 60 2,9 Totales 1400 66,6 700 33,4 2.100 100 «la competencia se construye sobre una base de habilidades clínicas integra- tentando adaptar el diseño a los cánones internacionales. El cambio consistió das, relacionales, de conocimiento científico y de desarrollo moral». en colocar 2 ruedas multiestaciones iguales y simultáneas que a partir del Teniendo en cuenta tales conceptos, se aceptó, por consenso de un grupo año 2004 se ampliaron a cuatro. Estos cambios permitieron acortar el tiempo de profesores clínicos escogidos por las facultades de medicina catalanas, de la prueba al admitir más alumnos cada día, aunque generaban un mayor que la CC era el producto de la agregación de unas cualidades y atributos esfuerzo organizativo ya que cada rueda debía tener diferentes actores u ob- que se separaban para facilitar la observación y la medición y que recibieron servadores entrenados de igual forma (fig. 1). Este reto organizativo buscaba el nombre de componentes competenciales. La definición minuciosa de cada máximas fiabilidad, equidad y seguridad con una mayor eficiencia. El tiempo uno de estos componentes fue realizada por este grupo de trabajo, quedando total es de 4 h, con un descanso general de 30 min en la mitad de la prueba. recogida en un amplio documento6, y se llega al acuerdo de que éstas serían La organización de los proyectos requirió que el diseño de los casos, la selec- las competencias que los estudiantes deberían haber adquirido al final de su ción y el entrenamiento de los pacientes simulados estandarizados, así como período formativo. A partir de este documento de consenso, que anualmente los aspectos logísticos e informáticos de las pruebas, se llevaran a cabo me- revisa el comité de prueba, se han ido extrayendo los contenidos de los exá- diante procesos consensuados y sistematizados, unificando la actuación de menes. los integrantes del equipo. Estas formas sistemáticas de actuación quedaron escritas en una serie de manuales respectivos que garantizaban la estructu- ración de los proyectos y la obtención de resultados más objetivos9,10,19. Diseño de la prueba El diseño del formato de la prueba ECC se traduce en la puesta en escena de Contenidos de las pruebas de ECC una serie de situaciones clínicas simuladas pero representativas de la prácti- ca real, presentadas de forma seriada en unos lugares físicos llamados esta- Las facultades de medicina o sus unidades docentes (UUDD) aportaban 1 o ciones. En el período 1994-1997 el formato consistía en 10 estaciones donde 2 profesores (del ámbito hospitalario y de la atención primaria) para formar se evaluaban los mismos componentes. A partir de 1998, con los formatos un comité de prueba con la tarea de elaborar cada año los contenidos. Los ECOE, se incrementaron el número de estaciones y los problemas clínicos casos clínicos diseñados para esta prueba cumplían las pautas marcadas por expuestos en ellas, permitiendo evaluar varios componentes competenciales el documento de consenso antes mencionado6, y queda reflejado en una ta- simultáneamente; además, estos componentes variaban en las sucesivas es- bla de especificaciones el peso específico de cada uno de ellos en el conjun- taciones, proporcionando al final de todo el recorrido el perfil competencial to de la prueba (tabla 2). del candidato. Los diseños simulaban diferentes situaciones clínicas en 4 ámbitos de actua- A partir de la edición de 2001, se abrió un segundo escenario de examen ción: atención primaria de salud (APS), planta hospitalaria, servicio de urgen- (fase escrita) donde mediante preguntas de elección múltiple (PEM), 20 de cias hospitalario o el domicilio. Los problemas de salud representados pre- ellas asociadas a imágenes clínicas, se valoraban los aspectos competencia- tendieron ser una muestra amplia de la práctica clínica y se seleccionaron les que no se podían examinar plenamente en la fase multiestaciones (cono- con criterios de prevalencia y relevancia clínica. cimientos e investigación, juicio clínico, actividades preventivas y aspectos Los instrumentos evaluativos que formaron parte de las estaciones fueron: ético-legales). pacientes estandarizados (PE), maniquíes (M), imágenes clínicas (ImCI), pre- En los años 2002 y 2003 se introdujeron en la fase multiestaciones unas no- guntas de respuesta corta (PRC), examen oral estructurado (EOE) e informes vedades logísticas con la finalidad de mejorar la seguridad de la prueba in- clínicos (IC) (tabla 3). Contenidos en el período 1994-1997. El formato evaluativo diseñado consta- ba de 10 estaciones basadas en entrevistas con PE al final de las cuales los estudiantes debían escribir sendos IC. Mientras tanto, los actores marcaban, 1.487 estudiantes en un cuestionario de evaluación sobre la anamnesis, la exploración física y las habilidades de comunicación, las puntuaciones obtenidas por los candi- datos durante la entrevista. Con este formato se evaluaban los componentes de «anamnesis», «exploración física», la capacidad para realizar informes clí- Rueda logística «A»: Rueda logística «C»: nicos y las habilidades de comunicación. Las tres primeras se agruparon en • 14 casos clínicos • 14 casos clínicos el epígrafe «habilidades clínicas», y se realizó la evaluación de la comunica- • 20 estaciones • 20 estaciones ción de forma separada. Se utilizaron 2 cuestionarios de comunicación: el primero, usado de 1994 a 1996, fue el de la ECFMG, y a partir de 1996 y hasta la actualidad, se realiza mediante el diseño de un cuestionario propio de evaluación cualitativa tipo Likert, con 10 ítems (tabla 4). La valoración de cada ítem se hace con una Fase multiestaciones escala gradual de 0 a 10 con 5 niveles que iban desde «nada», «poco», «re- gular», «bastante» hasta «mucho». Contenidos de las pruebas con formato ECOE (1998-2006). Desde 1998 has- Rueda logística «B»: Rueda logística «D»: ta 2000 hubo un período de transición en que las pruebas se basaron sólo • 14 casos clínicos • 14 casos clínicos en un diseño multiestaciones, aunque ya se adoptó el formato de evaluación • 20 estaciones • 20 estaciones conocido internacionalmente como evaluación clínica objetiva y estructurada (ECOE). En el año 1999 se añadieron los componentes «conocimientos» y «ético-legales». En 2001 se incorporó también el componente «investiga- ción» y la prueba pasó a desarrollarse en dos fases: la primera consistía en Fase escrita un sistema multiestaciones cuyo formato finalmente quedó establecido en 14 Prueba simultánea en todos casos distribuidos en 20 estaciones. La segunda fase se compone de 150 PEM, 20 de ellas asociadas a imágenes clínicas. los centros Encuestas de opinión Fig. 1. Organización logística definitiva de la evaluación clínica objetiva y es- Para valorar la opinión de los estudiantes se empleaba un cuestionario que tructurada (ECOE) de pregrado de medicina. los estudiantes contestaban al acabar la fase multiestaciones; se preguntaba778 Med Clin (Barc). 2007;129(20):777-84
  3. 3. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)TABLA 3Componentes competenciales con el instrumento evaluativo usado en cada período Instrumentos evaluativos Componentes competenciales Período 1994-1997 Período ECOE (transición) 1998-2000 Período ECOE (formato final) 2001-2006 Anamnesis PE PE PE Exploración física PE PE PE Habilidades de comunicación PE PE PE Conocimientos PEM, PRC, ImCl PEM, PRC, ImCl Juicio clínico/plan de manejo EOE, PRC, ImCl, PEM EOE, PRC, ImCl, PEM Habilidades técnicas Maniquí Maniquí Metodología de investigación PEM Actividades preventivas PRC, EOE PRC, EOE, PEM Relación interprofesional/informe clínico IC IC IC Aspectos ético-legales EOE, PRC, PEMECOE: evaluación clínica objetiva y estructurada; EOE: examen oral estructurado; IC: informes clínicos; ImCl: imágenes clínicas; M: maniquíes; PE: pacientes estandarizados; PEM: pre-guntas de elcción múltiple; PRC: preguntas de respuesta corta.por los aspectos organizativos, de contenido y sobre la capacidad de predic-ción del examen sobre su futura actuación en la práctica real. La opinión de Resultados generaleslos estudiantes servía para detectar los aspectos mejorables y, también,como un método para estudiar la validez de apariencia del proyecto. Por cuestiones metodológicas, separaremos los resultados en período inicial (1994 a 1997) y final (1998 a 2006):Administración de las pruebas de ECC Período inicial (1994-1997). Mientras las habilidades de co-En todas las ediciones, las pruebas se desarrollaron en las consultas externas municación mostraron una valoración ascendente en ese pe-de los respectivos hospitales docentes o centros de atención primaria partici- ríodo desde una media (desviación estándar) del 64,6%pantes. La primera prueba de ECC tuvo lugar en la Ciutat Sanitària i Univer-sitària de Bellvitge (CSUB), en la que participaron 83 médicos internos resi- (11,1%) en 1995 hasta el 70,1% (6,9%) en 1997, el conjun-dentes (proyecto Combell I) y 64 alumnos (proyecto Combell II). En lossucesivos años se han incorporado todas las facultades de medicina de Cata- TABLA 4luña, y desde 1994 se ha evaluado un total de 4.331 alumnos del último añode licenciatura (tabla 5). Además, han participado otros estudiantes de terce- Listado evaluativo de comunicaciónro, cuarto y quinto curso hasta la totalidad de 5.050. Cabe destacar queen 2006 la Facultad de Medicina de la Universidad Complutense también Apariencia cuidada, buena higiene, postura corporal correctaparticipó en el diseño de la prueba y evaluó a 96 de sus estudiantes de sextocurso. 0 1 2 3 4 5 6 7 8 9 10 Nada Poco Regular Bastante MuchoAnálisis de los resultados Escucha adecuada, no interrumpe, está atento, mira mientras hablaPeríodo 1994-1997. El estudio de los datos se basaba en un análisis descrip- 0 1 2 3 4 5 6 7 8 9 10tivo de las notas mediante los estadísticos básicos. Como aún en ese períodono se evaluaba el constructo competencia clínica, los valores finales refleja- Nada Poco Regular Bastante Muchoban por separado las habilidades clínicas básicas (anamnesis, exploración fí- Cordialidad, realiza una buena recepción, sonríesica e informe clínico) y las habilidades de comunicación. En ambos casoslos resultados se expresaban con un porcentaje de puntos obtenidos sobre el 0 1 2 3 4 5 6 7 8 9 10total posible. Nada Poco Regular Bastante MuchoPeríodo 1998 en adelante: formato ECOE. Para el estudio de los resultadosse hizo un análisis descriptivo de las notas mediante los estadísticos descrip- Respeto, no critica ni hace juicios peyorativostivos básicos, donde la puntuación media de cada caso se expresaba en for- 0 1 2 3 4 5 6 7 8 9 10ma de porcentaje (puntos obtenidos sobre el total posible por 100). Este cál-culo se basa en la tabla de especificaciones general de las ECOE, en cuyo Nada Poco Regular Bastante Muchoformato definitivo, a partir de 2002, se dispuso que la fase multiestaciones Tranquilidad, se mantiene sereno, con control emocionalcontuviera el 66,6% de los puntos y la fase escrita, el 33,3%. Dado que cadacaso puntúa 100 puntos y hay 14 casos, el total de puntos posibles en la fase 0 1 2 3 4 5 6 7 8 9 10multiestaciones es de 1.400 y en la fase escrita de 700.Los estudios de correlación entre la fase multiestaciones y la escrita se empe- Nada Poco Regular Bastante Muchozaron a realizar a partir de 2002 mediante el estadístico del coeficiente de Optimismo, ve los aspectos positivos, intenta dar ánimos al pacientecorrelación de Pearson.Asimismo, se tenía en cuenta el cálculo de la fiabilidad o de la consistencia 0 1 2 3 4 5 6 7 8 9 10interna mediante el coeficiente alfa de Cronbach, al comienzo sólo para la Nada Poco Regular Bastante Muchoprueba multiestaciones y luego (a partir de 2001) para cada una de las fasesde la ECOE. Para la fase multiestaciones, según método habitual que consi- Contacto: el contacto físico a la hora de hacer exploraciones físicas o saludar esdera los casos como ítems de la escala global, y en la fase escrita, las pre- amableguntas son los ítems de la escala. Este análisis se establecía mediante el pro- 0 1 2 3 4 5 6 7 8 9 10grama estadístico SPSS/PC+ para Windows versión 10.0 con el comandoReliability. Nada Poco Regular Bastante Mucho Interés, se interesa por las opiniones, creencias, valores, preocupaciones o emociones del pacienteResultados 0 1 2 3 4 5 6 7 8 9 10Participantes Nada Poco Regular Bastante MuchoDesde el año 1994 al 2006 se examinaron un total de 4.331 Expresión inteligible, se expresa de manera que se le entiende claramentealumnos del último año de licenciatura pertenecientes a 8 0 1 2 3 4 5 6 7 8 9 10UUDD de las facultades de medicina de Cataluña y la Uni- Nada Poco Regular Bastante Muchoversidad Complutense de Madrid (tabla 5). La Facultad de Empatiza delante de las emociones intensas del paciente (dolor, ansiedad, alegría),Medicina de la Universitat Rovira i Virgili y la UD del Hospi- participa, se solidariza o las entiende para intentar reconvertirlastal de la Santa Creu i Sant Pau (Universitat Autònoma de 0 1 2 3 4 5 6 7 8 9 10Barcelona) son los centros que más alumnos han aportado,842 y 835 respectivamente. Nada Poco Regular Bastante Mucho Med Clin (Barc). 2007;129(20):777-84 779
  4. 4. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE) TABLA 5 Número de alumnos de las unidades docentes participantes por año Centro Pruebas de ECC Pruebas de ECC con formato ECOE 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 Total CSU de Bellvitge-UB 147* 73 70 68 41 51 44 12 10 40 39 36 631 Hospital Clínic Provincial Barcelona-UB 16 16 Hospital Arnau de Vilanova, Lleida (UdL) 19 37 54 99 54 52 71 62 75 74 88 685 Hospital Sant Joan de Reus/CAP Sant Pere-URV 60 60 69 83 54 63 59 78 66 66 88 96 842 UD del Hospital de Sant Pau (UAB) 59 66 57 68 82 70 74 70 71 78 75 65 835 UD de la CSVH (UAB) 117 117 94 92 106 90 616 UD del HGTiP, Badalona (UAB) 50 44 62 50 40 49 295 UD del Hospital del Mar (UAB) 65 49 57 50 49 45 315 Hospital Clínico San Carlos. UCM 96 96 Total 147 208 215 231 246 286 231 429 429 422 451 471 565 4.331 *Se incluye a 64 estudiantes de sexto curso y 83 residentes de primer año. CSU: Ciutat Sanitaria i Universitaria; CSVH: ciudad universitaria Vall d’Hebron; ECC: evaluación de la competencia clínica; ECOE: evaluación clínica objetiva y estructurada; HGTiP: Hospital Universitario Germans Trias i Pujol; UCM: Universidad Complutense de Madrid; UD: Unidad Docente; URV: Univesitat Rovira i Virgili TABLA 6 Resultados generales y por componentes de las pruebas de ECC 1994-1997 Componentes competenciales 1994 1995 1996 1997 (n = 64) (n = 172) (n = 215) (n = 174) Anamnesis 69,6 (9,0) 63,40 (7,2) 62,81 (7,8) 60,07 (6,5) Exploración física 48,9 (11,3) 39,49 (8,2) 44,24 (11,0) 51,2 (10,7) Informe clínico 54 (7,2) 46,18 (5,2) 50,03 (6,5) 48,31 (6,2) Habilidades clínicas 57,2 (7,0) 50,39 (5,0) 53,02 (6,5) 52,20 (5,3) Habilidades de comunicación 3,4 (0,6) 64,60 (11,1) 67,88 (11,7) 70,09 (6,9) Los datos se presentan como media (desviación estándar). to de habilidades clínicas básicas (anamnesis, exploración fí- las puntuaciones generales fueron menores que en las sica e informe clínico) tuvo unos resultados más erráticos, evaluaciones posteriores; los resultados fueron: 52,9% que mostró la nota más alta en 1994, con un 57,2% (7,0%). (7,6%) en 1998, 52,3% (6,9%) en 1999 y 56,8% (5,8%) La puntuación más baja se registró en 1995 con 50,4% en 2000. En las ediciones siguientes, las valoraciones me- (5,0%), mientras que en 1996 y en 1997 los resultados obtu- dias obtenidas se fueron incrementando, y casi todas se vieron valoraciones intermedias (tabla 6). La puntuación so- situaron por encima del 60%, manteniendo las desviacio- bre habilidades de comunicación de 1994 se hizo con un nes estándar. El mejor resultado se obtuvo en 2004, con cuestionario (escala de Likert de 1 a 5) diferente del que se 66,6% (8,8%), y la menor puntuación se registró en 2001 utilizó a partir de 1995, por eso la puntuación final (3,4) no se con 57,9% (5,8%); los resultados prácticamente habían obtuvo sobre los 100 posibles; por lo tanto, su resultado no es ido mejorando progresivamente año tras año, pero como comparable con el resto de los proyectos de ese período. se puede ver en la tabla 7 la tendencia se invierte desde La tabla de resultados también muestra con detalle las pun- 2005, en que los resultados descienden a 64,3% (6,9%), tuaciones obtenidas por los diversos componentes de las y en 2006, a 60,8% (7,8%). habilidades clínicas, donde la anamnesis obtuvo las puntua- Por componentes, los resultados más altos se han registra- ciones más altas en todas las ediciones, con resultados que do en las habilidades técnicas, investigación y ético-legal. oscilan entre el 60 y el 70%; la exploración física fue la que Un factor común detectado en casi todas las ediciones es menos puntuó en todos esos años (valores entre el 39 y el que los componentes con menor puntuación han sido ex- 51%), mientras que el informe clínico obtuvo valoraciones ploración física y relaciones interprofesionales (informes clí- intermedias (46-54%). nicos); el primero se sitúa por debajo del 50% entre 1998 y 2000, para luego incrementar sus valores situándose por Período con formato ECOE (1998-2006). Desde 1998 has- debajo del 60% en las últimas 6 ediciones. En cuanto a los ta 2006 se examinó a 3.530 alumnos del último año de la informes clínicos, sus resultados se han mantenido en cifras licenciatura. En las primeras 3 ediciones de este período, inferiores al 50% entre 2001 y 2006. TABLA 7 Nota general y por componentes Componentes 1998 1999 2000 2001 2002 2003 2004 2005 2006 Media Intervalo Anamnesis 53,8 (8,3) 52,5 (9,0) 56,2 (7,7) 60,1 (7,8) 61,1 (9,2) 64,8 (8,4) 65,8 (9,9) 66,79 (8,38) 65,4 (9,95) 61,88 62,5-65,8 Exploración física 46,0 (12,3) 45,9 (10,1) 42,4 (8,3) 50,8 (9,6) 51,2 (8,8) 51,4 (11,0) 59,0 (12,2) 56,18 (12) 51,54 (12,63) 51,51 42,4-59 Informe clínico 73,1 (16,7) 47,2 (10,6) 58,3 (11,8) 45,1 (9,4) 47,8 (10,1) 48,6 (9,9) 46,3 42,58 (8,74) 41,3 (9,47) 48,1 41,3-58,3 Habilidades técnicas 69,5 (15,9) 72,9 (13,6) 74,7 (10,8) 72,2 (11,9) 73,9 (12,4) 71,8 (12,8) 72,6 (11,72) 67,76 (13,59) 71,91 67,7-71,6 Comunicación 68,6 (6,4) 69,5 (6,4) 71,6 (5,9) 67,8 (6,2) 67,0 (6,3) 61,4 (6,2) 64,4 (6,2) 64,7 (6,9) 64,76 (7,16) 66,03 61,4-74,7 Conocimientos 57,2 (10,7) 61,9 (9,1) 55,5 (8,9) 59,0 (8,7) 58,1 (10,4) 62,9 (11) 55,21 (8,56) 53,52 (9,09) 57,67 55,2-62,9 Juicio clínico 48,4 (12,5) 43,2 (10,2) 46,1 (7,9) 60,7 (8,4) 59,7 (8,4) 59,8 (8,9) 69,2 (11,4) 68,33 (8,6) 62,36 (9,94) 59,51 43,2-68,3 Preventivas 36,0 (8,0) 45,8 (10,9) 52,3 (12,0) 60,6 (11,6) 59,4 (11,4) 64,5 (13,0) 75,1 (13) 72,1 (10,28) 67,19 (12,51) 61,84 45,8-75,1 Ético-legal 62,4 (30,0) 72,7 (27,12) 79,0 (14,6) 71,5 (14,0) 62,4 (17,1) 82,0 (12,9) 67,23 (13,12) 64,19 (14,56) 70,16 62,4-8 Investigación 64,7 (17,8) 69,4 (17,8) 62,0 (22,5) 85,2 (15,7) 72,06 (22,1) 71,15 70,81 62-85,2 Total 52,9 (7,6) 52,3 56,8 (5,8) 59,7 (5,8) 60,8 (5,9) 61,8 (6,7) 66,6 (8,8) 64,32 (6,88) 60,83 (7,82)780 Med Clin (Barc). 2007;129(20):777-84
  5. 5. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)TABLA 8Resultados del coeficiente de fiabilidad alfa de Cronbach 80en todos los períodos Pruebas ECC de Cronbach 70 Total fase multiestaciones 1994 HC Com 60 1995 HC 0,78 Com 0,78 1996 HC 0,80 50 Com 0,70 1997 HC 0,75 Com 0,80 40 Formato ECOE 1998 0,68 1999 0,81 2000 0,79 30 2001 0,82 20 30 40 50 60 70 80 90 2002 FME 0,80 FE 0,76 Total fase escrita 2003 FME 0,86 FE 0,83 2004 FME 0,90 Fig. 2. Correlación entre fase escrita y multiestaciones del año 2006. FE 0,91 2005 FME 0,80 FE 0,76 0,78 en 1995, 0,7 en 1996, 0,8 en 1997 y 0,68 en 1998. 2006 FME 0,88 FE 0,81 De 1999 a 2006 se calculó un coeficiente general de fiabili-Com: comunicación; ECC: evaluación de la competencia clínica; ECOE: evaluación clínica dad para todo el conjunto de la prueba que oscila entreobjetiva y estructurada; FE: fase escrita; FME: fase multiestaciones; HC: habilidades clínicas. 0,79 en 2000 y 0,89 en 2006 (tabla 8). Encuestas de opinión de los estudiantesCorrelación entre fase multiestaciones y fase escrita (a partirde 2002) La opinión general de la prueba durante todos los años que se evaluó es muy satisfactoria. Como ejemplo, los resultadosLos estudios de correlación muestran unos valores extremos correspondientes a las encuestas de la ECOE del año 2006,que oscilan entre 0,38 de 2002 y 0,74 de 2003; el resto de que reflejan la tendencia de los últimos años, muestran unalos estudios reflejó valoraciones intermedias (0,57 en 2004, puntuación media general de 7,43 (1,02) sobre un máximo0,56 en 2005 y 0,53 en 2006). En la figura 2 se muestra la de 10. Los aspectos mejor valorados fueron los actorescorrelación correspondiente a la prueba del año 2006. (8,86), la organización y logística (8,84) y la información y el apoyo recibido por parte de los organizadores (8,52). LosFiabilidad aspectos peor valorados fueron la duración de la pruebaEl coeficiente general de fiabilidad o confianza (alfa de (5,83) y la presencia de otras personas en el momento de laCronbach) de 1995 a 1998 se calculó para la parte de habi- prueba (5,83) (tabla 9).lidades clínicas y de comunicación por separado. Así, el alfade Cronbach para las habilidades clínicas fue de 0,78 en Discusión1995, 0,8 en 1996, 0,75 en 1997 y 0,72 en 1998. El alfade Cronbach para las habilidades de comunicación fue de Desde la instauración del formato ECOE en 1998, los resulta- dos generales tuvieron en cada edición una mejora progresivaTABLA 9 hasta 2004, año en que se produce un discreto descenso, aunque son susceptibles de mejora respecto a los estándaresResultado de la encuesta a los estudiantes el año 2006 internacionales20,21. Estos datos pueden explicarse por: Media (desviación – El grado de fiabilidad alcanzado en el formato evaluativo estándar) del primer período, donde el aprendizaje y el perfecciona- Actores 8,86 (0,39) miento del método centraban los objetivos de los técnicos Organización 8,84 (0,66) de educación médica de esos años. Sin embargo, con los Soporte 8,52 (0,52) Comprensibilidad de las tareas a hacer 8,41 (0,24) formatos ECOE, los objetivos se centraron en la validación Circuito comprensible 8,23 (0,24) metodológica de los instrumentos de medida que buscaron Indicaciones de los observadores 7,99 (0,26) una fiabilidad y validez aceptables. Coherencia con la práctica 7,89 (0,35) Coherencia con los problemas 7,88 (0,42) – La consecución de una fiabilidad de contenido óptima Información previa 7,50 (0,73) para validar resultados hizo incrementar el número de casos Aconsejaría hacerla a otros 7,36 (0,41) y la complejidad progresiva de los formatos de examen, lo Feedback positivo de formación 7,33 (0,59) Dificultad 7,31 (0,31) que influyó en la obtención de resultados más estables y vá- Descansos 7,13 (0,23) lidos con los cuales inferir conclusiones. Feedback positivo de la actuación 6,75 (0,29) – El impacto de los exámenes sumativos en la formación, Número de situaciones 6,69 (0,32) con la creación o perfeccionamiento de los laboratorios de Estrés 6,48 (0,77) Expectativas de superación 6,40 (0,58) habilidades clínicas en algunos centros. Presencia de visitantes 5,83 (0,64) – No se puede descartar tampoco un efecto aprendizaje de Duración 5,83 (0,64) los propios candidatos que, por el desconocimiento inicial Media 7,43 (1,02) de este tipo de formatos de examen, supusieron toda una Med Clin (Barc). 2007;129(20):777-84 781
  6. 6. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE) novedad en su momento, pero que con el transcurrir de los Los estudios de correlación entre la fase multiestaciones y años se han convertido en tradición; incluso en algunos fase escrita de la ECOE a partir de 2002 muestran valores, centros se han venido incorporando evaluaciones parciales en general, intermedios o bajos porque están midiendo con pacientes simulados para la formación en la obtención competencias diferentes con instrumentos diferentes. El va- de historias clínicas y seminarios de habilidades de comuni- lor alto de 2003 no demuestra ninguna tendencia, sólo se- cación, familiarizando a los alumnos de forma progresiva ñala un fenómeno aislado ocurrido en esta prueba; siempre con las técnicas de ECC22. se puede esperar una cierta correlación aunque midan – La estabilidad del formato obtenida a partir de 2002, con competencias diferentes. Si la correlación hubiera sido la implantación de dos fases de examen (multiestaciones y siempre alta, no habría sido necesario hacer un diseño tan escrita), y el logro de una mayor eficiencia en los procesos complejo con dos escenarios de examen, con uno de ellos evaluativos, con la colocación de ruedas logísticas simultá- hubiera bastado para valorar la competencia. Este resultado neas que permiten evaluar a más estudiantes en menos apoya la necesidad de conservar el diseño en las dos fases, tiempo, consiguieron minimizar las influencias del sistema de con ello se refuerza la idea de mantener una evaluación examen en los resultados, y se puede considerar que las fluc- más integral sobre la opción de llevar a cabo la prueba con tuaciones obtenidas desde 2004 en adelante se deban atri- sólo una de las dos fases de forma aislada. buir de forma predominante a la competencia de los alumnos Durante el curso 1996-1997 se realizó un estudio en el y menos al sistema que los evalúa. Dicho con otras palabras, Hospital Sagrat Cor de Barcelona con el objetivo de demos- desde que no se introdujeron más mejoras de formato (la últi- trar la validez de constructo del sistema multiestaciones ma en 2004), los resultados reciben menos influencias de centrando la validación en pacientes simulados estandariza- éste, lo cual permite atribuir de forma más neta la fluctuación dos. En el mencionado estudio, aprovechando la prueba di- de resultados a la competencia de los candidatos. señada para los alumnos de sexto curso, se hizo pasar a un grupo de estudiantes de tercero del mismo centro sanitario; La fiabilidad ha experimentado un incremento progresivo a el resultado confirmó una diferencia significativa entre los medida que los formatos se han hecho más complejos y alumnos de los dos cursos a favor de los de sexto. Esta for- con más casos (formato tipo ECOE), e incluso cuando los ma de validación del método evaluativo empleado (validez estudios de fiabilidad obligaron a estudiar por separado la de constructo) demostró ser sensible a los diferentes niveles fase multiestaciones y la fase escrita de la ECOE. La menor de formación. Más adelante, con los formatos ECOE, se ha fiabilidad del formato evaluativo del primer período, donde podido constatar la misma sensibilidad del instrumento de predominaba la búsqueda de una herramienta adecuada medida en los exámenes realizados en la unidad docente (frente a la intención de validarla de los años posteriores) del Hospital de Bellvitge (UB) en los cuales han participado pudo provocar una mayor variabilidad de los resultados. alumnos de cuarto curso en las últimas tres ediciones32. Para mejorar la fiabilidad se aumentaron el número de ca- Otras experiencias realizadas en el Hospital Sant Joan de sos y la complejidad del formato de la prueba, lo que tam- Reus (Universitat Rovira i Virgili) demuestran la misma sen- bién estabilizó y validó los resultados. La correlación de sibilidad al intercalar en la edición de la ECOE de 2003 a cada caso clínico con el total de la prueba ayudaba a la de- varios residentes de medicina interna entre los alumnos de tección de los casos que pudieran restar en el cómputo de sexto curso, al igual que en la Universidad de Lleida el año la fiabilidad global, cuando se constataba su incremento al 2006 donde participaron estudiantes de quinto curso. retirar el caso afectado. Este hallazgo obligaba a estudiar y Las encuestas de opinión, cuyos resultados coinciden con analizar el diseño total o parcial de dicho caso: revisar los otros estudios33, han servido para estudiar los aspectos rela- ítems, clarificar su redacción, comprobar su definición y es- cionados con la validez de apariencia. De ellas se ha podido tudiar sus contenidos clínicos. Este tipo de análisis, junto destacar la alta valoración sobre el realismo dado por los ac- con otros métodos, contribuía a la validación de los casos tores que han trabajado como pacientes simulados. De la clínicos. No obstante, la fiabilidad conseguida en todas las interacción con ellos se ha podido decir de forma fidedigna pruebas realizadas supera la mínima recomendada por los que la valoración obtenida de los estudiantes en esas condi- estándares internacionales23-25. ciones de credibilidad clínica simulada pueden ser el reflejo En lo que respecta al resultado por componentes, las rela- de cómo lo hubieran hecho en condiciones reales. Por el ciones interprofesionales (informes clínicos) y la exploración hecho de que la interacción con pacientes reales no permi- física fueron los componentes con medias más bajas, mien- te estandarizar procesos para evaluar a tantos candidatos, tras que los componentes de habilidades técnicas, ético-le- el realismo dado a las simulaciones afianza las pruebas tipo gales, investigación y las habilidades de comunicación, las ECOE que sí permiten estandarizarlos. La misma satisfac- más altas. Esta tendencia se mantiene en casi todas las edi- ción se refleja en cuanto a la actuación de los observadores ciones, que muestran un posible déficit formativo en los pri- en las estaciones de maniquíes, en cuanto a la organización meros dos componentes (informe clínico y exploración físi- de las pruebas y la idoneidad del método evaluativo34. La ca), lo que supone una información muy útil para las aceptación de este tipo de examen condiciona la motivación facultades de medicina. Un perfil parecido se obtiene en y el grado de involucración de los estudiantes en la prueba e otros países que utilizan las técnicas de ECC26-30. También induce a una conducta muy parecida a la de una situación se ha de decir que gracias a estas técnicas se ha podido real; en estas condiciones los resultados son más creíbles. detectar tales déficits que no se hubieran puesto de mani- La filosofía de un formato de evaluación basada en simula- fiesto con los exámenes tradicionales31. Es importante des- ciones se fundamenta en la demostración de la capacidad tacar que los resultados de los componentes ético-legal e para hacer frente a una serie de problemas clínicos repre- investigación no pueden ser tomados en consideración de sentativos de la práctica real y no sólo en la comprobación forma aislada, puesto que el número de instrumentos eva- de los conocimientos adquiridos, como se venía haciendo luativos (casos clínicos y PEM) para valorar estos compo- tradicionalmente35. La resolución de problemas en cuanto a nentes es limitado. Lo que se pretendía con ellos al incluir- proceso y resultado puede dejar constancia de que los co- los era, ante todo, lograr un impacto educativo en estos nocimientos no sólo se tienen sino que son correctamente temas, dentro de los supuestos clínicos simulados en las es- aplicados. De lo anterior se infiere que los resultados obteni- taciones o en viñetas clínicas de la fase escrita. dos en este tipo de evaluación se han realizado sobre el782 Med Clin (Barc). 2007;129(20):777-84
  7. 7. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)concepto de competencia clínica y no sobre un formato de mento de percepción muy elaborado con el cual una facul-examen basado en asignaturas; es decir, no se evaluaban tad de medicina se debería dotar para obtener la imprescin-programas docentes sino si los estudiantes eran o no com- dible información sobre la calidad de los médicos que for-petentes para ejercer la profesión. ma. Gracias a este tipo de evaluación sumativa, unaLas consecuencias que en las facultades de medicina han institución puede demostrar que está proporcionando eltenido los más de 12 años de aplicación de este tipo de eva- mejor capital humano posible para asegurar a los ciudada-luaciones han sido muy variadas, pero podemos destacar: nos uno de los principales derechos fundamentales de toda sociedad democrática: la salud. En ese sentido, y con el ne-1. La colaboración institucional continuada entre el IES y las cesario consenso, una ECOE puede llegar a convertirse enfacultades de medicina. un instrumento certificador de la competencia profesional2. La creación en el IES de una unidad especializada de en el momento de otorgar la licenciatura de medicina.asesoramiento (Unitat d’Avaluació de les Competències Clí- Como se ha señalado antes, este tipo de prueba puede serniques-UACC) formada por un equipo multidisciplinario de útil para la detección de fortalezas y de aspectos suscepti-profesionales sanitarios, psicometristas, logísticos, informáti- bles de mejora en el ámbito de la formación médica. Puedecos y personal administrativo para los diferentes proyectos aportar un punto de partida en la reflexión y, más tarde, ende ECC en pregrado, posgrado y para la acreditación y certi- la toma de decisiones en cuanto a la introducción de cam-ficación profesional. bios en los planes de estudios, centrándolos en competen-3. La reflexión abierta sobre las competencias que debe te- cias y resolución de problemas y no en asignaturas. De aquíner todo estudiante al acabar el período formativo y que se se puede derivar una contribución en la mejora de los méto-concretaron en consensos de definición de competencias dos de enseñanza que establezca desde el pregrado no sólode cada facultad de medicina. los aspectos de la competencia clínica y profesional, sino4. La incorporación de competencias que no se impartían también conceptos más amplios como el profesionalismo.previamente a la implantación de este tipo de pruebas. Con un instrumento de evaluación válido, fiable, factible y5. El impacto en los métodos de enseñanza de la medicina, aceptable por todas las partes, la información que se obtengaal incorporar a la formación los instrumentos que se utilizan de él servirá a las instituciones implicadas para justificar queen la evaluación de la competencia clínica (pacientes simu- la detección de necesidades se pueda traducir en planifica-lados, maniquíes, banco de imágenes clínicas, simulaciones ción e inversión en proyectos de mejora en el ámbito de lapor ordenador, etc.), se logra mejorar la formación de los educación médica. La innovación de la formación en las fa-estudiantes en los llamados laboratorios de habilidades clí- cultades de medicina a la luz de estos métodos permite abrirnicas basadas en simulaciones36. De esta forma, los planes múltiples frentes, muchos de los cuales pueden ser de grande estudios se pueden modificar al complementarlos con el complejidad, lo cual hará imprescindible aprender y profundi-uso de este tipo de laboratorios junto con la práctica con zar en la pedagogía de la medicina. Para ello sería aconseja-pacientes reales. ble la creación de unidades de educación médica en las uni-6. La combinación progresiva, en algunos centros, de los versidades, cuya función fuera el fomento de la innovación,métodos expositivos con los métodos más interactivos en los con la oportuna formación de los formadores, y la apertura delaboratorios de habilidades ha generado en los alumnos una nuevas posibilidades de investigación en ese campo.gran aceptación de este tipo de formato educativo, dado En el camino hacia la profundización de la pedagogía médi-que el eje central del aprendizaje se desplaza hacia el fo- ca, la creación o la potenciación de los laboratorios de habi-mento de la reflexión, durante o después de la interacción lidades contribuirán al cambio en los métodos de enseñan-con los instrumentos docentes mediante la retroacción efec- za por parte de los docentes y la aceptación por parte de lostiva de los tutores. alumnos de un formato más participativo en su formación.7. Se ha podido proporcionar a las facultades de medicinauna devolución efectiva (feedback) para que puedan tener En un horizonte más lejano, incluso se puede aspirar a la in-una información válida sobre los puntos fuertes a consolidar y vestigación y validación sobre métodos estructurados de eva-los puntos débiles a corregir de forma general o de forma con- luación formativa, donde todas las ventajas explicadas de lascreta en algunos casos. La intención en un futuro es llegar a técnicas de ECC se puedan ir aplicando durante todo el cicloofrecer unos informes individualizados37 a fin de que cada es- formativo y no sólo al final. Este hecho podría llegar a aportartudiante conozca su propio perfil competencial y demande por unas ventajas adicionales a la evaluación, al unificar la ob-propia iniciativa o por parte de los tutores la corrección de servación que conlleva todo examen con la oportunidad deaquellos aspectos formativos deficitarios detectados. aprendizaje en el momento o poco después de la interacción8. Se pudo ir abriendo múltiples líneas de investigación en con el problema planteado. Son múltiples las estrategias ael ámbito de la educación médica, al comienzo centradas seguir y muchos los métodos útiles para fomentar la reflexiónen la compleja validación de los instrumentos evaluativos, conjunta o individual de los estudiantes con los tutores; conpara luego ir ofreciendo múltiples posibilidades en cuanto a esta amplia gama de posibilidades será conveniente lograr alposibles nuevos formatos en la evaluación formativa. final el diseño de algún formato estructurado.9. Todos los proyectos de ECC han empezado a desempeñar Es evidente que el rol del formador ha de ir cambiando, te-un papel destacado en el contexto de la mejora de la calidad niendo que aceptar primero y aprender después a hacer ro-de las facultades de medicina, una iniciativa surgida en el tar su eje de relación pedagógica con los alumnos desdeseno de las comunidades europeas38, continuadas en los es- una asimetría y unidireccionalidad hacia un acercamientotados miembros y que se ha traducido en Cataluña en la cre- en las formas y en los contenidos, para incentivar el bino-ación de la Agencia para la Calidad del Sistema Educativo mio enseñanza-aprendizaje desde la interacción mutua eUniversitario de Cataluña39 y en España con la Agencia Na- involucrar al estudiante en su propia formación. Ya no serácional de Evaluación de la Calidad y Acreditación (ANECA). desde la lejanía de un examen al final de un camino con laLa incorporación y el manejo de las técnicas de ECC han obtención de un resultado, sino mediante la supervisión, elempezado a abrir grandes posibilidades en el ámbito de la intercambio, la reflexión y las correcciones de actuación du-educación médica en España. El principal y más inmediato rante un largo recorrido cómo los alumnos irán asumiendobeneficio de una ECOE es que puede llegar a ser un instru- los conocimientos, habilidades y valores de la profesión. La Med Clin (Barc). 2007;129(20):777-84 783
  8. 8. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE) transformación de un estudiante en un profesional de la 12. Martínez Carretero JM, Blay C, Descarrega R, Iruela A, Kronfly E, Barragán N, et al. Clinical Skills Assesment: A strategy for improving undergraduate medicina es la razón de ser de toda facultad de medicina. and postgraduate medical education in Catalonia (Spain). Proceedings of Con los suficientes elementos de juicio relativos a que dicha the 8th. Ottawa Conference on Medical Education. Philadelphia; July, 1998. función es susceptible de mejora, y las herramientas que 13. Kronfly E, Gràcia L, Blay C, Pujol R, Artigas V, Prat J, et al. Clinical skills as- podrían hacer efectivo ese cambio, no hay justificación para sessment in medicals schools in Catalonia (Spain), 1999. Proceedings of the 9th. Ottawa Conference on Medical Education. Ottawa; March, 2000. eludir el esfuerzo. Si en todas las instancias de la adminis- 14. Pujol R, Gudiol F, Gómez JM, Ariza J, Carratalà J, Mitjavila F, et al. Clini- tración sanitaria y en las instituciones académicas se reco- cal skills assessment (CSA) at the University of Barcelona. School of Me- nocen estas prioridades, sólo con una colaboración institu- dicine. Bellvitge Hospital Unit. Proceedings of the 9th. Ottawa Conferen- ce on Medical Education. Cape Town; March, 2000. cional a todos los niveles se podrán ir encontrando las 15. Kronfly E, Gràcia L, Blay C, Majó J, Prat J, Castro A, et al. Competences oportunidades para salvar los obstáculos estructurales, de assessment at medical schools in Catalonia (Spain), 2001. Proceedings of organización y de inversión que dificultan llevar a cabo the 10th. Ottawa Conference on Medical Education. Ottawa; March, 2002. 16. Kronfly E, Viñeta M, Majó J, Prat J, Castro A, Bosch JA, et al. Clinical aquello que es evidente que hay que hacer. Skills Assessment at Medical Schools in Catalonia (Spain) in the year Consideramos que el espacio europeo de educación supe- 2003. Proceedings of the 11th. Ottawa Conference on Medical Educa- rior previsto en la Declaración de Bolonia se ha de contem- tion. Barcelona; July, 2004. plar como un reto pero también como una oportunidad para 17. Kronfly E, Gràcia L, Majó J, Prat J, Castro A, Bosch JA, et al. Competen- ces assessment at medical schools in Catalonia (Spain), 2001. Procee- mejorar la formación en nuestras facultades de medicina. dings of the Association for Medical Education in Europe (AMEE) Confe- Asimismo, la Ley de Ordenación de las Profesiones Sanita- rence. Lisbon; Setember, 2002. rias (LOPS) del año 2003, prevé que la prueba de acceso a 18. Martínez Carretero JM, Blay C, Kronfly E, Solà M, Gràcia L, Descarrega R, et al. From knowledge-based to reflective learning in health care edu- la formación médica especializada MIR contemple la eva- cation: Catalonia 1993-2002. Proceedings of the AMEE Conference. Lis- luación no sólo de los conocimientos, sino también de las bon; Setember, 2002. habilidades y actitudes. En este contexto, una prueba simi- 19. Unitat d’Avaluació de les Competències Clíniques. Control de qualitat de l’ACOE de Pregrau de Medicina: Institut d’Estudis de la Salut, 2002. lar a la ECOE puede desempeñar un papel relevante. 20. Wilkinson TJ, Newble DI, Wilson PD, Carter JM, Helms RM. Develop- ment of a three-centre simultaneous objective structured clinical exami- nation. Med Educ. 2000;34:798-807. Agradecimientos 21. Wilkinson TJ, Newble DI, Frampton CM. Standard setting in an objective structured clinical examination: use of global ratings of borderline perfor- Reconocemos también la autoría de los responsables de la ECOE mance to determine the passing score. Med Educ. 2001;35:1043-9. de pregrado en algunas de sus ediciones durante los 13 años que 22. Descarrega R, Castro A, Solà R, Vidal F, Cartanyà A, Donado A, et al. Educa- se presentan en el artículo y que no se han podido incluir debido a tional methods in medical school: a strategy to improve. Proceedings of the 9 th Ottawa Conference on Medical Education. Cape Town; March, 2000. la limitación de autores: María Teresa Viñeta Ruiz, Carles Blay Pue- 23. Ruiz E, Florensa E, Cots JM, Sellarès J, Iruela A, Blay C, et al. Primeras yo y Ramón Descarrega Queralt. experiencias en evaluación de la competencia clínica de los médicos de Agradecemos la participación de las unidades docentes de las facul- familia de Catalunya. Aten Primaria. 2001;28:105-9. tades de medicina con sus responsables: Salvador Benito (UD Hospi- 24. Van der Vleuten C, Swanson D. Assessment of clinical skills wit standar- tal Sant Pau), Josep Lluís López Colomés (UD Hospital del Mar), Ra- dized patients: state of the art. Teach Learn Med. 1990;2:58-76. mon Pujol Farriols (UD Hospital de Bellvitge), Manuel Portero (UD 25. Brailovsky CA, Grand’Maison P, Lescop J. Construct validity of the Québec Hospital de Lleida), Antoni Castro Salomó (UD Hospital Sant Joan de Licensing Examination SP-Based OSCE. Teach Learn Med. 1997;9: 44-50. Reus), Agustin Urrutia de Diego (UD Hospital Germans Trias i Pujol 26. Sutnick AI, Stillman PL, Norcini JJ, Friedman M, Regan MB, William RG, et al. ECFMG assessment of clinical competence of graduates of foreign de Badalona), Josep Àngel Bosch Gil (UD Hospital Vall d’Hebron de medical schools. Educational Comission for Foreign Medical Graduates. Barcelona) y miembros de la Facultad de Medicina de la Universidad JAMA. 1993;270:1041-5. Complutense de Madrid: Jorge García Seoane, Elpidio Calvo y Jesús 27. Ziv A, Ben David MF, Sutnick AI, Gary NE. Lesson learned from six years Millán, así como a los miembros de los diferentes comités de prueba. of international administration of the ECFMG’s standardized patient-ba- Un agradecimiento general a los actores, observadores y logísticos y sed clinical skills assessment. Acad Med. 1998;73:84-91. un agradecimiento especial a Rosa María Ojeda Gutiérrez, responsa- 28. Pierre RB, Wierenga A, Barton M, Thame K, Branday JM, Christie CD. ble administrativa de la ECOE y a los responsables de la logística e in- Student self-assessment in a paediatric objective structured clinical exa- formática: Carles Pila Toledo y Xavier Crespo Crespo. mination. West Indian Med J. 2005;54:144-8 29. Power DV, Harris IB, Swentko W, Halaas GW, Benson BJ. Comparing ru- ral-trained medical students with their peers: performance in a primary care OSCE. Teach Learn Med. 2006;18:196-202. REFERENCIAS BIBLIOGRÁFICAS 30. Frohna JG, Gruppen LD, Fliegel JE, Mangrulkar RS. Development of an 1. Martínez Carretero JM. Los métodos de evaluación de la competencia evaluation of medical student competence in evidence-based medicine profesional: la evaluación clínica objetiva estructurada (ECOE). Educ using a computer-based OSCE station. Teach Learn Med. 2006;18:267-72. Med. 2005;8:18-22. 31. Stillman PL, Regan MB, Swanson DB, Case S, McCahan J, Feinblatt J, 2. Rozman C. Aspectes de l’educació mèdica per l’adquisició de la com- et al. An assessment of the clinical skills of fourth-year students at four petència clínica. Rev R Acad Med. Catalunya. 1995;10:5-14. New England medical schools. Acad Med. 1990;65:320-6. 3. Van der Vleuten CPM. The assessment of professional competence: de- 32. Kronfly E, Delàs J, Juncosa S, Blay C, Gràcia L, Martínez Carretero JM. velopments, research and practical implications. Adv Health Sci Educ. El proyecto «COMCOR». Análisis de un método basado en pacientes si- 1996;1:41-67. mulados, para la evaluación de estudiantes de tercer curso de medicina. 4. Kane MT. The assessment of professional competence. Eval Health Prof. Educ Med. 2001;4:187-93. 1992;15:163-82. 33. Tweed M, Cookson J. The face validity of a final professional clinical exa- 5. Epstein R, Hundert E. Defining and assessing professional competence. mination. Med Educ. 2001;35:465-73. JAMA. 2002;287:226-35. 34. Verhoeven B, Hamers J, Scherpbier A, Hoogenboom R, Van der Vleuten 6. Grup de Formació i Avaluació de la Competència Clínica. Competències C. The effect on reliability of adding a separate written assessment com- de pregrau i instruments avaluatius. Barcelona: Institut d’Estudis de la ponent to an objective structured clinical examination. Med Educ. Salut; 1997. 2000;34:525-9. 7. Harden R, Stevenson M, Wilson Downie W, Wilson G.M. Assessment of 35. Epstein RM. Assessment in medical education. N Engl J Med. 2007; Clinical Competence using Objective Structured Examination. Br Med J. 356:387-96. 1975;1:447-51. 36. Descarrega-Queralt R, Castro-Salomó A, Nogués-Ciuraneta S, Vidal-Mar- 8. Newble DI. The evaluation of clinical competence. Med J Aust. 1976;2: sal F, Mas N, Bugés C, et al. Simulated patient instructor: Is it useful to 180-3. learn competencies? Proceedings of the 12 th Ottawa Conference on 9. Grup de Formació i Avaluació de la Competència Clínica. Guía D’elabo- Medical Education. New York City; May, 2006. ració de casos amb pacients estandarditzats. Barcelona: Institut d’Estu- 37. Black NMI, Harden RM. Providing feedback to students on clinical skills dis de la Salut; 1995. by using the Objective Structured Clinical Examination. Med Educ. 10. Grup de Formació i Avaluació de la Competència Clínica. Manual de se- 1986;20:48-52. lecció i entrenament de pacients estandarditzats. Barcelona: Institut 38. Propuesta de Recomendación del Consejo relativa a la cooperación eu- d’Estudis de la Salut; 1996. ropea en materia de garantía de calidad en la enseñanza superior. Diario 11. Gómez Sáez JM, Pujol Farriols R, Martínez Carretero JM, Blay Pueyo C, Oficial de las Comunidades Europeas (98/C19/11). Jaurrieta Mas E, Friedman M, et al. El proyecto COMBELL. Un análisis 39. Rauret, G. La Agencia para la Calidad del Sistema Universitario en Cata- de la competencia clínica médica. Med Clin (Barc). 1995;105:649-51. luña. Educ Med. 2001;4:45-51.784 Med Clin (Barc). 2007;129(20):777-84

×