Análisis de la competencia "Capacidad para la toma de decisiones clínicas, di...
Revision de modelos de evaluacion del impacto de la formacion en el ambito sanitario de lo general
1. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
Revista ELectrónica de Investigación
y EValuación Educativa
REVISIÓN DE MODELOS DE EVALUACIÓN
DEL IMPACTO DE LA FORMACIÓN EN EL
ÁMBITO SANITARIO: DE LO GENERAL A LO
ESPECÍFICO
(Review of evaluation models on the impact of training in
the health field: from general to specific)
por
Article record Ficha del artículo
Chantal Biencinto (alameda@edu.ucm.es)
About authors Sobre los autores
Rafael Carballo (rafacar@edu.ucm.es)
HTML format Formato HTML
Abstract Resumen
El presente artículo tiene como objetivo hacer una revi-
The objective of the present article is to review the
sión de los modelos de evaluación del impacto de la for-
evaluation models on the impact of training in the health
mación en ámbito sanitario. Esta revisión comenzará por
field. This review will begin with the most general mod-
los modelos más generales de evaluación para, a conti-
els of evaluation and continue with the models used in
nuación, continuar con los modelos más utilizados en la
the evaluation of the impact of training in the health
evaluación del impacto de la formación en el ámbito sani-
field.
tario.
Keywords Descriptores
Evaluation, impact, models, training Evaluación, impacto, modelos, formación
El objetivo de este artículo es lograr una componen el impacto, entendido como pro-
definición del impacto de la formación en el ducto mediato de la formación, tanto desde
desarrollo laboral de los sujetos. Para lograr la perspectiva individual, como desde un
este objetivo, nos hemos acercado al marco punto de vista social. Estas dimensiones teó-
conceptual, a través de la revisión teórica de ricas, implicadas en los diferentes modelos
los diferentes modelos de evaluación de im- analizados, son: la satisfacción de expectati-
pacto que se encuentran en la literatura revi- vas respecto a la formación (se considera uno
sada. La conclusión que obtenemos de esta de los productos esenciales de cualquier ac-
revisión de modelos, va encaminada a la de- ción formativa), el valor añadido (entendido
finición de las diferentes dimensiones que como el incremento en lo a que a conoci-
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 101
2. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
mientos se refiere), y, como tercera dimen- fallo en la detección de necesidades son más
sión a considerar, las mejoras que se produ- difíciles de corregir que los que se producen
cen en la empleabilidad. . durante el proceso formativo.
Los modelos de evaluación se inscriben en A estas características generales adaptadas
un contexto de calidad concreto y, por tanto, a la formación, podemos añadir las conside-
en la primera parte de este artículo analiza- raciones que Le Boterf (1993) hace sobre el
remos diferentes modelos de evaluación de Ciclo de Deming. El Ciclo o rueda de De-
la calidad para, a continuación, hacer un ming, plantea cuatro acciones fundamentales
breve repaso de los modelos de evaluación que tienen como consecuencia la calidad;
del impacto de la formación y terminar con éstas son: Planificar (P), Realizar o ejecutar
la revisión de los modelos de evaluación del (D), Controlar o verificar (C) y Mejorar (A).
impacto de la formación en el ámbito sanita-
rio. De esta forma, la revisión comenzará por 1.2. Modelo Enfoque de Inversión de
lo más general hasta llegar a un ámbito más Mamolar
específico. Como alternativa al modelo de adquisición
y mantenimiento de competencias desarro-
1. Modelos de evaluación de la calidad llado en párrafos anteriores, encontramos un
modelo que pretende ser integrador y nove-
1.1. Modelo de evaluación de la calidad
doso denominado enfoque de inversión. Se
de Le Boterf
trata de un modelo generado por y para la
Le Boterf, Barzucchetti y Vincent (1993) empresa que tiene como objetivo la evalua-
identifican tres características clave de la ción de la formación desde una perspectiva
calidad: de rentabilidad de la inversión en este terre-
1. El control de la calidad significa domi- no. Aunque aparentemente la relación con el
nar la calidad del conjunto de las funcio- ámbito que nos ocupa parece lejana, este
nes de la empresa, incluyendo funciones modelo incorpora una serie de indicaciones y
administrativas. recomendaciones que parecen aptas para
2. El dominio de la calidad total es una incorporar en el modelo evaluativo que pro-
búsqueda que no tiene un final determina- pondremos posteriormente.
do.
En primer lugar, la correcta definición y
3. La dificultad de enmendar posibles
detección de necesidades, de esta forma el
errores se incrementa en función del mo-
programa de formación puede considerarse
mento y lugar en el que se produzca.
adecuado a los intereses y demandas de los
Estas tres características se pueden imple- profesionales. En segundo lugar, este modelo
mentar en el proceso de calidad de la forma- propone, la especificación de las competen-
ción teniendo en cuenta los siguientes aspec- cias, habilidades y conductas que van a ad-
tos: en primer lugar, es imprescindible tener quirir los participantes y, por último, la se-
en cuenta todas y cada una de las fases que lección de los indicadores que nos permitan
concurren en el proceso formativo, incluyen- recoger información que resulte relevante
do selección de los asistentes y planificación para poder evaluar tanto el proceso como los
de la acción formativa; en segundo lugar, el resultados de la formación.
grado de satisfacción de los asistentes, la
evaluación de las competencias adquiridas y Las conclusiones más relevantes de este
el índice de readaptación, considerados como modelo están en la línea de resaltar la impor-
feedback de la formación impartida, condu- tancia de adaptar los procesos formativos, no
cen a una búsqueda permanente de la cali- sólo al mantenimiento de competencias, sino
dad; y, en tercer lugar, los errores como el también a la continua transformación y adap-
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 102
3. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
tación de esas competencias a situaciones de tentes multidimensionales con mayor poder
continuo cambio. explicativo que las variables observadas.
1.3. Modelo de calidad orientado a la 1.4. Modelo Europeo de Gestión de la
satisfacción de Martínez-Tur calidad
En la línea de modelos de calidad orienta- Otro de los modelos de calidad revisado es
dos a la satisfacción, Martínez-Tur y Tordera el Modelo Europeo de Gestión de la calidad,
de la Universidad de Valencia (1995), elabo- que edita la Fundación Europea para la Ges-
ran un modelo causal basado en modelos tión de la Calidad; en él se ven recogidas
clásicos sobre la medida de la satisfacción. unas directrices generales que se pueden
La novedad que introducen estos autores adaptar a múltiples contextos. Este tipo de
versa sobre la revisión del modelo de alta modelo nace concebido para el ámbito de la
implicación (MAI), que hipotetiza relaciones empresa y, en el caso de España, es el Minis-
causales entre la calidad, las expectativas del terio de Educación Cultura y Deporte el en-
usuario ante el producto que consume, la cargado de adaptarlo al medio educativo o
desconfirmación [1], la satisfacción y las formativo. Adaptado a la formación el Mo-
intenciones conductuales. Los resultados más delo Europeo de Gestión de la Calidad se
relevantes de este estudio radican en la signi- resume de la siguiente forma: la satisfacción
ficatividad de los parámetros del modelo, de los usuarios del servicio Público sanitario
una vez revisado. La revisión del MAI, con de Formación, de los coordinadores y el im-
la consiguiente modificación de relaciones pacto en la sociedad se consigue mediante un
causales (inclusión de un efecto directo de la liderazgo (entiéndase como la implicación de
calidad percibida sobre la satisfacción), re- la Administración) que impulse la planifica-
sulta un modelo que se ajusta a los datos, ción y la estrategia, la gestión del personal
pero sin embargo tiene deficiencias aprecia- sanitario implicado, de los recursos y sus
bles que los mismos autores señalan en las procesos hacia la consecución de la mejora
conclusiones. En primer lugar, podemos des- permanente de los resultados. El sistema de
tacar la unidimensionalidad de la variable evaluación por puntuaciones responde a una
satisfacción, sólo se ha utilizado una medi- consulta efectuada a un conjunto de organi-
ción de esta variable y hubiese sido deseable zaciones europeas. A continuación repasa-
utilizar más de un indicador. La satisfacción remos los conceptos básicos del Modelo que
es un constructo multidimensional y como como se puede comprobar están estrecha-
tal está contemplado en este trabajo. En se- mente relacionados con los postulados teóri-
gundo lugar, y quizá como crítica más im- cos del Modelo de Calidad Total. Estos con-
portante, nos encontramos con la imposibili- ceptos son: orientación al cliente, relaciones
dad de generalizar los resultados a otros sec- de asociación con proveedores, desarrollo e
tores. Esta limitación es común a muchos de involucración del personal, procesos y
los artículos revisados y viene dada por una hechos, mejora continua e innovación, lide-
serie de características tales como la utiliza- razgo y coherencia con los objetivos, ética y
ción de muestras reducidas o la escasa for- responsabilidad y orientación hacia resulta-
malización de los modelos presentados, así dos.
como la falta de adecuación de los criterios
de valoración. Por último, reseñar que la
metodología utilizada para intentar explicar
1.5. Modelo Relacional de Calidad de De
las relaciones causales entre las variables, se
la Orden
ha superado ya con técnicas LISREL que
permiten utilizar variables o constructos la- Otro de los modelos que puede contribuir a
contextualizar las distintas teorías asociadas
a los modelos de evaluación es el modelo
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 103
4. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
relacional de calidad planteado por De la mento, no suelen establecer una metodología
Orden (1988; 1990; 1997), establece las rela- concreta de evaluación. Sin embargo, encon-
ciones entre los distintos elementos de un tramos el modelo de Evaluación de la Ges-
sistema: objetivos y metas, recursos, proce- tión de Procesos en Recursos Humanos de
sos, entradas, contexto y productos, de estas Olaz (2000) que sí propone una metodología
relaciones, el autor establece tres criterios de de análisis concreta. En este modelo se abo-
calidad como son la eficacia, eficiencia y ga por una metodología e interpretación
funcionalidad, en función de los cruces entre cuantitativa de los datos obtenidos en la eva-
elementos. La evaluación consiste en identi- luación. Siguiendo una metodología cuantita-
ficar las posibles deficiencias de este sistema tiva, el primer paso sería establecer las va-
así como los productos que se derivan del riables representativas y cuantificables como
mismo dentro de un proceso continuo de elemento de referencia válido. Entre ellas,
retroalimentación. Cada uno de los elemen- encontramos la variable que hace referencia
tos del modelo vienen justificados por una a la formación. Esta variable trata de deter-
teoría subyacente sobre la evaluación en ge- minar el grado de conocimientos imprescin-
neral y sobre la evaluación de programas en dibles que permitirán desarrollar las tareas
particular. Se trata de un modelo sistemático del proceso en términos de eficiencia opera-
y a su vez completo que puede ser “aplica- tiva. En segundo lugar se propone relacionar
do” a cualquier sistema evaluable. Permite los factores que genéricamente han sido pre-
elaborar indicadores para evaluar tres dimen- sentados, con las variables representativas.
siones: eficacia, eficiencia y funcionalidad, En el caso de la formación se establecen tres
las cuales, en su conjunto, son el reflejo de la factores relacionados con las técnicas, las
Calidad. El profesor De la Orden define cali- habilidades directivas y aspectos formativos.
dad como: “La Calidad aparece como un Una vez identificadas las variables y los fac-
continuo escalar cuyos puntos representan tores asociados, se puede construir un siste-
combinaciones de funcionalidad, eficacia y ma de valoración que debe contemplar as-
eficiencia, mutuamente implicados. Su grado pectos como la objetividad para conseguir
máximo, la excelencia, supone un óptimo fines explicativos, interpretabilidad de los
nivel de coherencia entre todos los compo- datos, causalidad de las relaciones entre las
nentes principales representados en el mode- variables y /o factores así como fiabilidad y
lo sistémico” (De la Orden Hoz, 1997). Los representatividad de los datos con los que se
indicadores se plantean de forma diferente pretende obtener información del proceso de
para cada dimensión. evaluación. Este modelo está centrado en los
procesos internos de una organización em-
La eficiencia pone de manifiesto la rela- presarial, la contribución a nuestro estudio
ción de entradas y procesos con los produc- radica en la utilización de una metodología
tos. De la Orden (1997) afirma: “La cohe- cuantitativa y de relaciones causales entre
rencia entre, por un lado, inputs y procesos variables.
y, por otro lado, productos”. La eficacia, por
su parte, supone coherencia en la relación 1.7. Modelo de Barbier
entre entradas o inputs y productos, y por Ahondando en el tema de la evaluación de
último, la funcionalidad, supone la coheren- la formación, esta vez desde el énfasis en los
cia entre metas/objetivos generales y produc- procesos, encontramos la aportación de Bar-
tos. bier (1993). Este autor analiza desde una
1.6. Modelo de Evaluación de la Gestión perspectiva pedagógica los procesos de la
de Olaz evaluación de la formación. En aras a facili-
tar su comprensión y justificar su utilización
Los modelos de evaluación de los procesos
formativos que hemos revisado hasta el mo-
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 104
5. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
vamos a proceder a definir brevemente cada Este tipo de evaluación es lo que Barbier
uno de los términos utilizados. denomina evaluación instituida. Se trata de
un tipo de evaluación donde los juicios de
En primer lugar, cuando hablamos de eva- valor se realizan de forma explícita a través
luación de agentes nos estamos a refiriendo a de un proceso de diseño a priori, con objeti-
todas evaluación que haga referencia a ad- vos bien definidos, metodología científica y
quisición de conocimientos, aptitudes, habi- evaluación de resultados entendida como
lidades, tanto a nivel individual como de consecución de metas.
grupos u organizaciones. Por otro lado, para
este autor la evaluación de acciones hace 2. Modelos de evaluación de impacto
referencia a la evaluación de la metodología
utilizada, las actividades, los sistemas y todo En este epígrafe realizaremos una revisión
aquello que se relaciona con los procesos de de algunos de los modelos utilizados en la
formación. Por último, señalar que para Bar- práctica para evaluar el impacto de la forma-
bier (1993), la elaboración de criterios a par- ción.
tir de objetivos permite poner en relación los
objetivos con la información relativa a la La evaluación de impacto es una forma de
consecución de los mismos. Podemos desta- evaluación que poco a poco ha ido ganando
car la referencia explícita al trabajo pedagó- aceptación entre los encargados de planificar
gico que conlleva la formación. e impartir formación continua para adultos.
Vamos a presentar seis modelos de evalua-
En este sentido seria importante añadir qué ción del impacto de la formación. Cada uno
entiende el autor por el proceso de adquisi- de ellos lo comentaremos teniendo en cuenta
ción de conocimientos, destrezas o habilida- dos aspectos: en primer lugar una descrip-
des pedagógicas. En primer lugar empeza- ción detallada del modelo y seguidamente un
remos por definir lo que entiende por perfil: análisis crítico en base a ventajas e inconve-
conjunto de capacidades individuales sobre nientes de cada uno de los modelos analiza-
las cuales se apoya la actividad formativa. dos.
Entendemos pues que la formación debe par-
tir de la individualidad y adaptarse a las ca- 2.1. Modelo de evaluación de cuatro ni-
pacidades de cada sujeto. Este proceso for- veles de Kirkpatrick
mativo debe contar con una serie de medios Descripción del modelo
específicos, adecuados a los objetivos previs-
tos, que faciliten la relación pedagógica, en- El Modelo de Evaluación de Programas de
tendida como la distribución de roles en la Formación que plantea Kirkpatrick (1959,
interacción profesor-alumno. Asimismo, el 1996, 1999), establece diez factores a consi-
proceso formativo debe contar con tres fases derar a la hora de planificar y poner en mar-
diferenciadas: cha cualquier acción formativa. El primero
de ellos sería la detección de necesidades.
1. Determinación de objetivos: Estos deben Este primer paso está consolidado en esta
estar definidos en función de las capacida- posición como podemos comprobar en la
des individuales y deben ser operativos. literatura sobre evaluación revisada hasta el
2. Construcción de mecanismos o secuen- momento. Si la acción formativa que quere-
cias que conduzcan el proceso de adquisi- mos llevar a la práctica no se adecua a las
ción de destrezas. necesidades, tanto de los asistentes a la mis-
3. En una tercera fase se procede a la eva- ma como de los demás grupos implicados,
luación del proceso pedagógico, así como no conseguiremos que la formación sea de
la consecución de los objetivos fijados en calidad ya que no cumpliría el criterio de
la primera fase. funcionalidad. El segundo factor a tener en
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 105
6. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
cuenta es el establecimiento de objetivos. En de estos niveles, el autor, propone una serie
tercer lugar, la determinación de los conteni- de condiciones e indicadores que facilitan y
dos, resulta del establecimiento de los dos estructuran la evaluación. En cuanto al pri-
factores anteriores. Además de determinar mero de los niveles denominado reacción,
las materias a impartir, en este paso se deben hemos de fijar nuestra atención sobre aspec-
jerarquizar los contenidos en función de la tos del programa formativo relacionados con
relevancia en base a los objetivos y las nece- el tema, con la persona encargada de impartir
sidades detectadas. El siguiente factor a tener la formación y con el programa en su
en cuenta en el diseño de una acción forma- conjunto. Reacción es básicamente medir la
tiva será la selección de los participantes. satisfacción de cliente. Para ello se debe
Esta selección debe hacerse en función de construir un cuestionario de satisfacción ad
unos criterios bien definidos y explícitos, es hoc que contenga tanto cuestiones
decir que los criterios sean públicos y cono- valorativas como la posibilidad de que el
cidos con anticipación por los sujetos sus- encuestado exprese su opinión personal así
ceptibles de participar en la formación. Los como comentarios y sugerencias. Este
siguientes cuatro factores están íntimamente cuestionario de satisfacción debe cuantificar
relacionados entre sí y forman parte del pro- las reacciones inmediatas de los asistentes
pio proceso. El primero de ellos es la elec- tras finalizar la sesión formativa. Otra de las
ción del plan de trabajo a seguir, es decir razones para medir la reacción es la
determinar horarios y duración del curso. motivación y el interés de los asistentes a los
Esto debe hacerse en función de los partici- cursos formativos. En cuanto al segundo
pantes de los formadores. En segundo lugar, nivel denominado aprendizaje, la medida se
la selección de la infraestructura adecuada a centra en la adquisición de conocimientos,
los contenidos y al plan de trabajo. El si- mejora de las habilidades y cambio de
guiente factor es la selección y contratación actitudes. Este tipo de conocimientos que se
del personal docente encargado de llevar a adquieren durante la formación deben ser
cabo la formación. Este es un punto en el que evaluados a través de pruebas post-
suele aparecer problemas sobre todo de índo- formación y medir los logros obtenidos y el
le económica. No siempre el docente con cumplimiento de objetivos fijados a priori.
más calidad y que más se ajusta al perfil tan- Normalmente el aprendizaje va acompañado
to de los asistentes como de los contenidos a de uno o más de estos indicadores. El tercer
impartir, resulta ser el más caro. Hoy muchas nivel se relaciona con los comportamientos o
empresas u organismos valoran a los docen- conductas que pueden medirse durante el
tes por la cuantía de sus honorarios, sin tener curso o una vez finalice. Si el propósito de la
en cuenta su adecuación o no a las caracterís- formación es un cambio en las pautas de
ticas del curso. El siguiente factor hace refe- comportamiento, muchos estudios han
rencia a la selección y preparación de mate- comprobado que este tipo de cambios se
riales audiovisuales. Por último en este blo- producen muy lentamente y que sólo la mera
que que henos denominado de proceso, cabe adquisición de conocimientos no resulta
destacar el papel de la coordinación de la suficiente para que los cambios resulten
formación. Se dan varias situaciones en este estables. Por último el nivel de resultados, en
aspecto, puede que algún docente haga la este nivel se van a medir los resultados
función de coordinador o este papel lo des- finales de la formación donde se incluyen
empañe otra persona. como indicadores el incremento del salario,
aumento de la productividad, mayores
Sobre el décimo factor, denominado eva- beneficios, reducción de costos, estabilidad
luación, se estructura el Modelo de cuatro en el puesto de trabajo y mejora de la
niveles: Reacción, Aprendizaje, Comporta- calidad.
mientos/conductas y Resultados. En cada una Ventajas e inconvenientes
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 106
7. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
El modelo presenta varios puntos fuertes. back de la acción formativa no es inmediato
El primero de ellos reside en su viabilidad o directo. Normalmente los contenidos, habi-
práctica, existe un consenso entre los forma- lidades y actitudes adquiridos durante la
dores y evaluadores en la capacidad del mo- formación no se ponen en práctica de forma
delo para llevarlo a la práctica sin dificultad. inmediata y es en este periodo de tiempo
Esta ventaja reside en la excelente estructu- transcurrido donde puede perderse gran par-
ración del mismo, así como de lo pormenori- te de la información recibida. Por último, se
zado de cada acción a seguir para evaluar un hace referencia a la no-adecuación de los
programa formativo. Otra de las ventajas de Modelos de Análisis Económicos como mo-
este modelo es su carácter pionero, es decir, delos de evaluación de la formación en re-
resulta la base de la evaluación de impacto cursos humanos. En esta crítica estamos to-
de la formación. Hace cuarenta años, la eva- talmente de acuerdo ya que es una forma
luación de impacto apenas estaba en sus al- simplista y reduccionista de los elementos
bores, el modelo de Kirkpatrick resultó toda que pueden estar influyendo en la calidad de
una revolución en este ámbito. esa formación. Del mismo modo no podemos
medir el impacto de la formación en térmi-
Del mismo modo, este modelo ha recibido nos meramente económicos, ya que dejaría-
varias críticas y se considera superado en mos de lado los verdaderos elementos que
muchos aspectos, de cualquier forma nos influyen en le mantenimiento y puesta en
parece acertado incluirlo en esta revisión ya práctica de los conocimientos adquiridos
que sienta las bases de la implantación defi- durante el proceso formativo.
nitiva de la evaluación de programas forma-
tivos como herramienta de cambio y mejora 2.2. Modelo de evaluación del impacto
de la calidad. Pasamos a señalar algunas de de Chang
las críticas más comunes que se le atribuyen
Descripción del modelo
al Modelo de Kirkpatrick. La primera de
ellas formulada por Adams (2001), considera Modelo planteado por Chang (2000) desde
el modelo defectuoso. Se trata, según el au- un punto de vista práctico como material de
tor, de un modelo simplista que no cuantifica apoyo a los responsables de planificar, im-
el impacto real de la formación ya que la partir y evaluar la formación.
consecuencia o resultado de la evaluación
rara vez podemos observarlo como impacto. Describiremos cada una de las fases del
Habitualmente, en las organizaciones, la eva- Modelo IDEAMS de forma pormenorizada.
luación de la formación se estanca en el se- La primera fase consiste en identificar las
gundo nivel que propone Kirkpatrick (apren- necesidades de formación (I), para ello se
dizaje) y no se llega al nivel 4 donde se mide debe decidir si la formación puede mejorar el
el impacto propiamente dicho. Por tanto no rendimiento laboral y como puede lograrlo.
podemos decir que la formación ha sido En esta fase se tendrán que definir y deter-
efectiva. Otra de las críticas que se le hacen a minar las metas a conseguir por medio del
este modelo (Brinkerhoff, 1987) pone de proceso de formación. La segunda fase hace
manifiesto las ventajas e inconvenientes de referencia a la elección y diseño (D) del en-
la utilización de modelos como el de Kirkpa- foque de formación más adecuado a los pro-
trick, la primera de estas limitaciones hace pósitos definidos en la primera fase para, de
referencia a la unidimensionalidad del mode- esta forma, conseguir mejorar el rendimiento
lo, los resultados se traducen en términos laboral de los profesionales a quienes va di-
meramente económicos, dejando de lado rigida la formación. En la tercera fase se de-
aspectos muy importantes que no pueden ben elaborar (E) las herramientas necesarias
definirse con estos términos. La segunda para llevar a cabo la formación o entrena-
limitación se refiere a que el posible feed- miento de los asistentes. En este punto con-
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 107
8. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
viene diseñar y construir tanto el material supone que el evaluador debe tener un gran
bibliográfico como audiovisual o de apoyo. conocimiento sobre cada una de las fases ya
En cuarto lugar nos encontramos con la fase que no de dan claves para desarrollarlas.
de puesta en práctica de lo diseñado ante-
riormente, propiamente la fase de aplicación 2.3. Modelo de Cervero para evaluar la
(A) de las técnicas de formación. Aunque se Formación Continua de profesionales en
trata de un proceso flexible y abierto, no por ejercicio
ello hay a dejar de lado la rigurosidad a la Descripción del modelo
hora de seguir los pasos que se fijan en el
diseño. Cabe destacar que la improvisación El modelo que presentamos a continuación
en este tipo de procesos de evaluación de la lo desarrollan Cervero y Rottet en 1984 y
formación puede llevar al fracaso y a la no- posteriormente Dimmock lo completa en
consecución de los objetivos planteados a 1993. El propósito fundamental del modelo
priori. La quinta fase que plantea Chang alu- es enlazar la formación continua con el desa-
de a la evaluación y medición (M) de los rrollo profesional de los sujetos.
resultados de la formación, aquí se evaluará
la consecución de objetivos y los logros en la El modelo de Cervero y Rotter (1984,
mejora del rendimiento actual. Asimismo, 1986) se constituye en base a una serie de
éste será el momento de rectificar posibles constructos o bloques que se consideran va-
deficiencias halladas durante el proceso. Es riables independientes. En primer lugar, el
en la sexta fase donde encontramos alusiones programa de formación continua que se di-
explícitas a la evaluación del impacto a me- seña y planifica en función de las necesida-
dio y largo plazo. Mediante el seguimiento des de los sujetos. En segundo lugar, el pro-
(S) y la consolidación de las adquisiciones, pio profesional en ejercicio con sus caracte-
tanto a nivel individual como de organiza- rísticas diferenciales y propias. En tercer
ción, se consigue que los efectos positivos, lugar, la naturaleza del cambio que se pro-
fruto del proceso de formación, se manten- pone producir mediante el programa de for-
gan en el tiempo. mación y, en cuarto lugar, el sistema social
de referencia de los sujetos objeto de la eva-
Ventajas e inconvenientes luación. Estos cuatro bloques actúan de va-
riables independientes y como variable de-
Como se ha podido comprobar en el desa- pendiente el desarrollo profesional del suje-
rrollo de las características fundamentales to. Cada uno de esos bloques se subdivide, a
del modelo, se trata de un modelo diseñado su vez, en distintos indicadores.
en base a un proceso sistemático con la des-
cripción de cada una de las fases de forma Ventajas e inconvenientes
pormenorizada con lo que posee gran aplica-
ción práctica y resulta esencial para evalua- Aunque en la validación empírica del mo-
dores que se enfrenten por primera vez a la delo los autores, a través de la técnica de
tarea de valorar un programa de formación. regresión múltiple, encontraron que las cua-
Por otra parte se trata de un proceso que con- tro variables/bloques independientes expli-
tiene una fase de evaluación del impacto can del 63% a 81% de la varianza de la va-
propiamente dicho y en él se describen deta- riable dependiente, se trata de un estudio
lladamente las acciones a lleva a cabo para muy limitado y basado sólo en las medicio-
que los efectos positivos que hemos conse- nes post-test. Los autores recomiendan utili-
guido con el programa se mantengan en el zar una muestra mayor para poder generali-
tiempo. Uno de los posibles inconvenientes zar resultados y, a su vez, recomiendan el
de la aplicación de este modelo es el desarro- uso de técnicas estadísticas multivariantes
llo detallado de cada una de las fases. Esto para validar los datos obtenidos. De cual-
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 108
9. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
quier manera, existe un consenso que apoya Ventajas e inconvenientes
la validación de este modelo y es que la eva-
luación del programa es una parte esencial Este modelo presenta una serie de incon-
del propio programa. Ésta es la gran conclu- venientes que radican fundamentalmente en
sión o aportación que podemos destacar de la falta de consideración de elementos como
este modelo junto con la adaptabilidad a la detección de necesidades o el propósi-
cualquier profesión, en lo que a evaluación to/meta del programa objeto de evaluación.
del impacto de la formación continua se re- Estos elementos resultan esenciales en cual-
fiere. quier evaluación. Por otro lado, la gran ven-
taja que supone el modelo estriba en el ca-
2.4. Modelo de evaluación de Grotelues- rácter externo de la evaluación que, por un
chen lado, consigue un alto grado de objetividad
por parte de los evaluadores y, por otro, im-
Descripción del modelo
plica en el proceso evaluativo a los potencia-
Tienen su base teórica en Tyler, este autor les usuarios del programa.
complementa la definición que Tyler hace de
evaluación incluyendo y proponiendo una 2.5. Modelo de evaluación orientado a
serie de categorías. La primera de las catego- los resultados de Jackson
rías hace referencia a la evaluación sumativa Descripción del modelo
o de rendición de cuentas. La segunda cate-
goría se refiere a la evaluación formativa Jackson (1994), hace un recorrido por los
como la describe Scriven (2000). Por último, diferentes modelos de evaluación de impacto
la tercera categoría hace referencia a las futu- desarrollados en el ámbito de la empresa. En
ras acciones y decisiones a tomar acerca de ese análisis llega a la conclusión de que los
la planificación de programas formativos. encargados de diseñar e impartir la forma-
ción a los trabajadores deben tener en cuenta
El autor propone (Grotelueschen, 1980) te- los objetivos que se persiguen para poder
ner en cuenta tres dimensiones a la hora de medir los resultados obtenidos.
evaluar un programa formativo: propósito de
la evaluación (esta dimensión debe estar cla- Las siete etapas que identifica el autor co-
ramente especificada y definida a priori), mo elementos del proceso de formación son:
elementos del programa y características o 1) Identificación de necesidades
componentes del programa. A su vez, estas 2) Análisis de las necesidades de forma-
dimensiones se concretan en ocho cuestiones ción
fundamentales a considerar tanto en la plani- 3) Explicitar por escrito los objetivos del
ficación como en la evaluación de programas programa de formación
de formación. Estas cuestiones son: propósi- 4) Desarrollo del programa
to de la evaluación, audiencias implicadas, 5) Llevar a cabo el programa
usos de la evaluación, recursos disponibles, 6) Evaluación del programa
colección de evidencias, recogida de datos, 7) Comunicación de resultados
análisis de la evidencia y transmisión de los
Estas etapas nos conducen al análisis de re-
hallazgos encontrados tras la evaluación.
sultados en términos de coste-beneficio en
El modelo, en líneas generales, presenta el base a dos caminos diferenciados, por un
proceso de enjuiciamiento y toma de deci- lado el asesoramiento del proceso de adqui-
siones encaminadas a, por un lado, la rendi- sición de habilidades y por otro la medida de
ción de cuentas; y por otro, a la reestructura- los resultados en términos de número de
ción o propuestas de mejoras sobre un de- ítems completados para determinar los es-
terminado programa. tándares de rendimiento.
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 109
10. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
Ventajas e inconvenientes rior. La coherencia entre los objetivos pro-
puestos y los resultados obtenidos darán co-
Los puntos fuertes de este modelo radican, mo resultado la medida del impacto en la
por una parte, en el énfasis que se hace en la organización. En el siguiente gráfico queda
detección de necesidades formativas en un reflejado el modelo de evaluación de impac-
colectivo de trabajadores como primer paso to de la formación que propone el autor:
y, por otro, la operacionalización del proceso
y la medición del rendimiento en base a es- La medida de los resultados de impacto se
tándares autoreferenciales. Cabe destacar, realiza en base a una serie de preguntas:
asimismo, el carácter práctico del modelo y ¿Sabemos qué habilidades o destrezas
la especificación minuciosa de las diferentes se transfieren a través de la formación?
fases de la evaluación, desde una evaluación ¿Sabemos cuánta gente aprende?
diagnóstica hasta la evaluación basada en la ¿Son las necesidades que se detectan
consecución de objetivos (impacto). las que se desean satisfacer a priori?
Por contra, podemos encontrar asimismo Ventajas e inconvenientes
algunas deficiencias en el modelo que plan-
tea Jackson, como por ejemplo: la no inclu- Las características de este modelo son al
sión en el proceso de evaluación de variables mismo tiempo su punto fuerte y su punto
relacionadas con la cultura de la organiza- débil. En este sentido, se presentan como
ción o empresa donde desarrollan su labor puntos fuertes del modelo la identificación
los trabajadores objeto de estudio, las habili- de necesidades de formación en la organiza-
dades de los trabajadores, o el pasado profe- ción y, la relación de colaboración entre los
sional de los mismos, todas ellas, como se formadores, los profesionales y la persona
puede observar, constructos complejos. encargada de planificar la formación. Estas
características se convierten a su vez en difi-
2.6. Modelo de evaluación del impacto cultades si tenemos en cuenta que las rela-
de la formación de Robinson & Robin- ciones de colaboración entre los implicados
son dependen de la intensidad de la relación con
el cliente. Como conclusión a este modelo
Descripción del modelo
podemos decir que su mayor ventaja radica
Los postulados teóricos de este modelo es- en su capacidad para consolidar las relacio-
tán recogidos en el libro “Formación para el nes entre los formadores, los profesionales y
impacto” (Robinson y Robinson, 1989). Este el cliente.
modelo se compone de 12 fases orientadas a
la evaluación de resultados y que directa- 3. Modelos de evaluación del impacto
mente enlazan con los cursos de formación. de la formación en el ámbito sanitario
Se podría decir que el modelo de Robinson
A continuación se van a analizar modelos
& Robinson se concreta en la siguiente fór-
adaptados al ámbito sanitario que están en
mula:
consonancia con el objeto de estudio. Cabe
señalar que la revisión de la literatura en este
Experienciasde aprendizaje X contexto = aspecto, aunque minuciosa, sólo aporta unos
resultados pocos modelos que están referenciados como
tales, ya que en la mayoría de los casos son
Esta fórmula recoge las relaciones entre el experiencias concretas que responden a teo-
programa de formación para profesionales en rías genéricas sobre evaluación o sobre adap-
ejercicio, el contexto de aprendizaje y los taciones al terreno sanitario.
resultados que se derivan de la relación ante-
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 110
11. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
3.1. Modelo SM/PI (System Model of dremos como ejemplo el modelo elaborado
policy indicators) en Suecia (Modelo INC). En este modelo
cada componente de calidad posee una serie
Comenzamos esta revisión teórica de los
de atributos concretos y medibles que van
modelos utilizados para evaluar programas
asociados a cada una de las variables: así, los
de salud con el modelo que plantea el Institu-
atributos de la variable calidad percibida
to Politécnico y la Universidad del Estado de
son: general, adecuación al uso y fiabilidad;
Virginia para evaluar la política de un siste-
de la variable valor percibido: precio dada la
ma sanitario. El modelo SM/PI (System Mo-
calidad y calidad dado el precio; de la varia-
del of policy indicators) tiene sus inicios en
ble expectativas: general, adecuación al uso
la década de los 70, siendo en este período
y fiabilidad; de la variable satisfacción del
donde se empieza a incorporar a las ciencias
usuario: satisfacción propiamente dicha,
sociales en un intento de conceptualizar un
confirmar/anular expectativas y comparación
proceso cíclico de inputs-outputs-feedback.
con ideal; de la variable quejas: en función
En este modelo se barajan dos tipos de sis- del nivel de satisfacción; y de la variable
temas de indicadores. Por un lado, el sistema lealtad a la empresa: fidelidad hacia la em-
de entradas basado, fundamentalmente, en presa por parte del trabajador que ha sido
las demandas y que en este modelo responde objeto de formación continua por parte de la
a un sistema centralizado de relación única empresa.
con los sistemas locales (SWM) y, por otro,
Este modelo permite determinar la puntua-
los resultados como las decisiones y las ac-
ción en cada uno de los atributos de calidad y
ciones a tomar. Se considera fundamental la
a partir de estas puntuaciones estimar el im-
retroalimentación o feedback ya que hace
pacto que tienen estos atributos sobre los
posible la consecución de los resultados. En
componentes de calidad. Del mismo modo la
este modelo se ha utilizado el procedimiento
puntuación de los componentes de calidad,
estadístico de regresión simple para estudiar
determina el impacto que estos tienen sobre
lo que explica cada una de las variables de
la satisfacción.
entrada de las variables de resultados, que en
este caso son las acciones y decisiones. Este tipo de metodología QSP supone un
avance muy importante a la hora de resolver
3.2. Modelo QSP-INC (Fornell, Univer-
ecuaciones estructurales de relaciones causa-
sidad de Michigan)
les en cadenas largas, ya que otro tipo de
En este modelo, a diferencia de otros, metodologías como la regresión o el análisis
hacen uso de una metodología causal, en un factorial no responden al objetivo de
intento de avanzar en el terreno del contraste “...medir una secuencia de percepciones que
y validación de teorías, que es esencial a la se tiene que valorar de forma simultanea con
hora de establecer relaciones de causa-efecto la restricción de maximizar la relación entre
entre la calidad, la satisfacción de los usua- el índice de satisfacción y las variables de
rios, los resultados, y el impacto. comportamiento objetivo” (Friberg, 1995).
El modelo QSP-INC para medir la calidad Desde un punto de vista de la amplitud del
percibida de un servicio hospitalario lo ha ámbito de acción de la evaluación, podemos
desarrollado el Catedrático Fornell de la clasificar los enfoques de medida de la satis-
Universidad de Michigan facción en: enfoque macro (un sistema sani-
(http://directory.umich.edu/; tario completo), enfoque intermedio (pro-
www.cfigroup.com/bios/cfornell.htm). Este grama de asistencia) y enfoque micro (servi-
Modelo permite, en base a la metodología cio ambulatorio u hospitalario concreto).
utilizada, elaborar modelos más concretos en
función de las variables a examinar. Pon-
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 111
12. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
La metodología utilizada se establece en Valor Añadido
base a unas escalas de valoración en las que El primer gran factor, común a muchos de
se contemplan aspectos como la accesibili- los modelos analizados sería la adquisición
dad al programa o la viabilidad del mismo. de conocimientos. Es decir, el producto más
El problema asociado a este tipo de medidas inmediato de un programa de formación es,
radica en la imposibilidad de comparar pro- sin duda, los conocimientos adquiridos y
gramas ya que al incorporar expectativas no representa un claro indicador de la calidad
se distingue claramente si los efectos produ- del programa en sí. El concepto de valor
cidos se deben a las propias expectativas o añadido se acuñó, originalmente, en térmi-
simplemente a un incremento en la calidad nos económicos: “incremento de valor que
del servicio. Para intentar subsanar este in- experimenta un bien en su proceso de trans-
conveniente metodológico se elabora un mo- formación” (Diccionario de la Lengua Espa-
delo que incorpora multitud de variables co- ñola, 2001). En nuestro caso, trasladado al
mo posibles causas que influyen en la satis- ámbito de la formación continua, hablaremos
facción, de manera que la tarea se centra en de valor añadido como incremento en lo que
identificar los efectos de cada una de esas conocimientos se refiere, que experimenta un
variables sobre la satisfacción y el impacto sujeto tras haber participado en un programa
que tienen determinados programas formati- de formación.
vos.
Satisfacción
3.3. Modelo de Ubillos
La satisfacción es una dimensión funda-
Retomando el tema de la problemática aso- mental en la explicación del impacto de la
ciada a la evaluación de impacto de progra- formación. Costa Font (1999) entiende por
mas formativos, Ubillos (1994) analiza dos satisfacción:
tipos de diseños quasi-experimentales para
comparar el poder evaluativo de cada uno de “…adecuación de sus expectativas con la
ellos. Por un lado el diseño de grupos no- percepción final del servicio sanitario (con-
equivalentes, en el que se compara la medida cepto que procede de la calidad percibida
post-test del grupo experimental con la me- del servicio)” (pp. 79-80)
dida post-test del grupo de control, se trata
del diseño quasi-experimental más válido y La satisfacción es un índice de calidad del
el que posee mayor validez externa. Por otro servicio y de correcto funcionamiento, así
lado los diseños quasi-experimentales de como un indicador de resultados. En la defi-
línea base no causal construida, estos dise- nición del profesor Costa Font, aparece el
ños tienen su base en la comparación de la término expectativas como un elemento fun-
medida post-test del grupo de tratamiento damental a la hora de poder evaluar el grado
con un grupo apareado disfuncional o fun- de satisfacción del cliente. Podemos clasifi-
cional, es decir, se compara con una norma car las expectativas en relación a su tipolo-
(en la mayoría de los casos perceptibles de gía, estas pueden ser: ideales o deseos, pre-
una población comparable). decibles o basadas en la experiencia, norma-
tivas e inexistencia de expectativas. Está
Conclusiones demostrado que la satisfacción está relacio-
nada con multitud de variables entre ellas la
La revisión de la literatura sobre modelos calidad del servicio, la cantidad de informa-
de evaluación del impacto, nos da idea de las ción recibida y variables sociodemográficas
grandes dimensiones que tienen relación con (Hall y Dornan, 1988).
el mismo. De esta forma, y como conclusión,
pasamos a definir las grandes dimensiones Mejora del status profesional
que explican el impacto de la formación:
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 112
13. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
La presente dimensión teórica que se plan- Berstein, D. J. (1999). Comments on Perrin's
tea como efecto del programa formativo, "Effective use and misuse of performance
forma parte de la mayoría de estudios sobre measurement". American Journal of Eva-
la rentabilidad e impacto de la formación. Si luation, 20, 85-93.
nos hacemos eco de lo reflejado en el cuarto Blasco Sánchez, B. (1991). El control de la
nivel del modelo de Kirkpatrick la adquisi- formación. ¿Auditoria, evaluación? Aula
ción de capacidades, habilidades y conoci- Abierta, 58, 59-84.
mientos sobre un tema determinado, deberí- Brinkerhoff, O. (1987). Achieving Results
an repercutir sobre la empleabilidad de un from Training: How to Evaluate Human
sujeto. Resource Development to Strengthen Pro-
grams and Increase Impact. San Francisco:
De esta forma quedan definidas las dimen- Jossey-Bass.
siones que, extraídas de la revisión teórica de Brinkerhoff, R. O., et al. (1983). Program
modelos de evaluación del impacto de pro- Evaluation. A practitioner's guide for train-
gramas de formación, configuran el impacto ers and educators. Boston: Kluver-Nijhoff
que tiene la formación en el desarrollo profe- Publishing.
sional de los sujetos que asisten a un pro- Carballo Santaolalla, R. (1990). Evaluación
grama de formación. de un programa de formación ocupacional.
Revista de Investigación educativa, 8(15),
BIBLIOGRAFÍA 93-95.
Adams, J. D., (1999). The formulation, de- Carballo Santaolalla, R. (1991). Introducción
velopment and testing of an impact evalua- a la evaluación de programas de acción so-
tion model for continuing professional edu- cial: decisiones para su realización. Revista
cation. Pennsylvania: The Pennsylvania Complutense de Educación, 2(1), 111-126.
State University. Carrasco, M., Mallén, D. y Escanero Mar-
Adams, J. D., (2001). Reinterpreting Evalua- cén, J. F. (1994). Necesidades sentidas de
tion Classics in the Modern Age. Journal of formación continuada de los médicos de
Continuing Higher Education, 49, 2, 14-22. atención primaria. Madrid: Ministerio de
Adams, L., et al. (2002). Promoting Health: Sanidad y Consumo, Dirección General de
Politics and Practice. London: Sage Publi- Ordenación Profesional.
cations. Cervero, R.M. and Wilson, A.L. (Eds.)
Aday, L. A., et al. (1998). Evaluating the (1996). New Directions for Adult and Con-
Healthcare System: tinuing Education: What Really Matters in
Effectiveness, Efficiency, and Equity. Uni- Adult Education Program Planning, No. 69.
versity of Michigan: Health Administration San Francisco: Jossey-Bass.
Press. Cervero, R.M. and Wilson, A.L. (1994).
Antoñanzas Villar, F. y Rovira Forns, J. Planning Responsibly for Adult Educa-
(1998). El debate de la estandarización me- tion.San Francisco: Jossey-Bass.
todológica de la evaluación de Proyectos Cervero, R.M. (1988). Effective Continuing
sanitarios: el caso de la tasa de descuento. Education for Professionals. San Francisco:
Papeles de economía española, 76, 159- Jossey-Bass.
164. Cervero, R.M., and Scanlan, C.L. (eds.)
Aragón Marín, L. (1997). Modelo Europeo (1985). New Directions for Continuing
de Gestión de la Calidad: Guía para la au- Education. Problems and Prospects in Con-
toevaluación. Madrid: MEC. tinuing Professional Education. No. 27. San
Barbier, J. M. (1993). La evaluación en los Francisco: Jossey-Bass.
procesos de formación. Barcelona: Paidós; Cervero, R.M.; Azzaretto, J. F.; and other.
Madrid: Ministerio de Educación y Ciencia, (1990). Visions for the Future of Continuing
Centro de Publicaciones.
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 113
14. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
Professional Education. Athens: University Grembowski, D. (2001). The Practice of
of Georgia. Health Program Evaluation. London: Sage
Chang, E. C. (2000). Perfectionism as a Pre- Pub.
dictor of Positive and Negative Psychologi- Grotelueschen, A.D. (1980). "Program
cal Outcomes: Examining a Mediation Evaluation." In A.B. Knox (Ed.), Develop-
Model in Younger and Older Adults. Jour- ing, Administering, and Evaluating Adult
nal of Counseling psychology, 47, 1, 18-26. Education. San Francisco: Jossey-Bass.
Costa Font, J. (1998). Técnicas de evalua- Hall, J. A. and Dornan, M. C. (1988a). Meta-
ción económica de programas sanitarios: Analysis of satisfaction with medical care:
¿Qué método de evaluación económica apli- Description of reserch domain and analysis
car?, Jano, LIV, 1275, 79-80. of overall satisfaction levels. Social Science
Costa Font, J. (1998). Técnicas de evalua- and Medicine, Vol. 27, No 6, pp. 637-644.
ción económica de programas sanitarios: Hall, J. A. and Dornan, M. C. (1988b). What
¿Qué método de evaluación económica apli- patients like about their medical care and
car?, Jano, LIV, 1275, 79-80. how often they are asked: A meta-analysis
Cummings, L. E. (1993). Hospitality`s solid of the satisfaction literature.” Social Science
waste policy patchwork: A study of states´s and Medicine, Vol. 27, No. 9, pp. 935-939.
regulatory environments. Journal of inter- Jackson, C. (1984). Evaluation studies: re-
national academy of hospitality research, view annual. Beverly Hills; London: Sage
16, 1-24. pub.
De la Orden Hoz, A. (1990). Evaluación de Jackson, L. and Caffarella, R.S. (Eds.)
los efectos de los programas de interven- (1994). New Directions for Adult and Con-
ción. Revista de Investigación Educativa, 8, tinuing Education: Experiential Learning.
16, 61-76. No. 62. San Francisco: Jossey-Bass.
Fernández-Ballesteros, R. (1996). Evalua- Juran, J. M. y Gryna, F. M. (1995). Análisis
ción de programas. Una guía práctica en y planeación de la calidad: del desarrollo
ámbitos sociales, educativos y de salud. del producto al uso. Buenos Aires: McGraw
Madrid: Síntesis. Hill.
Fink, A. (1993). Evaluation Fundamentals: Katz, F. M. (1981). Pautas para la evalua-
Guiding Health Programs, Research, and ción de programas de personal de salud.
Policy. London: Sage pub. Washington: Organización panamericana de
Friberg, U. (1995). II Jornadas sobre Ges- la Salud.
tión y Evaluación de la Calidad en los Ser- Kellaghan, T. y Madaus, G. F. (2000). Out-
vicios Públicos. Madrid. come evaluation. En D. L. Stufflebeam, G.
Glanz, K., Lewis, F. M., y Rimer, B. K. F. Madaus, y T. Kellaghan (eds.). Evalua-
(1997). Health Behavior and Health Educa- tion models: Viewpoints on educational and
tion: Theory, Research and Practice (2nd human services evaluation (pp. 97-112).
ed.). San Francisco: Jossey-Bass. Boston: Kluwer Academic Publishers.
Goldie, J. (2000). Review of ethics curricula Kirkpatrick, D. L. (1996). Great ideas revis-
in undergraduate medical education. Medi- ited. Training and Development, 50, 1, 54-
cal Education, 34(2), 95-102. 65.
Gomm, R., et al. (2000). Evaluating Re- Kirkpatrick, D. L. (1999). Evaluación de
search in Health and Social Care. London: acciones formativas: los cuatro niveles.
Sage pub. Barcelona: Gestión 2000.
Green, R. S. y Newman, F. L. (1999). Total Klein, R. E. (1982). Evaluación del impacto
quality management principles promote in- de los Programas de nutrición y salud.
creased utilization of client outcome data in Washington: OMS.
behavioral health care. Evaluation and Pro-
gram Planning, 22, 179-182.
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 114
15. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm
Le Boterf, G., Barzucchetti, S. y Vincent, F. luación de tecnologías y programas sanita-
(1993). Cómo gestionar la calidad de la rios. Madrid: Ministerio de Sanidad y Con-
formación. Barcelona: Gestión 2000. sumo.
Llorens Montes, J. F. (1996). Una evaluación Scriven, M. (2000). Evaluation models:
de la relación entre calidad del servicio, sa- viewpoints on educational and human ser-
tisfacción y actitud del cliente. ESIC Mar- vices evaluation. Boston: Kluwer Academic
ket, Jul-Sep, 93, 121-132. Press, cop.
Marzo, J.C., Martínez-Tur, V., Ramos, J. y Stufflebeam, D. L. (2001). Evaluation Mod-
Peiró, J.M. (2002). La satisfacción del usua- els. New Directions for Evaluation, 89 Spr.
rio desde el modelo de la confirmación de Sussman, S. (2000). Handbook of Program
expectativas: respuesta a algunos interro- Development for Health Behavior Research
gantes. Psicothema, Vol. 14, 765-770. and Practice. London: Sage pub.
Piédrola Gil, G., et al. (1991). Medicina pre- Tyler, R. (1969). Educational evaluation:
ventiva y salud pública. Barcelona: Edicio- new roles, new means. Chicago: The Na-
nes científicas y técnicas. tional Society for the Study of Education.
Pineault, R. y Daveluy, V. (1989). La plani- Veney, J. y Kaluzny, A. (1998). Evaluation
ficación sanitaria: conceptos, métodos y es- and Decision Making for Health Services.
trategias. Barcelona: Masson. University of Michigan: Health Administra-
RAE (2001). Diccionario de la Real Acade- tion Press.
mia de la Lengua. Madrid: Espasa Calpe. Wade, P. (1998). Cómo medir el impacto de
Reed, C. S. y Brown, R. E. (2001). Outcome- la formación. Madrid: Editorial Centro de
asset impact model: linking outcomes and Estudios Ramón Areces S.A.
assets. Evaluation and program planing, 24, Worthen, B.R., Sanders, J.R., y Fitzpatrick,
287-295. J.L. (1997). Program Evaluation: Alterna-
Robira, J. (1994). Estandarización de algu- tive Approaches and Practical Guidelines.
nos aspectos metodológicos de los análisis 2d ed. New York: Longman.
coste-efectividad y coste-utilidad en la eva-
[1] Paradigma que nace en los años 70 y entre sus ideas principales define satisfacción como la evaluación de la dis-
crepancia entre las expectativas previas y el rendimiento percibido del producto que consume el usuario (en nuestro
caso formación)
ABOUT THE AUTHORS / SOBRE LOS AUTORES
Chantal Biencinto (alameda@edu.ucm.es). Profesora Doctora en el Dpto. MIDE de la Facultad
de Educación de la Universidad Complutense de Madrid (C/ Rector Royo Villanova, s/n. 28040
Madrid).
Rafael Carballo (rafacar@edu.ucm.es). Profesor Titular del Dpto. MIDE de la Facultad de Edu-
cación de la Universidad Complutense de Madrid (C/ Rector Royo Villanova, s/n. 28040 Madrid )
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 115