Redalyc                                   Sistema de Información CientíficaRed de Revistas Científicas de América Latina, ...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.  http:/...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://w...
de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.  http:/...
Upcoming SlideShare
Loading in...5
×

La evaluación de tesis doctorales

2,372

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
2,372
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
56
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "La evaluación de tesis doctorales"

  1. 1. Redalyc Sistema de Información CientíficaRed de Revistas Científicas de América Latina, el Caribe, España y Portugal de-Miguel, Mario LA EVALUACIÓN DE TESIS DOCTORALES. PROPUESTA DE UN MODELO RELIEVE. Revista electrónica de investigación y evaluación educativa, Vol. 16, Núm. 1, 2010, pp. 1-18 Universitat de València España Disponible en: http://redalyc.uaemex.mx/src/inicio/ArtPdfRed.jsp?iCve=91612919003 RELIEVE. Revista electrónica de investigación y evaluación educativa relieve@uv.es Universitat de València España ¿Cómo citar? Número completo Más información del artículo Página de la revista www.redalyc.org Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto
  2. 2. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18. http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htme-Journal of Educational Revista ELectrónica deResearch, Assessment and Investigación y EValuación Evaluation Educativa LA EVALUACIÓN DE TESIS DOCTORALES. PROPUESTA DE UN MODELO [The evaluation of doctoral thesis. A model proposal] Por / By Article record Ficha del artículo About authors de-Miguel, Mario (mario@uniovi.es) Sobre los autores HTML format Formato HTML Abstract Resumen The aim of this work is the development of a model that El objetivo del presente trabajo es la elaboración de un can be used as a framework for evaluators and PhD tribu- modelo que pueda ser utilizado como marco de referencia nal members, either during the previous administrative por los evaluadores y miembros de tribunales de las tesis processing phase or at the actual exposition and viva on doctorales tanto en la fase previa a la tramitación adminis- doctoral dissertations. To this end, once reviewed the ex- trativa como en el acto de exposición y defensa de la isting literature and normative, a new proposal is laid out misma. Para ello, una vez revisada la literatura y la nor- on the main aspects and criteria to be analysed and as- mativa vigente al respecto, efectuamos una propuesta so- sessed from any given scientific work, thus introducing a bre los principales aspectos y criterios que deben ser obje- tool that facilitates and specifies this work. Our model is to de análisis y valoración en todo trabajo científico, y intended to be an open proposal on which we would wel- presentamos una herramienta que facilita y precisa esta come any contribution and suggestion. tarea. Nuestro modelo constituye una propuesta abierta sobre la que esperamos aportaciones y sugerencias. Keywords Descriptores Doctoral thesis, Doctoral dissertations evaluation, Doc- Tesis doctoral, evaluación de tesis doctorales, calidad de toral thesis quality, doctoral dissertations evaluation las tesis doctorales, modelo de evaluación de las tesis doc- model. torales. ración de los informes preceptivos. Lo nor- Introducción mal es utilizar impresos poco estructurados Una de las tareas que frecuentemente te- donde los evaluadores formulan sus juicios nemos que asumir los profesores universita- de acuerdo con su lógica particular sobre lo rios es la evaluación de trabajos que se pre- que debe ser y cómo se debe presentar un sentan como tesis doctorales - más allá de los trabajo científico para que pueda ser defen- trámites formales – con el fin de asegurar la dido como tesis doctoral. Esta carencia de un calidad de los mismos. No es habitual que las marco de referencia claro y común sobre los universidades dispongan de protocolos deta- criterios que deben ser utilizados a la hora de llados para que se pueda realizar esta tarea evaluar un trabajo de estas características siguiendo una serie de criterios que se consi- determina que los informes que se emiten al deran a priori fundamentales para la elabo- Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 1
  3. 3. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htmrespecto sean imprecisos y poco prácticos a dimientos que van a utilizar para evaluar lala hora de tomar decisiones. calidad de los procesos que implica el desa- rrollo de un programa de doctorado como de El resultado de esta falta de precisión a la los productos que genera; es decir, las tesishora de emitir las valoraciones sobre las tesis doctorales. Lo habitual es centrar toda laes conocido: la mayoría de los informes pre- evaluación de los programas de doctoradoceptivos para la tramitación administrativa sobre la utilización de estadísticos e indica-de las tesis son positivos – no llega al uno dores cuantitativos entre datos de entrada ypor ciento el número de tesis rechazadas – y salida sin analizar los procesos y las causasla gran mayoría de ellas alcanzan la máxima que provocan el abandono o un retraso con-calificación - aproximadamente el 92 % de siderable en el progreso de los alumnos (Delas tesis defendidas – a pesar de que la cali- Miguel, 2010). Tampoco suelen precisar losdad de muchas sea dudosa (Valcárcel, 2002). criterios específicos que deberán tenerse enEsta distribución atípica de los resultados de cuenta para valorar la calidad de una tesislas evaluaciones sobre las tesis doctorales como aportación al conocimiento científicopone de manifiesto que los protocolos utili- sobre un determinado objeto de investigaciónzados no son adecuados o que las valoracio- o a la solución de problemas prácticos de lanes no se efectúan con el rigor científico que realidad social.sería deseable. Como ya hemos señalado en otro momento Desde una perspectiva técnica el problema (Valcárcel, 2002), este último tipo de eva-radica en que no existen unos criterios claros luación – centrada sobre la calidad de lasy explícitos que necesariamente deban ser tesis - se realiza a través de un proceso en eltenidos en cuenta a la hora de formular los caben señalar tres etapas o momentos distin-juicios requeridos. La última normativa es- tos, a saber: la evaluación previa que esta-pañola al respecto - Real Decreto 1393/2007, blece cada universidad para autorizar la tra-de 29 de septiembre – determina que "la uni- mitación administrativa, la evaluación que seversidad establecerá procedimientos con el efectúa en el momento de la exposición yfin de garantizar la calidad de las tesis tanto defensa pública de la tesis, y la evaluaciónen su elaboración como en el proceso de que se puede hacer posteriormente de lasevaluación" (art. 21, 2). En el mismo texto se publicaciones y aplicaciones derivadas de laseñala que "la tesis doctoral se evaluará en misma a efectos de premios, becas, proyec-el acto de defensa que tendrá lugar en sesión tos y otros méritos. Como es lógico, el traba-pública…y que el tribunal emitirá un infor- jo a realizar en cada una de estas fases tieneme y la calificación global concedida a la finalidades distintas por lo que requiere crite-tesis de acuerdo con la siguiente escala." rios y procedimientos de evaluación diferen-(art. 21, 6, 7). El sentido de la norma es cla- tes. Procede, por tanto, clarificar las distintasro: los procedimientos y criterios para eva- formas de abordar estas evaluaciones en fun-luar las tesis constituyen un problema interno ción de los datos y el tipo informe que debede las universidades que deberán reglamentar emitir el evaluador en cada caso.de forma explícita [1]. Este es el objetivo que pretendemos abor- Hasta la fecha los reglamentos establecidos dar con este trabajo: presentar un modelo quepor las distintas universidades sobre los pro- pueda constituir como marco de referenciagramas de doctorado y las tesis suelen incidir del trabajo a realizar por los evaluadores quemás sobre las cuestiones administrativas que sean requeridos para valorar tesis doctorales.sobre las técnicas. No es frecuente que en Para ello hemos efectuado una revisión de laestos reglamentos las universidades establez- literatura pertinente sobre la naturaleza ycan de forma detallada los criterios y proce- finalidad de las tesis doctorales con el fin deRevista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 2
  4. 4. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htmsintetizar y estructurar los principales pará- de la Universidad. Todos estos procesosmetros y criterios que definen la calidad de pueden ser considerados como acciones oeste tipo trabajos y su contribución al progre- estrategias evaluadoras aunque en la prácticaso del conocimiento científico. A partir de su operatividad sea muy pequeña. Una vezdicha revisión hemos elaborado un modelo que el director otorga su conformidad locompresivo sobre los distintos criterios a habitual que la Comisión de Doctorado con-tener en cuenta en la evaluación de una tesis ceda su placet y ratifique el tribunal propues-que permita objetivar los juicios que se for- to. Lo cual significa que a priori la garantíamulen a respecto y que pueda ser utilizado de calidad de una tesis depende del prestigioglobal o parcial en función de tipo o finali- que tiene la universidad, el departamentodad de la evaluación requerida en cada caso. implicado, el programa de doctorado cursado y, sobre todo, del reconocimiento que tieneEvaluación previa del Informe de como científico el director de la misma (Ló-Tesis pez Yepes y otros, 2008). De acuerdo con la normativa citada, el tex- Aunque este suele ser el procedimientoto legal sólo especifica que "en el proceso de habitual, no obstante existen otras formas deevaluación y previo al acto de defensa, la proceder en otros campos científicos queuniversidad garantizará la publicidad de la conviene conocer y valorar ya que, en la me-tesis doctoral finalizada de forma que otros dida que constituyen alternativas interesan-doctores puedan remitir observaciones sobre tes, pueden contribuir a resolver el problemasu contenido" (art. 21.4). Hasta la fecha, los que nos ocupa. Nos centraremos sobre algu-procedimientos implementados en las distin- nas de ellas:tas universidades para llevar cabo esta eva- 1.- Evaluación vinculada al grupo o equi-luación previa son muy diversos aunque po- po de investigación.- Algunos departa-cas veces se efectúan mediante una evalua- mentos universitarios exigen que todo elción rigurosa e independiente que determine proceso de elaboración de una tesis – des-con objetividad la calidad del trabajo reali- de la elaboración del proyecto a la redac-zado y sus aportaciones al conocimiento ción del informe - sea supervisado de for-científico. Igualmente tampoco es frecuente ma colegiada por un grupo o equipo de in-disponer de un protocolo adecuado para rea- vestigación formado al menos por tres in-lizar esta evaluación previa de forma com- vestigadores competentes en el campo oprensiva y objetiva a fin de tomar las deci- especialidad que constituye objeto de es-siones pertinentes sobre su tramitación. Ante tudio. La evaluación previa queda así con-la falta de un rigor de los procedimientos dicionada al informe favorable de los in-evaluativos previos el resultado es previsible: vestigadores que han sido nombrados –la gran mayoría de las tesis superan este trá- conjuntamente con el director - para tute-mite por lo que acaba siendo más un ritual lar y velar el proceso de elaboración yaque una auténtica evaluación. que conocen de cerca el proyecto y el tra- A este respecto proceder recordar que la bajo realizado por el doctorando así comotramitación de una tesis requiere la confor- la calidad de los resultados obtenidos. Lasmidad del director para proceder a su lectura, ventajas que aporta la utilización de estael informe o informes oportunos establecidos estrategia son indudables tanto para elpor el departamento que presenta la tesis, un doctorando, ya que le permite contar conperiodo de exposición pública para que los las valoraciones y aportaciones que le fa-doctores interesados puedan efectuar alega- cilita su director y el resto de miembrosciones pertinentes y, finalmente, la aproba- que constituyen en grupo supervisor, co-ción a trámite por la Comisión de Doctorado mo de garantía para la institución.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 3
  5. 5. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm 2.- Evaluación vinculada a una sesión de mentos universitarios hayan establecido prelectura de la tesis.- En el caso de gru- como condición para otorgar un informe pos muy consolidados e institutos de in- favorable en esta evaluación previa que el vestigación es frecuente que una vez doctorando haya publicado dos o más tra- hayan concluido la tesis los doctorandos bajos sobre el tema de la tesis en revistas efectúen una presentación de la misma a de impacto o presentado ponencias y/o todos los investigadores del grupo o insti- comunicaciones en Congresos o Jornadas tuto relacionados con el tema con el fin de relativos al ámbito de la especialidad cien- conozcan su trabajo y recabar sus opinio- tífica. Generalmente cuando esta condi- nes y sugerencias. Esta presentación pre- ción se cumple no se procede a la prelec- via o prelectura de las tesis no solo permi- tura de la tesis ni a su revisión por exper- te intercambio de informaciones sino tam- tos externos. Ahora bien, esta alternativa bién ampliar las posibilidades de conexión que implica una nueva concepción del tra- y difusión del trabajo en redes científicas bajo a presentar como tesis no es muy fre- nacionales e internacionales. En ocasio- cuente ya que en algunos ámbitos acadé- nes, además de esta sesión de prelectura, micos se considera que éstas deben ser se establece la obligatoriedad del informe inéditas y que lo habitual es efectuar su di- externo de dos investigadores. fusión una vez hayan sido defendidas 3.- Evaluación mediante informes de ex- (Sánchez Rodríguez, 2002; López Yepes y pertos externos.- Últimamente varias uni- otros, 2008). versidades han establecido como requisito El propósito común de las opciones co- previo para la tramitación de una tesis mentadas es garantizar unos mínimos de ca- contar con el informe favorable de dos lidad de la investigación que se pretende evaluadores externos. Aunque la medida defender como tesis doctoral. Ante la habi- debe considerar muy positiva lo cierto es tual falta de respuesta de los doctores durante que los procedimientos arbitrados para su el periodo de exposición pública establecido implementación no han contribuido a de- reglamentariamente y la escasa operatividad mostrar la eficacia que se esperaba de esta de la Comisión de Doctorado a estos efectos, alternativa. Resulta necesario replantear las universidades deben establecer algún tipo con rigor los factores críticos que tiene es- de "filtro" que les ofrezca la garantía necesa- ta opción – sistema de elección de los eva- ria para proceder a dar trámite a las tesis. luadores, competencia y anonimato de los Quizás la opción de contar con la evaluación mismos, protocolo de criterios a cumpli- previa de dos expertos externos a la univer- mentar, grado de vinculación de los in- sidad, que no formen parte del tribunal que formes, etc. – ya que en muchas ocasiones posteriormente ha de juzgar su defensa, sea acaba siendo un trámite más que una au- la más oportuna siempre y cuando la elec- téntica evaluación. En definitiva, no basta ción de los mismos se haga con las suficien- con establecer un sistema de evaluación tes garantías y sus valoraciones se efectúen externa ya que también hay que resolver mediante un protocolo normalizado en el que los problemas que determinan que esta es- se expliciten los juicios de forma objetiva y trategia sea más o menos eficaz (Valcár- con carácter vinculante. cel, 2002). 4- Evaluación vinculada a criterios de ca- Evaluación de la Exposición y Defensa lidad específicos.- El hecho de que ac- Pública tualmente cada vez se vincula más la cali- dad de un trabajo científico al número y La normativa citada tampoco incluye gran- tipo las publicaciones derivadas del mis- des novedades sobre la composición de los mo ha dado lugar que algunos departa- tribunales que han de juzgar las tesis en elRevista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 4
  6. 6. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htmacto de defensa pública. El texto legal esta- saliente. El tribunal podrá otorgar la men-blece que "el tribunal que evalúe la tesis se ción <cum laudem> si la calificación globalcompondrá de acuerdo con las normas que es de sobresaliente y se emite en tal sentidoestablezca la universidad. Todos los miem- el voto por unanimidad" (art. 21.7). Lo habi-bros deberán tener el título de doctor y expe- tual es que los miembros de un tribunal deriencia investigadora acreditada. En todo tesis realicen antes del acto de la defensa unacaso sólo podrán formar parte del tribunal valoración de la misma de acuerdo con sudos miembros de la Universidad responsable lógica particular sobre las condiciones quede la expedición del título". Se señala, ade- debe reunir un trabajo de estas característicasmás, que cuando se opta a un título de doctor y establezcan un primer juicio sobre la tesis,con "mención europea" deberá formar parte al tiempo que concretan las cuestiones quedel tribunal un experto externo con título de están poco claras o que les ofrecen dudas –doctor perteneciente a alguna institución de de acuerdo con el ritual al uso - pero sin en-educación superior o centro de investigación trar en un cuestionamiento del trabajo reali-de un Estado miembro de la Unión Europea zado en función de unos criterios específicosdistinto de España. previamente establecidos. Como se puede deducir de lo anterior, las En relación al propio acto de la defensa deuniversidades siguen teniendo la última pa- la tesis existen diversas normas y criterios alabra a la hora de seleccionar y nombrar a los tener en cuenta que deberán igualmente sermiembros que van a formar parte del tribuna- objeto de evaluación. De una parte, diversosles que han de valorar la tesis. Por ello serán autores insisten en la necesidad de que elellas las que tienen que establecer un proce- doctorando exponga con claridad y rigor eldimiento para el nombramiento de los contenido de su trabajo utilizando un lengua-miembros del tribunal que tenga credibilidad je preciso y adecuado a la materia sobre lay que permita su independencia a la hora de que versa utilizando para ello - si procede -valorar los trabajos. Hasta la fecha, dado que técnicas de apoyo gráfico y esquemático conlos sistemas arbitrados en la mayoría de las el fin de que su mensaje llegue tanto a losuniversidades para nombrar los tribunales miembros de tribunal como al público pre-parten de las propuestas que formula el pro- sente en la sala (García de la Fuente, 1994;pio director de la tesis, estos no pueden con- Sierra Bravo, 1999). De otra, dado que sesiderarse totalmente independientes dadas las trata de una comunicación científica, lo per-redes que se establecen entre los investigado- tinente es que argumente adecuadamente lares en el ámbito universitario. El recurso defensa de sus hallazgos, de los nuevos co-establecido de que las propuestas sean avala- nocimientos obtenidos y las soluciones a losdas adjuntando un breve currículo de los problemas planteados. En definitiva, el doc-candidatos no ha resultado demasiado útil torando debe mostrar como investigador supara justificar la pertinencia y competencia dominio y rigor científico, dato que espe-de muchos de los miembros de los tribunales cialmente se puede constatar en las respues-nombrados. tas a las objeciones formuladas, la valoración crítica que realiza de su propio trabajo y las Tampoco existe una normativa específica propuestas efectuadas sobre nuevas líneas desobre los criterios de evaluación que deberán investigación sobre el tema (Carreras Pan-utilizar los tribunales seleccionados y los chón, 1994; Desantes y López Yepes, 1996).procedimientos para otorgar la calificación.La norma solamente establece que "el tribu- Procede recordar que la defensa de una te-nal emitirá un informe y la calificación glo- sis doctoral constituye la parte fundamentalbal a la tesis de acuerdo con la siguiente de un acto académico cuya finalidad es com-escala: no apto, aprobado, notable y sobre- probar la capacidad investigadora del docto-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 5
  7. 7. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htmrando. En este momento el tribunal represen- cido tanto en lo que respecta al procedimien-ta a la comunidad científica y como tal debe to para nombrar a los miembros que forma-juzgar el trabajo realizado por el doctorando rán el tribunal con el fin de lograr la máximay formular las objeciones oportunas con el idoneidad e independencia como introdu-fin de que este se defienda aportando las ciendo criterios de racionalidad en los proto-pruebas necesarias para que podamos admitir colos de evaluación a utilizar para elaborarlos conocimientos que aporta su investiga- los informes preceptivos sobre las tesis en lación al tiempo que manifiesta públicamente fases de tramitación y defensa. La utilizaciónsu capacidad como investigador. De ahí que de protocolos donde los criterios se presen-no pueda ser considerada la defensa como un ten de forma objetiva mediante escalas cuan-acto protocolario ya que su significado debe titativas y/o cualitativas permitiría un mayorentenderse como juicio público que otorga la ajuste entre las valoraciones y las califica-comunidad tanto a la tesis presentada como a ciones otorgadas - corrigiendo así la distri-la formación científica del propio doctoran- bución atípica que actualmente existe - ydo. Sin embargo este enfoque no suele ser el facilitaría la elaboración de informes razona-habitual ya que la defensa de las tesis se con- dos caso de que se detecten deficiencias.sidera un acto más social que científico. Evaluación de las publicaciones deri- Tampoco existe una normativa precisa so- vadas de las tesisbre el procedimiento para emitir la califica-ción de una tesis. Al margen de los comenta- Ya hemos señalado que es necesario efec-rios y críticas – más o menos oportunas – tuar una evaluación a posteriori sobre lasrealizadas por los miembros de los tribunales tesis con el fin de estimar su contribuciónlas calificaciones no suelen ser discriminati- real al conocimiento científico y a la resolu-vas. Los datos obtenidos a través de otros ción de problemas prácticos, para lo cualtrabajos (De Miguel, 2010) reflejan una dis- resulta necesario efectuar un seguimiento atribución atípica de las calificaciones otorga- lo largo del tiempo de las aportaciones ydas ya que la mayoría de las tesis obtienen la aplicaciones derivadas de la misma mediantemáxima calificación dato que debería ser publicaciones, patentes, protocolos, ponen-objeto de revisión. Desde nuestro punto de cias y proyectos. Aunque esta evaluaciónvista el problema radica en el que las univer- sobre el impacto de una tesis no es una tareasidades no requieren a los tribunales juicios fácil debería considerarse como un objetivoprecisos utilizando protocolos detallados en prioritario a tener en cuenta ya que es el cri-los que se recojan todas las cuestiones que es terio fundamental a la hora de proceder alnecesario evaluar sobre una tesis. Ello de- reconocimiento científico de la labor des-termina que en la práctica la mayoría de los arrollada tanto por los autores como por losinformes se elaboren de forma muy genérica directores de las tesis con motivo de la con-eludiendo los aspectos más críticos. En oca- cesión de premios extraordinarios, adjudica-siones, se emite el informe una vez acordada ción de proyectos, becas u otros méritos.la calificación para evitar contradicciones. También es importante esta evaluación sobreDe ahí la conveniencia de que los juicios las aportaciones de las tesis a efectos de con-sobre cada uno de los criterios a considerar solidar los sistemas de garantía y asegura-se formulen mediante un sistema de escalas o miento de la calidad de los estudios de doc-rangos cuantitativos y cualitativos dada su torado (De Miguel, 2010).utilidad a la hora de tomar las decisionessobre la calificación. No obstante, algunos autores consideran que esta evaluación sobre el impacto debe En resumen consideramos que el proceso ser tenida en cuenta en el acto de la defensade evaluación de una tesis debe ser recondu- en la medida que partes esenciales de laRevista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 6
  8. 8. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htmmisma hayan sido publicadas o estén acepta- Social Sciences Citation Index (Institute ofdas para su publicación en revistas de presti- Scientific Information, Philadelphia, PA,gio. Igualmente consideran necesario valorar USA). El indicador utilizado por este orga-la difusión realizada de los hallazgos obteni- nismo para estimar la calidad de una publi-dos a través de las comunicaciones presenta- cación es el "factor de impacto" que se cons-das en congresos, seminarios impartidos o truye a partir de la media de citas que recibeinvitaciones procedentes de centros naciona- una publicación en una revista determinada.les y extranjeros (Sánchez Rodríguez, 2002). Se calcula por años contando el número deCon esta finalidad se solicita al doctorando citas por año de una publicación en una de-que adjunte su currículum en el acto de de- terminada revista utilizando para su cálculofensa para que el tribunal pueda estimar la los dos años anteriores. Se admite que, cuan-repercusión que ha tenido la tesis hasta la to mayor es ese factor de impacto mayor esfecha y el impacto que cabe esperar en el la calidad de una publicación (De Miguel,futuro. Procede, por tanto, efectuar en el 1997).momento de la defensa una primera valora-ción sobre el impacto de las tesis aunque La utilización de este indicador, muy reco-lógicamente este tipo de evaluación debería nocido y utilizado en las áreas científicas,efectuarse de forma sistemática sobre todas genera dificultades a la hora de aplicarlo allas tesis después de un periodo determinado campo de las ciencias sociales y de la educa-de tiempo (ej. cinco años). ción dadas las peculiaridades de la investiga- ción en este campo, la diversidad de publica- Entre los posibles medios para difundir las ciones existentes y la carencia de bases deaportaciones de una tesis el canal más inme- datos especializadas e informatizadas. Aun-diato son las publicaciones científicas, con- que últimamente hemos avanzado mucho ensiderando como tales “aquellas que constitu- esta línea, dado que actualmente ya conta-yen una contribución real al progreso del mos con algunas bases que recogen las pu-conocimiento científico o al desarrollo técni- blicaciones en el ámbito de la educación,co y que han sido difundidas a través de un debemos reconocer que aún estamos lejos demedio adecuado dentro de la comunidad lo que sucede en otros ámbitos científicos encientífica” (De Miguel, 1997). Conviene los que todo el mundo sabe cuáles son lasresaltar que una publicación para que pueda bases de datos y publicaciones de prestigio yser considerada científica debe contribuir al qué requisitos debe tener un trabajo para queprogreso del conocimiento sobre una disci- sea aceptada su publicación.plina o problema social y tiene que ser di-fundida a través de un medio que está some- Debido las dificultades que genera la utili-tido al control interno de expertos de forma zación de este indicador actualmente se em-anónima e independiente. De esta forma el plean otros que también nos pueden ofrecerComité Científico del medio utilizado – re- una estimación sobre la calidad de una tesis.vista, editorial, etc. – es quien avala la cali- Entre estos procede señalar los siguientes:dad de un trabajo para su publicación. De ahí número total de trabajos derivados de la tesisque no todas las publicaciones tienen la (Np), número total de citas a trabajos de lamisma relevancia científica. tesis (Nc), citas por trabajo o ratio entre Nc y Np, número de trabajos significativos (Ns), En el campo de las Ciencias Sociales y de número de citas a los trabajos más citadosla Educación se valoran preferentemente las (Cq), número de trabajos que tienen al me-aportaciones publicadas en revistas de reco- nos una cantidad de citas igual o superior anocido prestigio, aceptando como tales las dicho número (Índice h de Hirsch). Todosque ocupan posiciones destacadas en bases ellos nos permiten en mayor o menor gradode datos como el Journal Citation Report del evaluar la calidad de una publicación y pue-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 7
  9. 9. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htmden ser igualmente utilizados con los traba- ramos nuestro modelo como una propuestajos derivados de una tesis. abierta que cada evaluador deberá adaptar en cada caso. Finalmente queremos decir que, aunqueexisten otros medios a través de los cuales Para la elaboración del modelo hemos uti-podemos estimar el impacto generado por lizado como marco teórico de referencia lite-una tesis en el ámbito de la investigación, lo ratura específica sobre elaboración de tesisverdaderamente importante es su contribu- doctorales (Alcina, 1994; Sierra, 1999; Blax-ción a la construcción de conocimientos que ter, L., Hughes, C. y Tight, M., 2000, Lópezpermitan intervenir y resolver problemas, en Yepes, J., Fernández Bajón, M.T. y Prat, J.,nuestro caso educativos. Por ello no se puede 2005, Úriz y otros, 2006)), así como algunasaceptar que en muchas tesis no exista una propuestas concretas realizadas recientemen-intencionalidad declarada de proceder a su te por otros investigadores de campos afinespublicación. Lamentablemente buena parte (López Yepes y otros 2008). Como procedi-de lo que se denomina literatura gris en las miento hemos utilizado una técnica sencilla:ciencias sociales y de la educación está for- plantear algunas de las preguntas o interro-mada por tesis inéditas. Actualmente con los gantes que debe formular el evaluador sobresoportes digitales y los recursos que ofrece los aspectos o cuestiones básicas que debeInternet las posibilidades de difusión y acce- reunir una tesis como trabajo científico espe-sibilidad a las tesis han aumentado conside- cificando en cada caso los criterios de eva-rablemente aunque se generen otros proble- luación que utilizamos para emitir los juiciosmas (propiedad intelectual, derechos de au- de valor.tor, etc.) que será necesario resolver (Mora-lejo Álvarez, 2000; Merlo Vega y Sorli Rojo, Criterios para la evaluación del informe2002; Orea, 2003). sobre la tesisPropuesta de un modelo para evaluar Cuando un evaluador se encuentra ante un informe de tesis las preguntas que lógica-tesis doctorales mente se debe formular para proceder a su Una vez que hemos analizado los distintos valoración son muy sencillas y se concentraninformes que conlleva la evaluación de una sobre las cuatro grandes dimensiones o apar-tesis doctoral procede avanzar la propuesta tados que se deben especificar de forma pre-de un modelo que pueda constituir marco de cisa en este tipo de trabajos: la definición delreferencia para el trabajo a realizar por los problema, la especificación de la metodolo-evaluadores en los diferentes momentos o gía de investigación, el análisis de los resul-etapas de este proceso. Con esta finalidad tados y la adecuación del informe que sehemos elaborado un modelo comprensivo presenta como tesis. Sobre cada una de estasque incluye las principales cuestiones que dimensiones deberá emitir su valoración uti-deben tener en cuenta los evaluadores a la lizando para ello los criterios de evaluaciónhora formular sus juicios sobre las tesis doc- propios de los trabajos científicos.torales. Nuestro propósito ha sido construir A.- El problema objeto de la investiga-un instrumento que puede constituir, de una ción.-parte, una guía que recoja las principales 1. Preguntas: ¿cuál es el problema quecuestiones que deben ser objeto de análisis y es objeto de la investigación? ¿Reúnevaloración y, de otra, una herramienta que las características necesarias para serpermita plasmar y contrastar las valoraciones objeto de una investigación científica?cuantitativas y cualitativas que se formulan ¿Está formulado de forma adecuada yal respecto los distintos evaluadores. En todo clara? ¿Se específica correctamente lacaso queremos dejar constancia que conside- hipótesis y objetivos? ¿Es original?Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 8
  10. 10. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm ¿Enlaza con los conocimientos disponi- conocimientos previos? ¿Pueden ser úti- bles hasta el momento? ¿Se ha efectua- les? ¿Son transferibles? ¿se exponen de do una buena revisión de la literatura? forma crítica? ¿Se avanza otras cuestio- ¿Está actualizada? ¿La teoría en la que nes a investigar? ¿Procede su difusión?, se fundamenta tiene consistencia interna etc. y externa? ¿Se puede comprobar? ¿Es 2. Criterios de evaluación: resultados pertinente realizar este tipo de investi- comprensibles, significativos, novedo- gación en este momento y en este con- sos y útiles. texto? ¿Se encuadra dentro del progra- ma de doctorado y las líneas de trabajo D.- Aspectos formales del Informe.- del grupo de investigación? ¿Es rele- 1. Preguntas: ¿el informe de tesis reúne vante? ¿Aborda un problema importante las condiciones necesarias como trabajo desde el punto de vista científico?, etc. científico? ¿Se presentan las cuestiones 2. Criterios de evaluación: claridad, de forma clara? ¿Es riguroso? ¿Está originalidad, pertinencia y relevancia bien redactado? ¿Utiliza un estilo ade- del problema. cuado? ¿Se entienden bien todos los da- tos que se incluyen? ¿Se especifican las B.- Metodología de investigación utiliza- fuentes con claridad? ¿Está bien docu- da.- mentado? ¿Incluye referencias actuali- 1. Preguntas: ¿qué metodología de in- zadas? ¿Se ajusta a las normas sobre vestigación se utiliza? ¿Es coherente trabajos científicos?, etc. con los objetivos? ¿Es oportuna? ¿Es la 2. Criterios de evaluación: claridad del más adecuada en este momento y con- informe, rigor en el contenido, docu- texto? ¿Se especifican todos los pasos mentación adecuada y ajustado a las de forma correcta? ¿Se cuestiona la uti- normas científicas. lización de métodos alternativos? ¿Có- mo han sido seleccionadas las mues- Criterios para evaluar la exposición y tras? ¿Los instrumentos utilizados reú- defensa de la tesis nen las condiciones necesarias? ¿Se uti- Como ya hemos avanzado, los miembros lizan adecuadamente las técnicas de de los tribunales de las tesis también deberán análisis? ¿Presenta métodos o técnicas evaluar la exposición y defensa que realiza el novedosas? ¿Se ha aplicado de forma doctorando durante el acto organizado con parsimoniosa?¿ ¿se presentan todos los tan fin. Las preguntas y criterios que procede datos necesarios que justifican las con- utilizar para realizar esta evaluación son los clusiones? ¿Presenta índices adecuados siguientes: de fiabilidad y validez de los resulta- dos? ¿Es replicable el trabajo?, etc. 1. Preguntas: ¿ha expuesto de forma clara 2. Criterios de evaluación: metodolo- y comprensible el contenido de su trabajo gía adecuada, correcta, parsimoniosa y para el público asistente al acto? ¿Ha cen- replicable. trado su intervención sobre los aspectos fundamentales del mismo? ¿Los medios C.- Análisis de los Resultados.- técnicos utilizados han contribuido efi- 1. Preguntas: ¿qué resultados aporta la cazmente a la exposición? ¿El doctorando tesis? ¿Se presentan adecuadamente? ha sido receptivo ante las críticas, obser- ¿Se justifican a partir de los datos obte- vaciones y sugerencias pertinentes formu- nidos? ¿Son comprensibles? ¿Existe al- ladas? ¿Ha contestado de todas las cues- gún tipo de sesgo? ¿Son significativos tiones importantes teóricas y metodológi- para el progreso del conocimiento? ¿son cas planteadas en relación con su trabajo? novedosos? ¿Reafirman o contradicenRevista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 9
  11. 11. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm ¿Sus respuestas han sido adecuadas y co- ble del trabajo realizado (III), aunque lógi- rrectas?, etc. camente éstos últimos deberán ser desagre- 2. Criterios de evaluación: Claridad en la gados y matizados en función de la finalidad exposición del trabajo y adecuación de la que justifica en cada caso una evaluación a defensa realizada. posteriori de una tesis. Proponemos a su vez una doble escala de valoración -cuantitativa Criterios relativos al impacto de la tesis y cualitativa- sobre los veinte criterios esta- blecidos ya que consideramos facilita la for- Aunque ya hemos dicho que la evaluación mulación del juicio global sobre la tesis, ladel impacto generado por una tesis debe ser propuesta sobre la calificación a otorgar y laevaluada después de un periodo de tiempo, elaboración de los informes preceptivos.en el momento del acto de la defensa pode-mos utilizar algunos indicadores que ya per- El protocolo que adjuntamos para la elabo-miten avanzar juicios respecto a las aporta- ración del informe (IV) – especialmente laciones al conocimiento científico que cabe tabla resumen- puede resultar útil para elesperar del trabajo realizado. De ahí que pro- intercambio y diálogo entre los miembros delceda efectuar una evaluación inicial sobre el tribunal en el momento de establecer la valo-impacto de la tesis en estos términos: ración conjunta y determinar si procede su 1. Preguntas: ¿ha tenido algún tipo de aprobación y, en su caso, la calificación proyección hasta la fecha el trabajo reali- oportuna. Tal como establece la norma "el zado? ¿Se han generado a partir de la tesis tribunal emitirá un informe y la calificación nuevas líneas y proyectos de investiga- global a la tesis de acuerdo con la siguiente ción? ¿Aporta metodologías de interés pa- escala: no apto, aprobado, notable y sobre- ra los investigadores? ¿Impacto en la co- saliente. El tribunal podrá otorgar la men- munidad del trabajo realizado? ¿Tipo de ción < cum laudem> si la calificación global publicaciones efectuadas? ¿Presentaciones es de sobresaliente y se emite en tal sentido en Congresos y Seminarios? ¿Invitaciones el voto por unanimidad" (art. 21.7). Conside- recibidas? ¿Difusión de la tesis en la co- ramos que la utilización de escalas como la munidad científica?, etc. que aquí presentamos contribuye a introducir criterios de racionalidad en las evaluaciones 2. Criterios de evaluación: Proyección en de las tesis y, de manera especial, en los pro- el ámbito de la investigación e impacto de cesos de toma de decisiones sobre las califi- las aportaciones en la comunidad científi- caciones. ca. De acuerdo con todo lo anterior hemos Finalmente queremos insistir en que elelaborado los protocolos que se incluye en el modelo que presentamos constituye un pro-anexo en el que se presentan de forma prác- tocolo abierto a la comunidad científica quetica las dimensiones y criterios que conside- puede ser objeto de discusión y mejora aña-ramos deben tener en cuenta los evaluadores diendo o matizando los aspectos y criteriosde las tesis para emitir su valoración perso- establecidos. Como en todo trabajo personalnal. En ellos se especifican los criterios que somos conscientes de sus limitaciones perohemos señalado como oportunos para la ela- entendemos que puede constituir una pro-boración del informe previo a la tramitación puesta inicial para la construcción de unatanto por los evaluadores externos como por herramienta útil y práctica para el objetivolos miembros del tribunal nombrado al efec- que nos ocupa. La utilización de la tabla re-to (I), los relativos a la exposición y defensa sumen que adjuntamos de forma ponderadade la tesis por el doctorando en el acto públi- puede contribuir eficazmente a ello. No obs-co (II) y los que se pueden utilizar en una tante serán los evaluadores y miembros deprimera valoración sobre el impacto previsi- los tribunales quienes juzgarán si los crite-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 10
  12. 12. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htmrios establecidos son oportunos en la medida Ministerio de Educación y Ciencia. Realque facilitan su tarea a la hora de formular Decreto 1393/2007, de 29 de octubre, por elobservaciones y juicios sobre la tesis y, en que se establece la ordenación de las ense-consecuencia, tomar decisiones sobre la cali- ñanzas universitarias oficiales. (BOE, 30 deficación pertinente. Octubre 2007, núm. 260, 44.037-44.048) Moralejo Álvarez, M. (2000). Las tesis doc-Referencias torales de las universidades españolas: con-Alcina, J. (1994). Aprender a investigar: trol bibliográfico y acceso. Revista General métodos de trabajo para la redacción de de Documentación e Información, 10 (1), tesis doctorales (Humanidades y Ciencias 235-243. Sociales). Madrid: Compañía Literaria. Orea, L. (2003). La edición digital de tesisBlaxter, L., Hughes, C. y Tight, M. (2000). doctorales: hacia la resolución de problemas Cómo se hace una investigación. Barcelona: de accesibilidad. Revista interamericana de Gedisa. Bibliotecología, 26 (1), 11-35.Carreras Panchón, A. (Coord.) (1994). Guía Sierra Bravo, R. (1999). Tesis doctorales y práctica para la elaboración de un trabajo trabajos de investigación científica (5ª edi- científico. Bilbao: CITA, Publicaciones y ción). Madrid: Paraninfo. Documentación. Sánchez Rodríguez, E. (Coord). (2002). Es-De Miguel, M. (1997). La evaluación de la tudios de tercer ciclo en España. Progra- actividad investigadora del profesorado en mas de doctorado, tesis doctorales, indica- el ámbito de las ciencias de la educación. dores de calidad del tercer ciclo. MEC/ Di- Revista de Investigación Educativa, 15 (1), rección General de Universidades, Progra- 171-186. ma Estudios y Análisis.De Miguel, M. (2010). La evaluación y me- Úriz, Mª J., Ballestero, A., Viscarret, J.J. y jora de los estudios de doctorado. Revista de Ursúa, N. (2006) Metodología para la in- Educación, 352, 569-581. vestigación. Pamplona: Ediciones, Eunate.Desantes, J. y López Yepes, J. (1996). Teo- Valcárcel, M. (Direct.) (2002). El doctorado ría y técnica de la investigación científica. en las universidades españolas. Situación Madrid: Síntesis. actual y propuestas de mejora. Cordoba:García de la Fuente, O. (1994). Metodología MEC/Dirección General de Universidades, de la investigación científica. Madrid: Edi- Programa Estudios y Análisis. ciones CEES.López Yepes, J., Fernández Bajón, M.T. y Notas Prat, J. (2005). Las tesis doctorales: Pro- ducción, evaluación y defensa. Madrid: [1] Recientemente (Marzo de 2010) la Se- Fragua. cretaria General de Universidades del Minis-López Yepes, J., Fernández Bajón, M.T., terio de Educación de España ha difundido Orera, L., Sánchez Vigil, J.M., Martínez un borrador relativo a un Proyecto de Real Montalvo, E., Hernández Pacheco, F., Prat, Decreto para regular las enseñanzas oficiales J. y Sanchez, C.M. (2008). Criterios para la de Doctorado. Aunque el texto aún no es evaluación de tesis doctorales. Revista Ge- definitivo la normativa específica a evalua- neral de Información y Documentación, 18, ción y defensa de la tesis no aporta grandes 295-322. novedades salvo la propuesta de que la men-Merlo Vega, J, y Sorli Rojo, A. (2002). Ba- ción de “cum laude” no supere anualmente el ses de datos y recursos en Internet sobre te- 20% de las tesis defendidas. sis doctorales. Revista española de docu- mentación científica, 25 (1), 95-106.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 11
  13. 13. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm ANEXO 1 I.- PROTOCOLO PARA EVALUAR EL INFORME SOBRE LA TESIS CRITERIOS PREGUNTAS 12 2 3 4 VALORACIONES ¿Cuál es el problema objeto de la investigación? ¿Reúne las características necesarias para ser objeto de una investi- gación científica? ¿Está for- Claridad mulado de forma adecuada y clara? ¿Se especifica correc- tamente la hipótesis y objeti- vos? ¿Tiene una buena fun- damentación teórica?, etc. ¿Es original? ¿Son adecuadas las fuentes de información y documentación utilizadas? ¿Se ha efectuado una buena revisión crítica de la literatu- Originalidad ra? ¿Está actualizada? ¿Enlaza con los conocimientos dispo-A: El problema nibles hasta el momento? objeto de la ¿Utiliza métodos de análisis investigación novedosos?,etc. ¿Es pertinente realizar este tipo de investigación en este momento? ¿Responde a nece- sidades del contexto social? Pertinencia ¿Se inscribe dentro de las líneas del programa de docto- rado y/o grupo de investiga- ción? etc. ¿Es relevante? ¿Constituye un problema importante a resolver en el ámbito educati- vo? ¿Se justifica adecuada- Relevancia mente? ¿Se espera que aporte conocimientos útiles? ¿Res- ponde a demandas importan- tes de la comunidad científi- ca?, etc.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 12
  14. 14. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm I.- PROTOCOLO PARA EVALUAR EL INFORME SOBRE LA TESIS (continuación) CRITERIOS PREGUNTAS 1 2 3 4 VALORACIONES ¿Qué metodología de investi- gación se utiliza? ¿Existe coherencia entre el marco teórico y el metodológico? Adecuación ¿Se justifica adecuadamente? metodológica ¿Es la más coherente para lo que se pretende hacer? ¿Intro- duce alguna aportación nove- dosa?,etc. ¿El diseño, las variables, las muestras, los procedimientos de recogida de información y las técnicas de análisis de datos se exponen de forma Coherencia del diseño detallada y adecuada? ¿Se especifican todos los pasos de forma correcta? ¿Los instru-B: Metodología mentos presentan índices de investiga- razonables de fiabilidad y ción utilizada validez?,etc. ¿Se ha aplicado la metodolo- gía de forma parsimoniosa? ¿Se especifica paso a paso el proceso investigador? ¿Son Aplicación rigurosos los procesos de parsimoniosa análisis de los datos? ¿Se presentan todos los datos necesarios que justifican las conclusiones?, etc. ¿Es replicable? ¿El diseño y procedimientos utilizados pueden ser replicados con Replicabilidad otros proyectos? ¿Existen metodológica otros trabajos que pueden ser utilizados como réplicas? ¿Se citan estos trabajos?,etc.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 13
  15. 15. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm I.- PROTOCOLO PARA EVALUAR EL INFORME SOBRE LA TESIS (continuación) CRITERIOS PREGUNTAS 1 2 3 4 VALORACIONES ¿Qué resultados y conclusio- nes aporta la tesis? ¿Se pre- sentan de forma adecuada? ¿Son comprensibles? ¿Se Comprensibilidad justifican a partir de los datos obtenidos? ¿Responden a las hipótesis y objetivos plantea- dos? ¿Existen discrepancias entre las conclusiones?,etc. ¿Son importantes para el pro- greso del conocimiento? ¿Re- afirman o contradicen cono- Significación cimientos previos? ¿Contribu- yen a la resolución de proble-C: Análisis de mas específicos?,etc.los Resultados ¿Son novedosos desde el punto de vista teórico y meto- dológico? ¿Se presentan de Novedad forma crítica? ¿Cuáles son las limitaciones del estudio? ¿Se avanza otras cuestiones pen- dientes a investigar?,etc. ¿Pueden ser útiles? ¿Para quiénes pueden ser útiles? ¿Se presentan avales al respecto? Utilidad ¿Procede su difusión? ¿Se efectúan propuestas y reco- mendaciones de aplicación inmediata?,etc.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 14
  16. 16. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm I.- PROTOCOLO PARA EVALUAR EL INFORME SOBRE LA TESIS (continuación) CRITERIOS PREGUNTAS 1 2 3 4 VALORACIONES ¿Tiene una estructura adecua- da? ¿Se presentan los conte- nidos de forma clara? ¿Está bien escrito el informe? ¿Uti- Claridad liza un estilo adecuado? ¿Se entienden bien todos los da- tos, cuadros tablas y gráficos que se incluyen?,etc. ¿Existe coherencia interna entre la parte teórica y la práctica? ¿Utiliza un discurso Rigor lógico? ¿El informe es riguro- so? ¿Está elaborado de forma D: Aspectos sistemática? ¿Se utiliza el formales del lenguaje científico?,etc. Informe ¿Está bien documentado? ¿Se especifican las fuentes utili- Calidad de la zadas? ¿Incluye referencias documentación actualizadas? ¿Las citas y referencias son pertinentes? ¿Se ajustan al texto?,etc. ¿El informe tiene una presen- tación formal adecuada? ¿La tesis reúne las condiciones Ajuste a normas cien- necesarias como trabajo cien- tíficas tífico? ¿Su redacción se ajusta a las normas sobre trabajos científicos? ¿Es publica- ble?,etc. II.- PROTOCOLO PARA EVALUAR LA EXPOSICIÓN Y DEFENSA DE LA TESIS CRITERIOS PREGUNTAS 1 2 3 4 VALORACIONES ¿Ha expuesto de forma clara y comprensible el contenido de su trabajo para el público asistente? Claridad ¿Ha insistido sobre los aspectos en la exposición fundamentales del mismo? ¿Los medios técnicos utilizados han contribuido eficazmente a laE: Evaluación exposición realizada?,etc. de la Exposi-ción y Defensa ¿El doctorando ha manifestado Pública receptividad ante las críticas y observaciones pertinentes reali- zadas por el tribunal? ¿Ha con- Adecuación testado a todas las cuestiones de la defensa teóricas y metodológicas plan- teadas en relación con su traba- jo? ¿Sus respuestas han sido adecuadas y correctas?, etc.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 15
  17. 17. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm III.- PROTOCOLO PARA EVALUAR EL IMPACTO DE LA TESIS CRITERIOS PREGUNTAS 1 2 3 4 VALORACIONES ¿Se proponen nuevas líneas de investigación en torno al proble- ma objeto de estudio? ¿Aporta metodologías interesantes para Proyección en el los investigadores? ¿La tesis ha ámbito de la inves- tenido proyección en otros pro- tigación yectos e investigaciones? ¿Ha generado o puede generar mode- los o herramientas valiosas paraF: Evaluación utilizar en otros proyectos?, etc. del Impacto ¿Se ha efectuado algún tipo de difusión del trabajo realizado a nivel científico: publicaciones, Aportaciones al seminarios, comunicaciones, conocimiento etc.? ¿Existe intencionalidad de científico su publicación? ¿Ha generado algún tipo de modelo o patente? ¿Qué impacto cabe esperar de las aportaciones de la tesis?, etc. IV. PROTOCOLO PARA ELABORAR EL INFORME SOBRE LA TESIS Título AutorDATOS DE LA TESIS Director DOCTORAL Departamento Universidad Nombre DATOS DEL Institución EVALUADOR Nombramiento3Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 16
  18. 18. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18.http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm DIMENSIONES A PUNTUACIÓN VALORACIONES EVALUAR A: El problema objeto de la investigación B: Metodología de investigación utilizada C: Análisis de los Resultados D: Aspectos formales del VALORACIÓN Informe DE LA TESIS E: Evaluación de la Exposición y Defensa Pública F: Evaluación del Impacto CALIFICACIÓN GLOBALOBSERVACIONES Y COMENTARIOS :_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________Fecha y Firma: NOTAS DEL ANEXO[2] 1= Deficiente 2= Suficiente 3= Bueno 4= Superior[3] Indicar si es interno o externo al Departamento/Universidad en la que se presenta la Tesis Doctoral. Si es miembro o no del Tribunal propuesto y, en caso de serlo, el cargo que ocupa. ABOUT THE AUTHORS / SOBRE LOS AUTORES de-Miguel, Mario (mario@uniovi.es): Catedrático de Métodos de investigación en educación de la Universidad de Oviedo. Está integrado en el área de Métodos de investigación y diagnóstico en educación (MIDE). Su dirección postal es: Departamento de Ciencias de la Educación. C/ Aniceto Sella s/n. 33005-Oviedo (España). Buscar otros artículos de este autor en Google Académico /Find other arti- cles by this author in Scholar GoogleRevista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 17
  19. 19. de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1, p. 1-18. http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm ARTICLE RECORD / FICHA DEL ARTÍCULOReference / de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo. RELIEVE, v. 16, n. 1.Referencia http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm La evaluación de tesis doctorales. Propuesta de un modelo. [The evaluation of doctoral thesis. A modelTitle / Título proposal].Authors / de-Miguel, MarioAutoresReview / RELIEVE (Revista ELectrónica de Investigación y EValuación Educativa / E-Journal of Educational Re-Revista search, Assessment and Evaluation), v. 16, n. 1.ISSN 1134-4032Publicationdate / 2009 (Reception Date: 2009 September 16; Approval Date: 2010 April 20; Publication Date: 2010Fecha de April 20).publicación The aim of this work is the development of a model that can be used as a framework for evaluators and PhD tribunal members, either during the previous administrative processing phase or at the actual exposi- tion and viva on doctoral dissertations. To this end, once reviewed the existing literature and normative, a new proposal is laid out on the main aspects and criteria to be analysed and assessed from any given sci- entific work, thus introducing a tool that facilitates and specifies this work. Our model is intended to be an open proposal on which we would welcome any contribution and suggestion.Abstract /Resumen El objetivo del presente trabajo es la elaboración de un modelo que pueda ser utilizado como marco de referencia por los evaluadores y miembros de tribunales de las tesis doctorales tanto en la fase previa a la tramitación administrativa como en el acto de exposición y defensa de la misma. Para ello, una vez revisa- da la literatura y la normativa vigente al respecto, efectuamos una propuesta sobre los principales aspectos y criterios que deben ser objeto de análisis y valoración en todo trabajo científico, y presentamos una herramienta que facilita y precisa esta tarea. Nuestro modelo constituye una propuesta abierta sobre la que esperamos aportaciones y sugerencias. Doctoral thesis, Doctoral dissertations evaluation, doctoral thesis quality, doctoral dissertations evalua-Keywords / tion model.Descriptores Tesis doctoral, evaluación de tesis doctorales, calidad de las tesis doctorales, modelo de evaluación de las tesis doctoralesInstitution / Departamento de Ciencias de la Educación, Universidad de Oviedo - (España).InstituciónPublication site http://www.uv.es/RELIEVE/ DirecciónLanguage / Español (Title, abstract and keywords in English)Idioma RELIEVE Revista ELectrónica de Investigación y EValuación Educativa E-Journal of Educational Research, Assessment and Evaluation [ISSN: 1134-4032] © Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document). © Copyright, RELIEVE. Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento). Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 18

×