Your SlideShare is downloading. ×
Evaluating the quality of nursing research in the UK: The Research Excellence Framework "Evaluación de la calidad de la investigación enfermera en UK: Marco de Excelecencia Investigadora" (Sally Kendall)
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

Evaluating the quality of nursing research in the UK: The Research Excellence Framework "Evaluación de la calidad de la investigación enfermera en UK: Marco de Excelecencia Investigadora" (Sally Kendall)

298
views

Published on

Published in: Education

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
298
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. + Evaluación de la calidad de la Evaluating the quality of nursinginvestigación enfermera en UK: research in the UK: Marco de Excelecencia The Research Excellence Framework Investigadora Sally Kendall, PhD, RN, RHV, FQNI Sally Kendall, PhD, RN, RHV, FQNI Professor of Nursing Professor of Nursing University of Hertfordshire University of Hertfordshire UK UK
  • 2. + How can excellence in nursing research be measured?  Let people who have to observe sickness and death look back and try to register in their observation the appearances which have preceded relapse, attack or death, and not assert that there were none, or that there were not the right ones. A want of the habit of observing conditions and an inveterate habit of taking averages are each of them often equally misleading.  — Florence Nightingale Notes on Nursing: What it is, and What it is Not (1860), 67.
  • 3. + ¿Cómo puede medirse la excelencia en la investigación enfermera? que deben observar la enfermedad y  Permite a las personas la muerte mirar atrás e intentar registrar en sus observaciones los aspectos que han precedido una recaída, un ataque o la muerte, y que no afirmen que no hay ninguno o que no eran los correctos. Una falta de hábito en la observación de condiciones y un hábito empedernido de obtener una media resultan con frecuencia igual de engañoso  — Florence Nightingale. 1860. Notas sobre enfermería: Qué es y qué no es. 1860. Pag 67.
  • 4. + Excellence in Nursing Research must start with the RIGHT questions  What is the most effective care for the patient, family or community?  How do we know it works?  What are the nursing attributes that contribute to effective care?  What are the patient reported outcomes?  How does the patient/client experience health care?  What is the cost of nursing care compared with other inputs and outcomes? (cost effectiveness)
  • 5. + La Excelencia en la Investigación Enfermera debe empezar con las preguntas adecuadas  ¿Cuál es el cuidado más efectivo para el paciente, familia o comunidad?  ¿Cómo sabemos que funciona?  ¿Cuáles son los atributos enfermeros que contribuyen a un cuidado efectivo?  ¿Cuáles son los resultados obtenidos del paciente?  ¿Cuál es la experiencia del paciente en el cuidado de su salud?  ¿Cuál es el cote del cuidado enfermero comparado con otros inputs y otros resultados? (Coste efectividad)
  • 6. + Measuring volume of research vs quality  Research assessment exercise (RAE) 2008 in UK:  35 University departments of nursing were audited  641.67 full time equivalent nursing and midwifery scholars were submitted  = 2567 research papers assessed by an expert panel  = Ranked from 4* (highest quality) to unclassified (lowest quality) in terms of international significance  But what does this actually mean in relation to quality?  How does this research affect patient care?
  • 7. + Medir el volumen Vs Calidad de la investigación  Ejercicio de Evaluación de la Investigación (RAE) 2008 en UK:  35 Departamentos Universitarios de Enfermeria auditados  641.67 académicos a tiempo completo de enfermería y de matrona fueron presentados.  = 2567 artículos de investigación fueron evaluados  = Puntuado desde 4* (Mayor calidad) a desclasificado (Menor calidad) en términos de relevancia internacional  Pero ¿Qué significa esto en relación a la calidad?  ¿Cómo afecta esta investigación al cuidado del paciente?
  • 8. + Research Excellence Framework 2014 (REF)  Organised and executed by the Higher Education Funding Council (HEFCE)  The primary purpose of the REF is to produce assessment outcomes for each submission made by institutions  The funding bodies intend to use the assessment outcomes to inform the selective allocation of their research funding to Universities, with effect from 2015-16.  The assessment provides accountability for public investment in research and produces evidence of the benefits of this investment.  The assessment outcomes provide benchmarking information and establish reputational comparative measure of quality (ranking)
  • 9. + Marco de Excelencia Investigadora 2014 (REF)  Organizado y ejecutado por el Consejo de fondos para la Educación Superior (HEFCE)  El propósito principal del REF es obtener una valoración de los resultados de las investigaciones presentadas por las instituciones  Estas corporaciones intentan usar la valoración de los resultados para la asignación de sus fondos de investigación a las Universidades, con efecto desde 2015-2016  La valoración provee de responsabilidad para la inversión pública en investigación y obtiene pruebas de los beneficios de sus inversiones  La valoración de resultados proporciona información sobre estándares de comparación y establece medidas de calidad para comparar la reputación (Ranking)
  • 10. + How the REF works  Universities are requested to submit their best researchers to an expert panel of up to 36 different subject areas  Nursing and midwifery research will be assessed by a panel that includes:  Nursing and midwifery  Allied Health professions  Dentistry  Pharmacy
  • 11. + ¿Cómo funciona el REF?  Se solicita a las universidades que presenten sus mejores investigaciones a un panel de expertos en 36 áreas diferentes  La investigación en Enfermería y Matrona se evalúa por un panel que incluye:  Enfermería y Matrona  Profesiones afines a la salud  Odontología  Farmacia
  • 12. + What is submitted? Each researcher must propose a maximum of 4 research papers (less if part-time) published since 2008 (65%) A narrative description of the research environment, including research income, training, support for staff and students, facilities, international collaborations etc An account of all research student activity since 2008 with emphasis on PhD completions An account of all research income generated since 2008 (15%) A narrative description of how IMPACT of research has been developed Up to four case studies that describe IMPACT of the research (20%)
  • 13. + ¿Qué presentan? Cada investigador propone un máximo de 4 artículos de investigación (Menos si es a tiempo parcial) publicados desde 2008 (65%) Una descripción narrativa del entorno de investigación, que incluye investigaciones financiadas, formación, apoyo para el personal y los estudiantes, recursos de apoyo, colaboraciones internacionales, etc Informe sobre la actividad investigadora de los estudiantes desde 2008 con énfasis en las tesis leídas. Un informe sobre las financiaciones de investigaciones obtenidas desde 2008 (15%) Una descripción narrada sobre cuál es el IMPACTO de la investigación desarrollada Hasta estudios de casos para describir el IMPACTO de la investigación (20%)
  • 14. + What is the timetable? Staff submitted must be employed by a University on 31 st October 2013 PhD completions must be by 31st July 2013 All submitted papers must be published by 31st December 2013 All impacts of research must be evidenced between 2008 and 2013 All submissions must be made by Universities by 30 th November 2013 Results will be published during 2014
  • 15. + ¿Cuáles son las fechas clave? El personal que se presente debe estar contratado por la Universidad el 31 de Octubre de 2013 Tesis leídas hasta el 31 de Julio de 2013. Todas los artículos presentados deben publicarse antes del 31 de Diciembre de 2013 Todas las pruebas del impacto de las investigaciones deben comprenderse entre 2008 y 2013. El plazo de presentación de las universidades será hasta el 30 de Noviembre de 2013 Los resultados serán publicados durante 2014.
  • 16. + Implications of quality evaluation for nursing via the REF  Nursing research is compared with all other disciplines and funding allocated on this basis  Nurse scholars must therefore demonstrate scientific rigour, international signficance and impact in a similar way to other disciplines  Nurse researchers must ensure that research that is based on good practice questions is well designed, well conducted and published in high quality peer reviewed journals  Nursing research leaders have a responsibility to maintain the profile of nursing research internationally
  • 17. + Implicaciones para la evaluación de la calidad para enfermería, viase compara con el resto de  La investigación enfermera REF disciplinas y fondos asignados  Las enfermeras académicas deben, por tanto, demostrar un rigor científico, relevancia internacional e impacto de forma similar a otras disciplinas  Las enfermeras investigadoras deben asegurar que las investigaciones que están basadas en preguntas adecuadas están bien diseñadas, bien dirigidas y publicadas en revistas de alta calidad revisada por pares  Los líderes de la investigación enfermera tienen la responsabilidad de mantener un perfil de investigación enfermera internacional
  • 18. + What is impact? of the REF, impact is defined as an effect on, change or benefit to the economy, society, culture, public policy or services, health, the environment or quality of life, beyond academia Impacts can be manifested in a wide variety of ways including, but not limited to: individuals, organisations, communities, regions, and other entities impacts on products, processes, behaviours, policies, practices; and avoidance of harm or the waste of resources,Higher Education Funding Council, England, 2012
  • 19. + ¿Qué es el impacto? Para el propósito del REF, el impacto se define como un efecto, cambio o beneficio sobre la economía, sociedad, cultura, políticas o servicios públicos, salud, entorno, calidad de vida, más allá de lo académico. El impacto puede manifestarse en un amplia variedad de entidades y modos, que incluye, pero no se limita a: Beneficiarios (Individuos, organizaciones, comunidades, regiones, entidades) Impacts en productos, procesos, comportamientos, políticas y normativas, prácticas, y evitación de daño o despilfarro de recursosHigher Education Funding Council, England, 2012
  • 20. + Impact Factor is NOT impact of research The REF panels do not consider the IF of journals, they scrutinise the quality of the research in its own right. Impact Factors of journals do not measure the impact of research, it is only a measure of citation  Citations can be negative as well as positive  Researchers, publishers and decision makers give too much attention to impact factors and insufficient attention to the real impact of research  We need to find improved ways of evaluating impact of research in nursing  We need to use the whole range of dissemination strategies to develop impact, not just high impact factor journals
  • 21. + Impact case study: Research on the evaluation of parenting support (Kendall and Bloomfield)  Rationale: The Department of Health for England regards early intervention in parenting as a high priority strategy: it views such intervention as the key approach to ensuring that parents are supported, and children provided with positive parenting that will improve their life chances.  In England, health visitors (public health nurses) undertake this role to support and intervene with parents.  The background research is the development and validation of a tool to evaluate parenting self-efficacy (TOPSE) following parenting interventions in the community
  • 22. + Estudio de impacto de un caso: Investigación de la evaluación del apoyo en la crianza (Kendall and Bloomfield)  Razón: El Ministerio de Salud de Inglaterra considera la intervención precoz sobre la crianza infantil como una prioridad estratégica: Esta intervención es clave para asegurar el apoyo paternal y que los niños dispongan de una crianza adecuada que mejore sus oportunidades vitales  En Inglaterra, las Visitadoras de Salud (Enfermeras de Salud Pública) asumen este rol para apoyar e intervenir con los padres  La investigación es el desarrollo de un instrumento validado para evaluar la autoeficacia paternal (TOSE) tras intervenciones sobre los padres en la comunidad
  • 23. + What is the impact of this research on users? The Tool to Measure Parenting Self-Efficacy has had an effect on policy and practice in the field of public health nursing and parenting support. Whilst by inference we are aware that parents themselves are benefiting directly from the support they receive, TOPSE filled a gap, initially locally, then nationally and internationally, in providing evidence that parenting support can make a difference in parenting confidence. Parenting practitioners nationally and internationally feedback to us that parents report improvements in their confidence and parenting abilities.
  • 24. + ¿Cuál es el impacto de esta investigación para los usuarios? El instrumento para medir la Autoeficacia paternal ha tenido un efecto en las políticas de salud y prácticas clínicas en el campo de la enfermería de salud pública y en el apoyo a la crianza Mientras, por inferencia, somos conscientes de que la crianza se está beneficiando del apoyo que reciben, TOPSE rellena un hueco, local en un principio, después nacional e internacional, a la hora de proporcionar pruebas de que el apoyo a la crianza puede marcar la diferencia en la confianza paternal Los profesionales que intervienen sobre la crianza proporcionan retroalimentación sobre las mejoras en la confianza y habilidades paternales.
  • 25. + Where is our evidence for impact?  TOPSE web site www.topse.org.uk  490 enquiries from researchers and practitioners to use TOPSE, from UK and internationally  Translation into 8 languages – Dutch, Japanese, Welsh, Greek, Rumanian, Hebrew, Danish, Swedish  TOPSE is also used extensively across areas in the UK such as Durham and Leeds and across national organisations including Barnardo’s. TOPSE has been embedded into the quality standards for the delivery of parenting programmes in Durham involving 500 parents in 2011 and in Leeds the tool was used to evaluate 25 programmes totalling 250 parents.
  • 26. + ¿Dónde está la prueba del impacto? TOPSE web site www.topse.org.uk  490 solicitudes de investigadores y profesionales clínicos para usar el TOPSE, nacionales (UK) e internacionales  Traducción a 8 idiomas – Holandes, japones, galés, griego, rumano, hebreo, danés y sueco  TOPSE es usado ampliamente en otras regiones de Reino Unido como Durham y Leeds y en organizaciones nacionales como Barnardo’s.  TOPSE ha sido considerado como estándar se alta calidad para proporcionar programas de crianza en Durham que incluyen 500 padres/madres en 2011 y en Leeds ha sido usado para evaluar 25 programas con un total de 250 padres/madres
  • 27. + Qualitative evidence  Our collaborative study with Kanazawa Medical University in Japan resulted in the mayor of Uchinada agreeing to fund the parenting programmes in that region for a further year.  This means that Japanese parents benefited beyond our research study as the parenting support is rolled out.  Parenting support is highly relevant to Japanese policy in relation to rising levels of child abuse in Japan and falling fertility rates.  Evidence of improvement in parenting skills enables the Japanese policy makers to ensure that prospective parents will be supported.
  • 28. + Evidencia Cualitativa  Nuestro estudio en colaboración con la Universidad Médica Kanazawa en Japón resultó en un acuerdo firmado por el alcalde de Uchinada para financiar programas de crianza en esa región para el siguiente año.  Esto implica que los padres japoneses se han beneficiado, más allá de nuestro estudio, por la expansión del apoyo a la crianza  El apoyo a la crianza es muy relevante en las políticas japonesas en relación por los altos niveles de abuso infantil en Japón y la caída de la tasa de fertilidad  Evidencias de mejora en las habilidades paternales permiten a los políticos asegurar un apoyo en los futuros padres
  • 29. + Direct support for TOPSE  TOPSE showed a benefit to parents in all areas. We are using the individual results to signpost parents to other beneficial services following attendance at groups”  “We continue to only commission providers who use robust monitoring and evaluation tools, one of which is TOPSE’  “We use TOPSE to provide evidence of the effectiveness of our parenting courses”
  • 30. + Apoyo Directo para TOPSE  “TOPSE mostró un benefició en todas las áreas de crianza. Estamos usando los resultados individuales para identificar padres/madres para otras intervenciones, tras atender a las sesiones grupales”  “Continuamos sólo con comisiones de proveedores que usan instrumentos de evaluación y monitorización robustos, tales como el TOPSE”  “Usamos TOPSE para proporcionar pruebas de la efectividad de nuestros cursos de crianza infantil”
  • 31. + References // Referencias Bloomfield L. & Kendall S. 2012. Parenting self-efficacy, parenting stress and child behaviour before and after a parenting programme. Primary Health Care Research and Development 13,4, 364 - 372 Bloomfield L, Kendall S, Fortuna S., 2010 Supporting parents: Development of a tool to measure self-efficacy of parents with learning disabilities.  British Journal of Learning Disabilities 38 (4) 303 Bloomfield L and Kendall S. 2010 Audit as evidence: The effectiveness of ‘123 Magic’ programmes .Community Practitioner 83 (1)26-30 Bloomfield L and Kendall S. 2007 Testing a parenting programme evaluation tool as a pre- and post-course measure of parenting self-efficacy.J Adv Nurs. 2007 Dec; 60(5):487- 93 Kendall S. and Bloomfield L. 2005 TOPSE: Developing and validating a tool to measure Parenting Self-Efficacy, Journal of Advanced Nursing 174-181 Bloomfield L., Kendall S. Applin L., Attarzahaden V., Dearnly K., Edwards L., Hinschelwood L., Lloyd P. and Newcombe T. 2005 A qualitative study exploring the experiences and views of mothers, health visitors and family support centre workers on the challenges and difficulties of parenting, Health and Social Care in the Community, 13,1, 46-55
  • 32. + Conclusions Research in nursing can be evaluated in relation to volume and quality To maintain high visibility and credibility nursing research must be evaluated on the same basis as other disciplines Quality and rigour of science is essential Publication in high quality peer reviewed journals is necessary but not sufficient IMPACT – the effect of the research on users must be evidenced BUT is there a conflict between IMPACT on users and publication criteria??
  • 33. + Conclusiones La Investigación enfermera puede ser evaluada en relación al volumen y calidad Para mantener una investigación enfermera de alta visibilidad y credibilidad debe evaluarse con las mismas bases que otras disciplinas La calidad y rigor de la ciencia es esencial Publicaciones en revistas de alta calidad revisadas por pares IMPACTO – El efecto de la investigación sobre los usuarios debe ser probada PERO, ¿Hay conflicto entre el IMPACTO sobre los usuarios y los criterios de publicación?