Bmi 18 April 2008 Geert Van Der Heijden

Slide 2: Medical Evidence Management Zoeken en selecteren van relevant origineel klinisch wetenschappelijk onderzoek in het internet tijdperk Dr. Geert JMG van der Heijden UHD, Klinisch Epidemioloog Julius Centrum, UMC Utrecht www.juliuscenter.nl

Slide 3: University Medical Center Utrecht Medical School Utrecht, The Netherlands

Slide 4: University Medical Center Utrecht Julius Center for Health Sciences and Primary Care www.juliuscenter.nl

Slide 5: University Medical Center Utrecht Utrecht Medical School One of the larger (of 7 MS) in the Netherlands • 300 medical students per year – 6-year Ba-Ma curriculum – 500 hrs Clinical Epidemiology & Evidence Based Practice

Slide 6: Clinical Epidemiology (CE) BA level: 6 wks module Clinical Epidemiological Research - Principles of knowledge production • Problem based learning tactics • Questioning; design of study; appraisal • Design of data-collection & data-analysis • Researcher / Physician = knowledge producer

Slide 7: Evidence Based Medicine MA level: 6 wks module Contemporary EBM tactics (Sicily statement) – Principles of knowledge application • Problem based learning tactics • Questioning; searching & appraisal • Summary, recommendation • Patient manger / physician = knowlegde user

Slide 8: Evidence Based Practice Post-graduate (MA) level During internship: 24 wks clinical rotation Fill knowledge gaps; problem solving skills – Student couple gets 3 educational prescriptions • Assignment: write structured evidence summary • Point-of-care clinical questions – Clinical diagnostic management decisions – Prognostic risk stratification – Therapeutic management decisions

Slide 9: Evidence Based Practice Gaat UITSLUITEND over “VOORGROND” vragen  Diagnose: Wat heb ik?  Prognose: Wat betekent dit, wat mag ik verwachten?  Therapie: Wat is eraan te doen, beste behandeling?  Best-practice  klinische kennis & informatie – Toegevoegde waarde van “determinant”

Slide 10: Evidence Based Practice gaat NIET over  Vragen voor fundamentele disciplines & basis vakken – Pathofysiologie, fysische chemie, anatomie, proteomics, genomics ontstaansmecahnismen, werkingsmechanismen – Test onderzoek: reproduceerbaarheid, correlatie, kappa, et cetera. Is wel belangrijke achtergrond kennis & informatie  Handig, noodzakelijk, onontbeerlijk in EBP • Maar NOOIT het onderwerp van EBP

Slide 11: Clinical Process and knowledge Research evidence sought from requirements literature searches Etiology/pathogenesis knowledge about causation Basic Research Etiologic Research Patient presentation knowledge about diagnosis Diagnostic Research History Diagnosis Examination knowledge about prognosis Investigations Prognostic Research Therapy Changes prognosis Therapy Research Clinical outcome knowledge about therapeutic effectiveness

Slide 12: Medical evidence management Acquiring EBP knowledge and skills Conscious 6th yr 24 wks 5th yr 6 wks Point of care information management Just in time learning Ignorant Untrained Competent

Slide 13: Scenario Grote visite • “Zoek jij dat eens even uit” • “Presenteer bevindingen bij de overdracht morgenochtend” • Educational prescription

Slide 14: Ik zoek alle relevante publicaties over … U vindt niet wat u zoekt? Wat u vindt zoekt u niet! Lukt niet; inefficiënt & weinig bevredigend Onvoldoende kennis & vaardigheid Gouden standaard ontbreekt Oefening baart kunst: systematiek

Slide 15: Doelstelling • In beperkte tijd – Compleet overzicht – Best available evidence krijgen • Efficiency geboden! – Zo min mogelijk tijd verdoen aan zoeken en selecteren van relevante titels – Zo veel mogelijk tijd overhouden voor samenvatten belangrijkste bewijs

Slide 16: Doelstelling • Tijd besparen – Beperk absoluut aantal titels – Vergroot aantal relevante titels • Reduceer numbers needed to read Hiervoor is nodig: – logica, creativiteit, kennis & vaardigheid

Slide 17: Hoe het beste zoeken in PubMed? • Wat doet u normaal? • Intypen van enkele aan uw onderwerp verwante begrippen in de home page zoekbalk? • Wat gebeurt er dan?

Slide 18: Kijk eens onder “details” Automatische term vertaling (MeSH based!) • Contraproductief! – Vaak dramatische stijging NNR – Tijdsverlies! • Maar wat dan?

Slide 19: Systematisch zoeken

Slide 20: Begin met goede vraagstelling PICO werkt verwarrend! Voldoet alleen voor therapie Domein Determinant Uitkomst Diagnose Klachten Test Ziekte Prognose Ziekte Test Mortaliteit etc Therapie Ziekte Therapie Mortaliteit etc

Slide 21: Selectie van zoektermen • Logica, creativiteit, kennis, vaardigheden – Nodig: pen & landscape A4 • Vrije associatie / educated guess – Bedenk titel & abstract woorden (UK & US) – Zo veel mogelijk synoniemen! • Termen, woorden & synoniemen opzoeken – Medische tekst- en woordenboeken (internet) – Titel & abstract woorden bekende relevante publicaties – Vraag experts, deskundigen, collegae

Slide 22: PubMed Index Alfabetische woordenlijst – Alle geïndexeerde woorden Aantal hits per veld – Titel & Abstract • Andere velden heb je echt niet nodig! – Juiste search syntax cadeau

Slide 23: Blanco papier 3 kolommen Vraagstelling (D / P / T & D / D / U) Domein Determinant Uitkomst Term Term Term Synomien 1 Synomien 1 Synomien 1 OR OR OR Synomien 2 Synomien 2 Synomien 2 OR OR OR OR OR OR Synomien 3 Synomien 3 Synomien 3 Synomien 4 Synomien 4 Synomien 4 OR OR OR Synomien 5 Synomien 5 Synomien 5 OR OR OR ..... ….. ….. OR OR OR AND AND

Slide 24: Basis schema zoekfilter Vraagstelling Uitkomst Domein Determinant …OR … OR … …OR … OR … …OR … OR … Domein AND determinant AND uitkomst … AND clinical query (D / P / T)

Slide 25: Selectie relevante records

Slide 26: Wanneer bekijkt u eigenlijk titels? • Hoe doet u dat? • Werkt dat wel? • Hebt u wel genoeg tijd?

Slide 27: Vuistregels bij titels bekijken Voorkom tijdsverlies – Nooit direct opbrengst bekijken – Bekijk eerst altijd details & history Screenen & selecteren (villen en fileren) – Pas als opbrengst (aantal titels) te overzien is

Slide 28: Selectie op relevantie • Formuleer vooraf globale criteria (DDU) • Werk inclusief (grofstoffelijke exclusie) – Eerst titel bekijken: wel /niet relevant – Abstract bekijken: alleen bij twijfel over titel – Later pas full text bekijken • Na enige oefening: 250 records per uur

Slide 29: Be flexible, avoid critical nihilism Accept lower relevance & validity Most Informative = valid & relevant High Relevance Low Low High Validity

Slide 30: Bestaande overzichten? Publicaties met originele patiënt data – Vertrouw nooit op 2e hands informatie • Editorials, Up-to-date, TRIP, POEMS, BMJ Clinical Evidence, etc – Geen transparante methoden • EBM? – Eminence biased medicine!

Slide 31: Optimalisatie van zoekstrategie Een continu iteratief proces • Zoek tot u geen nieuwe referenties meer vindt! • Convergerende informatie

Slide 32: Sneeuwbal effect (1) PubMed “Related articles” – Resultaat: “vergelijkbare” records • 60%-80% overeenkomst in [tw] velden Nieuwe titels? – Uw search filter klopt nog niet! – Nieuwe tiab woorden? – Toevoegen!

Slide 33: Sneeuwbal effect (2) Meta-analyses & systematische reviews • Zoekstrategie: zinvolle aanvullingen? • Referentielijst: heeft u niets gemist? Nieuwe titels? – Uw search filter klopt nog niet! – Nieuwe tiab woorden? – Toevoegen!

Slide 34: Sneeuwbal effect (3) Web of Science – Cited in & cited by Nieuwe titels? – Uw search filter klopt nog niet! – Nieuwe tiab woorden? – Toevoegen!

Slide 35: Iteratief zoekproces Zoekproces EBM in 5 stappen Zoekstrategie Week Domein Determinant Uitkomst 1. Probleem → Vraag Keyword OR Keyword OR Keyword OR 2. Vraag → Zoeken/selectie Keyword Keyword Keyword 3. Selectie → Gegevens AND AND 4. Validiteit Data Zoekvraag Selectie Bewijskracht uitkomsten (her) formuleren artikelen 5. Eindrapportage / Definitieve samenvatting → EBCR selectie [Ja] [Nee] Geschreven Presentatie Controle Nieuwe gerelateerde paper(s)? artikelen Related articles Ref. Web Of Science Ref. Review Ref.

Slide 36: MEM Prinicpes op een rij • Stuur op NNR • Iteratief zoekproces – Ga door tot resultaat convergeert • Start met Vraagstelling: D D U / D P T (!) • Zoek creatief & logisch naar synoniemen • Zoek met [tiab] • Gebruik Index, History & Details • Vermijd MeSH etc, limits, clinical queries • Screenen 250 titels per uur

Slide 37: Voetangels & klemmen P-values Reporting bias Publicatie bias

Slide 38: Informatie waarde van artikel Relevantie, validiteit, precisie, tijd, • moeite – Is alles wat statistisch significant is, ook klinisch relevant? relevant – Is alles wat klinisch relevant is, ook statistisch significant? significant

Slide 39: Publicatie waarde van artikel Wat haalt het tijdschrift? Wat staat in titel & abstract? – Het “positieve”  P<0.05 – Publicatie waarde  1 / P-value Zoeken via TIAB of MeSH? – Reporting & publicatie bias? • Informatieve titels & abstracts? • MeSH misclassificatie?

Slide 40: Reporting & publicatie bias? Determinant Domein Uitkomst tiab tiab tiab Diagnose Test Ziekte ? Klachten ? Prognose Ziekte Mortaliteit etc ? Test ? Therapie Ziekte Therapie ? Mortaliteit etc ?

Slide 41: Do you consider to MeSH up your search?

Slide 42: MeSH database Thesaurus – Systematische trefwoorden catalogus • Inhoudelijk gerelateerde termen • Hiërarchische ordening termen – Boom structuur • Stam, tak, zijtak, blad – Brede termen hoog – Specifieke termen laag

Slide 43: Thesaurus • Duidelijk afgebakende medische disciplines ? • Arbitraire indeling ! – Gerelateerde medische termen – Historisch bepaald (“uit de oude doos”) – Collectie boeken • Wat als nieuwe tak van sport ontstaat? – Thesaurus loopt achter feiten aan – Indexering “landmark studies” niet aangepast

Slide 44: MeSH = levende boom • Groei & snoei leiden tot aanpassing • Aanpassing compliceert eenduidig gebruik van MeSH termen • Epicondylitis AIDS & HIV • CT & MR • • Biomarkers

Slide 45: Overzicht aanpassing MeSH 2007/8 • 24.357 MeSH termen • 494 nieuwe termen toegevoegd (!) • 22 termen verwijderd (!) • 99 termen vervangen door “more up-to-date terminology” (?)

Slide 46: MeSH record indexering Pas 3 - 18 maanden na publicatie • Indexed for medline (= MeSH indexed) Tot dan titel status = • As supplied by publisher • In process – niet via MeSH te vinden – wel via tiab

Slide 47: Clinical Queries? Pas op met gebruik ervan! Reduceert aantal titels fors – MeSH gerelateerde termen! Doen ze wat u wilt? – Zijn ze wel accuraat (bewijs)? – Is gebruik ervan wel efficiënt (bewijs)? Accuracy & efficiency afhankelijk van onderwerp! – Rendement hangt af van initiële zoekstrategie

Slide 48: Limits? Pas op met gebruik ervan! Reduceert aantal titels fors – MeSH gerelateerde termen! Doen ze wat u wilt? – Zijn ze wel accuraat (bewijs)? – Is gebruik ervan wel efficiënt (bewijs)? Quick maar ‘DIRTY’ – Contraproductief!

Slide 49: Learning by doing Expertise is not only gained by sustained practice, but largely by receiving feedback that helps you to understand your misguided decisions and technical errors. A.R. Feinstein

Slide 50: Stellingen

Slide 51: Stellingen Een onderzoeksdokter en een patiëntendokter moeten op de zelfde wijze zoeken naar best evidence.

Slide 52: Stellingen Als je op een traditionele manier naar best evidence zoekt, vind je niet wat je zoekt, en zoek je niet wat je vindt.

Slide 53: Stellingen De overeenkomst tussen bibliografische zoekfilters en metereologische voorspelmodellen is groter op het eerste gezicht lijkt.

Slide 54: Stellingen Het is hoog tijd dat er ordentelijk onderzoek gedaan gaat worden naar best evidence zoeken.

Slide 55: Vragen ?