Voorspelmodellen en COVID-19

Maarten van Smeden, PhD
One Health – Amsterdam UMC
20 september 2020
Voorspelmodellen en COVID-19

M.vanSmeden@umcutrecht.nl | Twitter: @MaartenvSmedenVoorspellen en COVID-19

Schoenfeld & Ioannidis, Am J Clin Nutr 2013, DOI: 10.3945/ajcn.112.047142
“We selected 50 common ingredients from random
recipes of a cookbook”

veal, salt, pepper spice, flour, egg, bread, pork, butter, tomato, lemon, duck,
onion, celery, carrot, parsley, mace, sherry, olive, mushroom, tripe, milk,
cheese, coffee, bacon, sugar, lobster, potato, beef, lamb, mustard, nuts,
wine, peas, corn, cinnamon, cayenne, orange, tea, rum, raisin, bay leaf,
cloves, thyme, vanilla, hickory, molasses, almonds, baking soda, ginger,
terrapin
Voor hoeveel is risico op ontwikkelen kanker onderzocht?

terrapin
Voor hoeveel is risico op ontwikkelen kanker onderzocht?
40 uit 50 aselect gekozen ingrediënten (80%!)

terrapin
Hoeveel hadden een ‘significante’ relatie met kanker?

terrapin
Hoeveel hadden een ‘significante’ relatie met kanker?
36 uit 40 onderzochte ingredienten (90%!)

Cartoon of Jim Borgman, first published by the Cincinnati Inquirer and King Features Syndicate April 27 1997
In times of COVID

> 68,000 COVID-19 publicaties
https://twitter.com/evidencelive/status/1304359174671867904?s=20

Stellen we wel de juiste vragen?

Stellen we wel de juiste vragen?
Gebruiken we de juiste methoden?

To explain or to predict
• Explanatory models
• Theory: interest in regression coefficients, effect of treatment
• Testing and comparing existing causal theories
• e.g. aetiology of illness
• Predictive models
• Interest in (risk) predictions of future observations
• No concern about causality
• Concerns about overfitting and optimism
• e.g. prognosis or diagnosis model
• Descriptive models
• Capture the data structure

Randomized controlled trials (RCTs)

• Theory: interest in regression coefficients, benefit and harm
• Testing and comparing existing causal theories
• e.g. aetiology of illness, effect of treatment
• Interest in (risk) predictions of future observations
• No concern about causality
• Concerns about overfitting and optimism
• e.g. prognosis or diagnosis model
• Capture the data structure

Voorspellen in de zorg
• Kans op hart- en vaatziekten: behandelen?
• Kans op een longembolie: doorverwijzen?
• ….

Apgar score
Apgar, JAMA, 1958. doi: 10.1001/jama.1958.03000150027007

Conroy, European Heart Journal, 2003. doi: 10.1016/S0195-668X(03)00114-3

Voorspellen
Doel: maken van accurate voorspellingen
… van een toekomstige gezondheidsuitkomst of aanwezigheid aandoening
… voor een individuele patiënt
… meestal gebaseerd op >1 voorspellers
• medische beslissingen verbeteren/versnellen/goedkoper maken
• counseling

”What will happen if….”
“What will happen ….”
“What happened?”

Simpel? Laten we het proberen!
"Unfortunately, obesity in people <60 years is a newly identified epidemiologic
risk factor which may contribute to increased morbidity rates..."
Explanatory? Predictive? Descriptive?

Diagnose Etiologie
Prognose Therapie

Diagnose Etiologie
Prognose Therapie
Explanatory modelsPredictive models

RCTs?
Diagnose
Prognose
Predictive models

Voorspellen van…
• Diagnose van coronavirus aandoening/pneumonie in patiënten verdacht
van of met bewezen Sars-cov-2 infectie
• Prognose van patiënten verdacht van of met bewezen Sars-cov-2 infectie
(bijv. IC opname, overlijden, mechanische ventilatie)
• Detecteren van mensen in de algemene populatie met een hoog risico
om geïnfecteerd te raken of te worden opgenomen

Voorspellen met…
Variabelen gemeten bij de patiënt, verkregen uit:
• Historie patiënt
• Demografische gegevens
• Lichamelijk onderzoek
• Beeldvorming (MRI, CT, …)
• Elektrofysiologie (ECG, EEG, …)
• Bloed/urine markers
• Omics markers
• ….

Vinden van nieuwe voorspellers (zoals markers/testen)
Aantal neemt per dag toe!
Verschillen in:
• Voorspelkracht
• Invasiviteit
• Meetkosten
• Beschikbaarheid
• Meetsnelheid
• …

Praktijk
• Diagnose/prognose vrijwel nooit op basis van 1 bron
combineren van symptomen, markers, testuitslagen: (impliciete) kansvoorspellingen
• Markers/testen (kunnen) onderdeel zijn van de voorspelling
• Essentiele kennis voor zorgprofessional
• Is deze marker/test te vertrouwen?
• Wat is de toegevoegde waarde van deze marker/test?

Nieuwe markers/tests
• Niet gereguleerd zoals geneesmiddelen
• CE keurmerk: veiligheid/technische kant
NIET:
Diagnostische/prognostische waarden en/of
toegevoegde waarde
= onze taak!

Toegevoegde waarde: voorspelmodellen
• Univariabel: Verschillen de marker/test waarden tussen patiënten met en
zonder de te voorspellen aandoening?
• Relevantie?
• Door marker/test toe te voegen aan een voorspelmodel met eenvoudigere
metingen (leeftijd, geslacht ,…): worden de voorspellingen beter?
• Relevantie?

Hoe?
Bzdok, Trends in Neuroscience, 2019, doi: 10.1016/j.tins.2019.02.001 2

Courtesy Anna Lohmann

Adversarial examples

Esteva et al., Nature, 2016, DOI: 10.1038/nature21056; https://bit.ly/2lE0vV0

Testen, testen, testen!
Meeste aandacht
Testen
Doel

Landschap van voorspelmodellen
>110 models for prostate cancer (Shariat 2008)
>100 models for Traumatic Brain Injury (Perel 2006)
83 models for stroke (Counsell 2001)
54 models for breast cancer (Altman 2009)
43 models for type 2 diabetes (Collins 2011; Dieren 2012)
31 models for osteoporotic fracture (Steurer 2011)
29 models in reproductive medicine (Leushuis 2009)
26 models for hospital readmission (Kansagara 2011)
>25 models for length of stay in cardiac surgery (Ettema 2010)
>350 models for CVD outcomes (Damen 2016)
Weinig modellen extern gevalideerd!

Wetenschappelijke standaarden tijdens pandemie
zouden: hoger of lager moeten liggen?

Doi: 10.1126/science.abc1731

Licht aan het eind van de tunnel?

Reporting guidelines!
https://www.equator-network.org/reporting-guidelines/

Reporting and risk of bias tool
https://www.tripod-statement.org/, http://www.probast.org/

Online soon

Voorspelmodellen en COVID-19

Recommended

Recommended

More Related Content

More from Maarten van Smeden

More from Maarten van Smeden (20)

Voorspelmodellen en COVID-19