Presentatie op het Nederlands-Vlaams Doelencongres Infertiliteit, Gynaecologie & Obstetrie 1 april 2021

1. Clinical prediction models
The long road from development to practice
Clinical decision support in de praktijk
De lange weg van ontwikkeling naar toepassing
Dr. Laure Wynants

2. Disclosure belangen spreker
Geen (potentiële)
belangenverstrengeling
Voor bijeenkomst mogelijk
relevante relaties
• Sponsoring of onderzoeksgeld
• Honorarium of andere
(financiële) vergoeding
• Aandeelhouder
• Andere relatie, namelijk …
• Post-doc Fonds
Wetenschappelijk Onderzoek
Vlaanderen

3. AI
DECISION
SUPPORT
SYSTEMEN
Data-gedreven individuele patiënt diagnose/prognose input

7. “AI has had little impact on this
field so far. Nevertheless, there
is huge potential”

9. Even uitzoomen
beleid
Implementatie
/ acceptatie
onderzoek

10. Onderzoek
Ontwikkel
Test
(validatie)
Impact

11. Onderzoek
• Ontwerp fouten, vb. input niet beschikbaar op punt van
predictie (Whittle, JCE, 2018)

12. Onderzoek:
• Ontwerp fouten, vb. input niet beschikbaar op punt van
predictie
• Weinig validatiestudies, teleurstellende resultaten bij
onafhankelijke tests

13. 263 prognostic models for 40 different
outcomes
preeclampsia (n = 69)
preterm delivery (n = 63)
mode of delivery (n = 22)
gestational hypertension (n= 11)
small-for-gestational-age infants (n = 10).
“Very few developed models were validated in
data other than the development data (9%)”
“little evidence about their performance,
impact, and usefulness in clinical practice”

14. 131 models
modest predictive performance,
with key limitations such as poor
calibration, substantial
heterogeneity
“The evidence to support the use of
these prediction models for pre-
eclampsia in clinical decision-
making is limited”

15. • Internationaal gevalideerd
• Goede voorspellingen experts en niet-
experts
• Goede voorspellingen in geopereerde en
conservatief behandelde patiënten
• Ingebouwd in echotoestellen GE en
Samsung
• Aanbevolgen in nationale en internationale
klinische richtlijnen

16. Onderzoek:
• Ontwerp fouten, vb. input niet beschikbaar op punt van
predictie
• Weinig validatiestudies
• Zelden impact bestudeerd

17. 3 RCT’s to study neonatal outcomes
6 studies of IRR

18. • Voor/na studie
• 3425 zwangeren in Limburg
• Minder slechte zwangerschapsuitkomsten in
nulliparae
(OR 0.56, 95% CI 0.32 tot 0.94)
• Lagere gemiddelde kost per zwangere
vrouw
(-2.766 euro, 95% CI -3.700 tot -1.825)

19. Implementatie

20. “Women in this study had a
positive attitude towards
first trimester screening for
preeclampsia using
prediction models”
+ geruststelling
+ betere opvolging bij hoog
risico (incl. zelf-monitoring
van mogelijke symptomen)
± onnodige stress
gemitigeerd door betere
omkadering

21. Aantoonbare verbeteringen in zorgprocessen, weinig bewijs voor
verbetering patiëntuitkomsten (Bright Ann Int Med, 2012; Sintchenko Med Inform
Internet Med 2007)
Aanbevelingen niet gevolgd door artsen

22. Trouw aan richtlijnen bespreken
van lage dosis aspirine profylaxe
in hoog-risico patiënten
Doi 10.1016/j.ajog.2020.02.036

23. Wegnemen van barrières bij gebruikers
- tijdgebrek
- geloof dat arts het (altijd) beter weet
- “elke patiënt is anders”
+ gericht op patiënt en arts (shared decision-making)
+ gebruiksvriendelijke inbedding in workflow en software
+ gerichte aanbevelingen
+ nakomen afdwingen
Bright et al Ann Intern Med 2012; Kawamoto BMJ 2005; Brown BMC Med Inform Decis Mak 2016

24. Beleid
• Medical Device Regulations (MDR) vanaf 26 mei 2021 voor alle medische hulpmiddelen in EU
• Omvat software (Apps/AI)
• Reguleert voorwaarden waaraan AI moet voldoen om op de Europese markt te mogen komen
• Afhankelijk van risico-klasse

26. Activities Required Throughput time Cost Expert needed
Product related out of pocket cost
class I
> 1 year
> € 30k
class IIa/b € 250k - € 350k
class III > € 350k
• GSPR checklist class I - III > 2½ months > 160 hrs • MDR product external expert
class IIa/b & III > 160 hrs • Quality Manager
• Risk Management class I - III > 2½ months > 160 hrs • MDR product external expert
class IIa/b & III > 160 hrs • Quality Manager
Technical documentation
class I
> 1 year
> 160 hrs
MDR product external expert
class IIa/b > 1000 hrs
class III > 2200 hrs
class I > 160 hrs
Quality Manager
class IIa/b > 1000 hrs
class III > 2200 hrs
• Clinical Evaluation during development class IIa/b & III > 2½ months > 160 hours • Clinical evaluator
Physician reviewer
• Clinical Evaluation pre-clinical investigation class III > 2½ months > 160 hours • Clinical evaluator
Physician reviewer
• Clinical Evaluation pre- market class I > 2½ months > 160 hours • Clinical evaluator
Physician reviewer
• Product manual (and labels) class I - III > ½ year p.m. • Technical writing and label designers
• Translations class I - III > 2 months Translation costs calculate per word over total of manual words per
language
• Native speaking translators and reviewers with expertise in clinical
application
Technical writing and label designers
• Clinical Investigation approval (CCMO and
Ethical committee)
class III > ½ year Fees per country (posted on the Competent Authority website • CRO
Quality Assurance
• Clinical Investigation class III >> 1 year >> € 100k • CRO
Investigators
Quality Assurance
• QMS Manual setup class IIa/b & III 1 year € 25k
(€ 80 – € 150 per hour)
• ISO 13485 consultant
• QMS related class I - III 2 – 3-year total MDR preparation 5 - 10% of the time of your internal resources • Internal resources
• Product notification class I 1 month Fees see Competent Authority website • Quality Assurance
• Product certification class IIa/b & III
(and Is / m / r) 1 year
Fees as quoted per Notified Body • Notified Body
Quality Assurance
• QSM Certification class IIa/b & III (€ 250 – € 400 per hour) • Notified Body
Quality Assurance
• Vigilance reporting class I - III Not applicable • Quality Assurance
PMS and PMCF
class I Not applicable > 160 hrs • PMS and PMCF not likely
class IIa/b > 320 hrs • PMS and possibly PMCF
lass III >> € 100k • PMS and likely PMC

27. Model niet
goed ontworpen
Niet gevalideerd Geen impact
aangetoond
Geen
“kwaliteitslabel”
Niet omarmd
door praktijk
Suboptimaal format implementatie

30. Dr. Laure Wynants
laure.wynants@maastrichtuniversity.nl
Twitter: @laure_wynants

31. Bart-Jan Verhoeff (St Jansdal Harderwijk)