Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal
•Download as PPTX, PDF•
0 likes•126 views
Cynthia Liem: Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal lezing bij VOGIN-IP-lezing 11 mei 2022
Recommended
Recommended
More Related Content
Similar to Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal
Similar to Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal (20)
More from voginip
More from voginip (20)
Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal
- 1. 1 Cynthia C. S. Liem c.c.s.liem@tudelft.nl | @informusiccs Multimedia Computing Group Delft University of Technology Als zoeken te fanatiek wordt Een digitale analyse van het toeslagenschandaal
- 2. 2
- 3. 3 Wat kunnen we vinden en bereiken?
- 4. 4 Wat kunnen we vinden en bereiken?
- 5. 5 relevant Wat kunnen we vinden en bereiken?
- 6. 6 Wat kunnen we vinden en bereiken?
- 7. 7 irrelevant? Wat kunnen we vinden en bereiken?
- 8. 8 irrelevant? prediction error? Wat kunnen we vinden en bereiken?
- 9. 9 Betrouwbare machine learning Validering en validiteit
- 10. 10 • De gebruikelijke focus van mijn vakgenoten Betrouwbare machine learning Validering en validiteit
- 11. 11 • Focus van de domeinexpert? Betrouwbare machine learning Validering en validiteit
- 12. 12 • Focus van de domeinexpert? Betrouwbare machine learning Validering en validiteit
- 13. 13 • Wat betekent ‘working as intended’? Betrouwbare machine learning Validering en validiteit
- 15. 15 Wat gebeurde in het toeslagenschandaal? https://www.theguardian.com/world/2021/jan/14/dutch-government-faces-collapse-over-child-benefits-scandal https://www.amnesty.nl/content/uploads/2021/10/20211014_FINAL_Xenophobic-Machines.pdf?x77572
- 16. 16 Het politieke sentiment rond 2010 • ‘Bulgarenfraude’: gecoördineerde criminele activiteit • Roep om het opsporen van fraudeurs, met harde handhaving • ‘Verdachte’ mensen worden zeer streng behandeld – Snel als ‘Opzet/Grove Schuld’ aangemerkt – Vermoeden: 96% van de gevallen onterecht als fraude bestempeld – Bij opzet/grove schuld: geen genade bij betalingsregeling (bij ‘gewone’ schuld: 2 jaar betalen naar draagkracht)
- 17. 17 Groot optimisme over Big Data • Algemeen Directeur leidt ‘informatiegestuurde subjectgerichte handhavingsregie’ https://decorrespondent.nl/2720/baas- belastingdienst-over-big-data-mijn-missie- is-gedragsverandering/83656320-f6e78aaf
- 18. 18 Groot optimisme over Big Data
- 19. 19 Groot optimisme over Big Data
- 21. 21 De inputkenmerken (‘indicatoren’) • Expertsessies in de vroege jaren 2010 • Rond de 100 ‘indicatoren’ (veel hiervan weggelakt) • We weten dat ‘het hebben van een 2e nationaliteit’ een indicator was
- 22. 22 Trainingdata • 30000 dossiers, ‘goed’ en ‘fout’ • Verschillende bronnen, wisselende kwaliteit – Dossier lang niet bekeken? ‘goed’ – BSN in ‘Fraude Signaleringsvoorziening’? ‘fout’ • FSV was dubious (boze buur of jaloerse ex kon je daarop krijgen) • ‘in FSV staan’ lijkt ook een indicator te zijn geweest
- 23. 23 Het model • Scorecard • Vaak gebruikt bij kredietrisico • Intervallen per kenmerk die ‘goede’ en ‘slechte’ klanten maximaal uit elkaar houden https://documentation.sas.com/doc/en/e mref/14.3/n181vl3wdwn89mn1pfpqm3w 6oaz5.htm
- 24. 24 Het model • In kredietrisico is een ‘slechte klant’ iemand die waarschijnlijk niet een lening kan terugbetalen • In kredietrisco wordt vaak geaccepteerd dat gecorreleerde variabelen herhaaldelijk risico vergroten https://documentation.sas.com/doc/en/e mref/14.3/n181vl3wdwn89mn1pfpqm3w 6oaz5.htm
- 25. 25 Wat gedachten • Ik ben bezorgd dat ‘slechte klant voor krediet’ gelijk is getrokken met ‘slecht dossier’ • Een ‘slecht’ dossier bevat fouten. Misschien zijn belastingformulieren moeilijk? – 2e nationaliteit niet meer van voorspellende waarde vanaf oktober 2018 – Na verbetering in communicatie en dienstverlening https://autoriteitpersoonsgegevens.nl/sites/default/files/atoms/files/ond erzoek_belastingdienst_kinderopvangtoeslag.pdf
- 26. 26 Risicoscoring • Scorecard gebruikt om risico nieuwe dossiers in te schatten
- 27. 27 Risicoscoring • Menselijke ambtenaar moet besluiten wat te doen
- 28. 28 De ambtenaar… • …kon niet zien hoe de risicoscore tot stand kwam • …was veel lager opgeleid dan de data scientists • …werkte in een cultuur van ‘gedane investering zoveel mogelijk terugverdienen’
- 29. 29 Risicoscoring • De ambtenaar checkte alleen de hoogste-risico bestanden • Alleen die bestanden warden gebruikt voor updating/retraining feedbackloop
- 30. 30 Wie heeft hoge risicoscores? Groep Woont in 4 grote steden Heeft NLse nationali- teit Inkomen < 20 kEUR Alleen- staande ouder Minstens 3 kinderen in opvang Minstens 200 u opvang Woont verder dan 10 km van opvang 1000 hoogste risicoscores 30.8% 78.8% 82.3% 86.9% 12% 34.7% 3.8% Anderen (buiten top 1000) 12.5% 95.5% 7.3% 14% 6.2% 1.2% 0.9% • Top-1000 en daarbuiten zijn echt verschillende groepen
- 31. 31 Het drama van de afwikkeling
- 32. 32 Het drama van de afwikkeling • Bulgarenfraude was minder dan 4 miljoen EUR. Toeslagenbudget rond 3 miljard EUR. • Nu grote terughoudendheid richting machine learning en datagedreven beslisvorming • Politici, journalisten, publieke opinie vragen om antwoorden, maar worstelen met vragen
- 33. 33 • Imprecies taalgebruik – AI, algoritme, systeem, robot bijna synoniem in publieke debatten – ‘Wat is het exacte algoritme?’ – Roep om ‘meer transparantie’ Wat zie ik als informaticus?
- 34. 34 Wat zie ik als informaticus? • Perverse prikkels • On(der)gespecificeerde vereisten • Slechte meetprocessen op data • Weinig aandacht voor evaluatie • Wegduiken is makkelijk • Regulering moet nog komen…
- 35. 35 Vragen om te stellen • Waarom willen we dit systeem? • Wie helpen we en wie schaden we? • Hebben we wel overzicht op het gehele proces? • Hoe kunnen de ‘technische’ en ‘niet- technische’ partijen constructief schakelen?
- 36. 36 Cynthia C. S. Liem c.c.s.liem@tudelft.nl | @informusiccs Multimedia Computing Group Delft University of Technology Als zoeken te fanatiek wordt Een digitale analyse van het toeslagenschandaal