Skip to main content
Ethische en Emotioneel Intelligente Zorgrobots die onze Autonomie stimuleren 
Matthijs Pontier 
matthijspon@gmail.com
Waar ik het over ga hebben 
•Zorg in Nederland 
•SELEMCA 
•Moreel redeneren voor Robots 
•Emotionele Intelligentie: Silicon Coppelia 
•Moreel redeneren + Silicon Coppelia = Moral Coppelia 
•Ongewenst gedrag voorspellen 
•Mogelijke toepassingen 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die onze Autonomie stimuleren 
2
Zorg in Nederland 
•Zorgvraag stijgt 
•Bezuinigingen zorg 
•Hogere werkdruk voor zorgverleners 
•We worden afhankelijker van onze naasten 
•Verantwoordelijkheid voor onze zorg en gezondheid komt meer bij onszelf te liggen 
•Dat vergt best wel wat van ons en daar kunnen we best wat hulp bij gebruiken! 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
3
SELEMCA 
•‘Caredroids’ ontwikkelen: Robots of Computer Agents die Patienten en Zorgverleners kunnen ondersteunen 
4 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Applicaties: Zorg-agents 
5 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Applicaties: Zorgrobots 
6 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Mogelijke functionaliteiten 
•Zorgmakelaar: 
Zoek zorg die past bij behoeften patient 
•Vriendje: Wordt vriendjes met patient om eenzaamheid te voorkomen en activeer de patient 
•Coach: Assisteer de patient in het maken van gezonde keuzes: Bewegen, Gezond eten, Medicijnen nemen, etc. 
7 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Hoe ervaren mensen caredroids? 
•Mensen kijken vooral naar deze 4 punten: 
1. Wat kun je er mee? 
2. Gedraagt het zich ethisch goed of slecht? 
3. Hoe ziet het eruit? 
4. Is het realistisch? 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
8
Uiterlijk / realisme zorgrobots 
•Uncanny valley: Te menselijk wordt een beetje eng 
•We associeren bijna-menselijk met dood / zombies 
9 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Ontwerp robots waarvan realisme in uiterlijk matcht met realisme gedrag
Affordances: wat kun je ermee? 
•Zorg dat de robot nuttig is voor patienten en hulpverleners 
 Zorg dat de robot expert is in zijn taak 
 Personaliseer gedrag van robot naar de gebruiker 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
10
Machine Ethics: Ethische Robots 
•Machines worden steeds autonomer 
 Rosalind Picard (1997): ‘‘The greater the freedom of a machine, the more it will need moral standards.’’ 
•Machines interacteren steeds meer met mensen 
We moeten zorgen dat machines ons geen kwaad doen, of onze autonomie bedreigen 
•Machine ethics is belangrijk om mensen machines te laten vertrouwen 
11 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Domein: Medische Ethiek 
•Patienten zijn kwetsbaar. Moreel gedrag van de robot is daarom extra belangrijk 
•In zorg zijn er vaak conflicten tussen: 
1.Autonomie 
2.Weldoen 
3.Niet-schaden 
4.Gerechtigheid 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
12
Moral reasoning system 
We hebben een moral reasoning system ontwikkeld dat kan balanceren tussen verschillende morele doelen 
Beslissingen kwamen overeen met medisch-ethische experts 
13 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Model autonomie 
Leiden, 14-11-2014 
14 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren 
Resultaten: 
Mogelijk rechtszaken te simuleren over o.a: 
•Bemoeizorg 
•Gedwongen opname na zelfbindingsverklaring
Limitaties moral reasoning 
•Alleen moral reasoning resulteert in ‘koude beslissingen’ 
•Wallack, Franklin & Allen (2010): “even agents who adhere to a deontological ethic or are utilitarians may require emotional intelligence as well as other ‘‘supra-rational’’ faculties, such as a sense of self and a theory of mind” 
•Tronto (1993): “Care is only thought of as good care when it is personalized” 
15 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Probleem: Onmogelijk te simuleren: Trolley Dilemma vs Footbridge Dilemma 
•Greene et al. (2001): morele dilemma’s varieren systematisch varieren in hoeveel emotionele verwerking ze oproepen, en dat deze variaties morele beslissingen beinvloeden 
•Hun studie was geinspireerd op twee verschillende varianten van een ethisch dilemma 
•Trolley dilemma (onpersoonlijk) 
Footbridge dilemma (persoonlijk) 
Asimov’s 3 wetten schieten hier tekort! 
16 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Oplossing: Voeg Emotionele Verwerking toe 
•Eerder ontwikkelden we Silicon Coppelia, een computermodel van emotionele intelligentie. 
•Dit kan in anderen geprojecteerd worden voor een Theory of Mind 
•Het leert van ervaringen Personalisatie 
Voeg Moral Reasoning toe aan Silicon Coppelia: 
•Moral reasoning menselijker 
•Personaliseer morele beslissingen en vooral ook communicatie daarover 
17 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Silicon Coppelia 
18 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Silicon Coppelia 
•We ontwikkelden Silicon Coppelia met het doel emotioneel intelligente robots te ontwikkelen 
•Uit simulatie experimenten bleek: 
Systeem gedraagt zich in lijn met theorie en intuitie 
•Volgende stap: vergelijk gedrag systeem met menselijk gedrag in een speeddating experiment 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
19
Turing Test 
•Turing Test was oorspronkelijk alleen met tekst 
•Wij hebben uitgebreid met emotionele communicatie 
•Emotionele gezichtsuitdrukkingen 
•Menselijke spraak 
•Achteraf vragenlijst: Wat denk je dat Tom van je vond? En wat vond je van Tom? 
 Continue maat: komt meer uit dan simpelweg ja/nee 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
20
Speed-dating Experiment 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Resultaten 
•Participanten zagen geen verschil in eigenschappen 
•Participanten zagen geen verschil in cognitief- affectieve structuur (relaties tussen eigenschappen) 
•Model waarin condities (1: mens, 2: robot) als hetzelfde waren aangenomen, verklaarde data beter dan model waarin condities als verschillend waren aangenomen 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
22
Conclusies Speed-Date 
•We hebben zo’n goede simulatie van menselijk emotioneel gedrag, dat jonge vrouwen een man niet van een computer konden onderscheiden 
•Belangrijk voor: 
•Het begrijpen van menselijk emotioneel gedrag 
•Het ontwikkelen van menselijke robots / technologie 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
23
Silicon Coppelia + Moral Reasoning: 
Beslissingen gebaseerd op: 
1. Rationele invloeden 
•Helpt deze actie me mijn doelen te bereiken? 
2. Affectieve invloeden 
•Reflecteert deze actie de betrokkenheid 
die ik voel tegenover de gebruiker? 
•Reflecteert deze actie de distantie 
die ik voel tegenover de gebruiker? 
3. Moral reasoning 
•Is deze actie ethisch goed? 
Leiden, 14-11-2014 
24 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Resultaten Moral Reasoning + Silicon Coppelia 
1 dood; 5 gered Doe niets 
Moral system 
Trolley X 
Footbridge X 
Moral Coppelia 
Trolley X 
Footbridge X 
25 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Voorspellen ongewenst gedrag 
•Veel bewijs dat emoties fundamenteel zijn bij het maken van criminele beslissingen 
•Maar emoties worden nog nauwelijks gebruikt in modellen van criminele beslissingen 
 Studie relatie tussen Ratio, Emoties, Moraliteit 
 Moral Coppelia toepassen op criminologische data 
 Criminele beslissingen participanten voorspellen 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
26
Data op model passen 
Match: 
• Honesty/Humility to Weightmorality 
• Perceived Risk to Expected Utility 
• Negative State Affect to EESA 
Parameter Tuning: 
1.Zoek optimale fits voor de initiele sample 
2.Voorspel de beslissingen van de holdout sample 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
27
Predicting Criminal Choices 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
28 
Ratio 
Emo 
R+E 
Moral 
M+R 
M+E 
M+R+E 
morcc 
0 
0 
0 
0.68 
0.42 
0.453 
0.435 
wmor 
0 
0 
0 
1.00 
0.96 
0.97 
0.87 
partrat 
1 
0 
0.34 
0 
1 
0 
0.64 
partemo 
0 
1 
0.66 
0 
0 
1 
0.36 
R2 initial 
0.7553 
0.8792 
0.9222 
0.9336 
0.9871 
0.9798 
0.9881 
R2 holdout 
0.7192 
0.9060 
0.9323 
0.9281 
0.9803 
0.9778 
0.9821
Conclusies criminologie studie 
•Validatie van Moral Coppélia: 
Moral Coppélia kan gebruikt worden om menselijke criminele beslissingen te voorspellen 
•Dit vergroot ons begrip van criminele beslissingen 
•Nuttig in toepassingen 
•Crimineel gedrag voorspellen? 
•Serious games: virtuele misdadiger 
•Entertainment 
•Theory of Mind 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
29
Toepassingen: Een systeem met ‘6’ thema’s 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Motivatie 
Motiveer gebruiker om te doen wat nodig is. 
Bijvoorbeeld een game voor mensen met een handicap om deel te nemen aan het sociale proces. Of elke dag bewegen. 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Financieel 
Ondersteuning bij het maken van financiële beslissingen 
Bijvoorbeeld welke zorgverzekeraar? Moet je sparen om straks niet te eindigen in een armoedig verzorgingshuis? 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Connectiviteit 
Ondersteuning in het verbinden met netwerken die voor jou relevant zijn. 
Zo zouden eenzame bejaarden gekoppeld kunnen worden aan vrijwilligers of gelijken in de buurt. 
En kunnen diabetici elkaar ontmoeten in communities en kennis delen. 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Historie 
Registreren van zorg / gezondheidshistorie. 
Dagelijks als er niets aan de hand is of juist op momenten dat je zorg nodig hebt. Zodat dit, met jouw toestemming, uitgewisseld kan worden tussen verschillende zorgverleners. 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Voeding 
Ondersteuning om 
gezonde voeding te nemen. 
Misschien heb je een speciaal dieet of heb je tijdelijk supplementen nodig. 
Registreert wat je eet en geef aan wat je nodig hebt. 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Acute hulp 
Alarm slaan als iets mis gaat. 
Ben je gevallen in de badkamer? Val je flauw omdat je te weinig gegeten hebt? Hartaanval? Dan alarm slaan! 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Applications: - Virtual Storytelling - (Serious) Games 
37 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Virtual Coach 
38 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
Caredroids 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
‘Rijdende tablets’ die ouderen ondersteunen 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
40
Zorgrobot Zora bij EO Dit Is De Dag 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
41
Robot huisdier 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
42 
Huisdier, met ingebouwde spraak-synthesizer, aangedreven door emotioneel intelligente software
Companion Robots 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
44 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
House Robots 
45 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
Leiden, 14-11-2014
House Robots 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
46
OS dat een relatie met je opbouwt en je begrijpt 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
47
Conclusies 
•Door behulp van theorieen uit (medische) ethiek kunnen we robots bouwen die zorgtaken verlichten en autonomie patienten kunnen stimuleren 
•Emoties toevoegen aan rationeel moreel redeneren is belangrijk als robots communiceren met mensen 
•De combinatie van ratio en affect maakt robots menselijker (bijvoorbeeld bij het verlenen van zorg, of in entertainment) 
48 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Discussie 
•Technologie kan zorg verbeteren + efficienter maken 
•Belangrijk om hierbij te bedenken wat al wel kan, 
maar ook wat nog niet kan 
•Privacy-schendingen liggen op de loer 
 Privacy by design 
Laat gebruiker eigenaar eigen gegevens blijven 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
49
Boek: Machine Medical Ethics 
Leiden, 14-11-2014 
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren 
50 
http://www.springer.com/engineering/robotics/book/978- 3-319-08107-6 
•Hoe ethische zorgrobots ontwikkelen? 
•Voordelen open source 
•Hoe zorgrobots ethisch inzetten? 
•Veranderde arts-patient relatie 
•Deep Brain Stimulation 
•Inzet sex-robots 
•Enz.
Bedankt! 
51 
Matthijs Pontier 
matthijspon@gmail.com 
http://camera-vu.nl/matthijs 
Matthijs Pontier 
Matthijs85 
Leiden, 14-11-2014 
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren