SlideShare a Scribd company logo
1 of 20
TOPAAS, een model in de
praktijk
Een pragmatische aanvliegroute voor
de inschatting van betrouwbaarheid
van ICT oplossingen
Compiler libraries...
OS afhankelijkheden…
Testen is extreem beperkt…
• Een simpele 64 bits functie
doortesten kost al 200 jaar
• Efficiëntere aanpakken zijn
in ontwikkeling
• Maar in praktijk is software
niet deterministisch!
Resultaten uit het verleden…
• De faalkans van software is
zeer afhankelijk van het
soort gebruik
• Een trackrecord is maar een
zeer beperkte indicatie voor
de faalkans
Probleem met de Maeslantkering
• “Bewijs” uit het ongerijmde,
vol met inhoudelijke fouten
• Toonde wel aan dat de
cijfers van TDT niet voor
publieke verdediging
geschikt waren
TOPAAS
• Task Oriented Probability of Abnormalities Analysis for
Software
• Ontwikkeld in 2005 tot 2010
• Ontwikkelteam: DNV, Movares, LogicaCMG, Refis,
Intermedion, TU/e
• Reviewteam: Delta Pi, NRG, UvA, Rijkswaterstaat
TOPAAS
• Centraal staat
taakuitvoering
• Gebruikt de Bayesiaanse
kansopvatting als basis
• Gebruikt vragenlijst om
deze herhaalbaar te maken
Physical View
Development ViewProcess View
Logical View
4+1 Modelling
Scenarios
Taakuitvoering
Decompositie van taakuitvoering
• Moet onderscheidbaar zijn en zichtbaar gedrag vertonen
• Zo abstract mogelijk
• Alleen splitsen als belangrijke parameters anders worden:
– Ontwikkelteam
– Gebruiksintensiteit
Software Bouwstenen
Waar op te letten...
• Gaat om direct bij de missie betrokken code
• “Onterecht sluiten” kent een andere faalkans
dan “Niet sluiten”
• Afhandelen van falende hardware is andere
taakuitvoering (en minimaal 2e
orde object)
Dingen die geen bouwstenen zijn
• Operating systeem
• Firmware
• Objecten die geen output kennen
TOPAAS en tunnels
• Het ontwerp en de functiedefinities zijn in
hoge mate gestandaardiseerd door LTS:
– Afsluiting
– Hoogtedetectie
– Ventilatie
– Nooddeuren
– Incidentdetectie
• Alleen RAMS-eisen liggen nog niet vast
Scoring van TOPAAS
• “ONBEKEND” scoren
– gewoon doen als het onbekend is
– scoren als strategische keuze is echt fout
• Er wordt soms veel bijgesleept
– Een competentie management organisatie eisen
– Er moet kwaliteitsmanagement zijn
– De architectuur moet specifieke views hebben
– Traceerbaarheid moet met logisch bewijs zijn
• Soms zijn draaiuren gewoon makkelijker
Resultaten
• Voor een normale ontwikkelaar 10-4
is realistisch:
– Systems Engineering aanpak
– JSTD-016 goed ingezet
– Testen grondig doen
• Voor een goede ontwikkelaar is 10-5
realistisch:
– IEC 61508, SIL-4
– Goed testen van primaire taakuitvoering
Wat praktische cijfers
• Met redelijke cijfers via TOPAAS: “niet sluiten
slagboom” levert 10-3
on demand
• Op basis van ervaringsgegevens: “onterecht
sluiten” ongeveer eens in de 12 jaar
Wat gaat er binnenkort gebeuren?
• Publicatie eerste wetenschappelijke TOPAAS
artikel in QREI
• Onderhoud op TOPAAS (versie 2.0) met
onderwerpen:
– Sterkere focus op goed modelleren taakuitvoering
– Meetvoorschrift voor veel parameters

More Related Content

Viewers also liked

2011-05-02 - VU Amsterdam - Testing safety critical systems
2011-05-02 - VU Amsterdam - Testing safety critical systems2011-05-02 - VU Amsterdam - Testing safety critical systems
2011-05-02 - VU Amsterdam - Testing safety critical systemsJaap van Ekris
 
Understanding Safety Level Integrity Levels (SIL)
Understanding Safety Level Integrity Levels (SIL)Understanding Safety Level Integrity Levels (SIL)
Understanding Safety Level Integrity Levels (SIL)Power Specialties, Inc.
 
Introduction to Functional Safety and SIL Certification
Introduction to Functional Safety and SIL CertificationIntroduction to Functional Safety and SIL Certification
Introduction to Functional Safety and SIL CertificationISA Boston Section
 
Safety life cycle seminar IEC61511
Safety life cycle seminar IEC61511Safety life cycle seminar IEC61511
Safety life cycle seminar IEC61511Luis Atencio
 

Viewers also liked (6)

2011-05-02 - VU Amsterdam - Testing safety critical systems
2011-05-02 - VU Amsterdam - Testing safety critical systems2011-05-02 - VU Amsterdam - Testing safety critical systems
2011-05-02 - VU Amsterdam - Testing safety critical systems
 
Understanding Safety Level Integrity Levels (SIL)
Understanding Safety Level Integrity Levels (SIL)Understanding Safety Level Integrity Levels (SIL)
Understanding Safety Level Integrity Levels (SIL)
 
Marcus Punch - When SIL2 will just not do!
Marcus Punch - When SIL2 will just not do!Marcus Punch - When SIL2 will just not do!
Marcus Punch - When SIL2 will just not do!
 
Safety Integrity Levels
Safety Integrity LevelsSafety Integrity Levels
Safety Integrity Levels
 
Introduction to Functional Safety and SIL Certification
Introduction to Functional Safety and SIL CertificationIntroduction to Functional Safety and SIL Certification
Introduction to Functional Safety and SIL Certification
 
Safety life cycle seminar IEC61511
Safety life cycle seminar IEC61511Safety life cycle seminar IEC61511
Safety life cycle seminar IEC61511
 

Similar to TOPAAS Versie 2.0, een praktische inleiding

2016 11-15 - nvrb - software betrouwbaarheid
2016 11-15 - nvrb - software betrouwbaarheid2016 11-15 - nvrb - software betrouwbaarheid
2016 11-15 - nvrb - software betrouwbaarheidJaap van Ekris
 
'Op weg naar een flexibele totaaloplossing voor digitaal toetsen'- Bé Meerman...
'Op weg naar een flexibele totaaloplossing voor digitaal toetsen'- Bé Meerman...'Op weg naar een flexibele totaaloplossing voor digitaal toetsen'- Bé Meerman...
'Op weg naar een flexibele totaaloplossing voor digitaal toetsen'- Bé Meerman...SURF Events
 
Nord Toelichting Techniek
Nord Toelichting TechniekNord Toelichting Techniek
Nord Toelichting Techniektjercus
 
Iip saa s - kennissessie exact - tu delft - deel 2
Iip saa s - kennissessie exact - tu delft - deel 2Iip saa s - kennissessie exact - tu delft - deel 2
Iip saa s - kennissessie exact - tu delft - deel 2Martijn Kriens
 
Begroten van software projecten - Hogeschool Rotterdam gastcollege 05-11-2013
Begroten van software projecten - Hogeschool Rotterdam gastcollege 05-11-2013Begroten van software projecten - Hogeschool Rotterdam gastcollege 05-11-2013
Begroten van software projecten - Hogeschool Rotterdam gastcollege 05-11-2013Harold van Heeringen
 
Test automation in een BDD context
Test automation in een BDD contextTest automation in een BDD context
Test automation in een BDD contextchristiantester
 
Versiebeheer van database changes
Versiebeheer van database changesVersiebeheer van database changes
Versiebeheer van database changesArjen van Vliet
 
Grenzen aan functiepuntanalyse
Grenzen aan functiepuntanalyseGrenzen aan functiepuntanalyse
Grenzen aan functiepuntanalyseFrank Vogelezang
 
Testen van 1,3 miljoen regels mission critical code omzetten naar C++, hoe te...
Testen van 1,3 miljoen regels mission critical code omzetten naar C++, hoe te...Testen van 1,3 miljoen regels mission critical code omzetten naar C++, hoe te...
Testen van 1,3 miljoen regels mission critical code omzetten naar C++, hoe te...Jaap Kuilman
 
Sogeti seminar Supplier Performance Measurement
Sogeti seminar Supplier Performance MeasurementSogeti seminar Supplier Performance Measurement
Sogeti seminar Supplier Performance MeasurementHarold van Heeringen
 
Romex intro test no animation
Romex intro test no animationRomex intro test no animation
Romex intro test no animationPeter van Oostrom
 
Meet de gezondheid van de opslag
Meet de gezondheid van de opslagMeet de gezondheid van de opslag
Meet de gezondheid van de opslagDekkinga, Ewout
 
Techdays System Center 2012 Operations Manager end-to-end management walter ...
Techdays  System Center 2012 Operations Manager end-to-end management walter ...Techdays  System Center 2012 Operations Manager end-to-end management walter ...
Techdays System Center 2012 Operations Manager end-to-end management walter ...wwwally
 
Load En Stress Testers Te Slim Af Final
Load En Stress Testers Te Slim Af FinalLoad En Stress Testers Te Slim Af Final
Load En Stress Testers Te Slim Af FinalPlutonIT
 
Meetup at SIG: Meten is weten
Meetup at SIG: Meten is wetenMeetup at SIG: Meten is weten
Meetup at SIG: Meten is wetenDevnology
 
Webinar - EAM /Reliability & Integrity Software selectie - 15 juli 2020
Webinar - EAM /Reliability & Integrity Software selectie - 15 juli 2020Webinar - EAM /Reliability & Integrity Software selectie - 15 juli 2020
Webinar - EAM /Reliability & Integrity Software selectie - 15 juli 2020Stork
 
2008-06-23 - SDN - Kwaliteit van software, wat is dat nu eigenlijk?
2008-06-23 - SDN - Kwaliteit van software, wat is dat nu eigenlijk?2008-06-23 - SDN - Kwaliteit van software, wat is dat nu eigenlijk?
2008-06-23 - SDN - Kwaliteit van software, wat is dat nu eigenlijk?Jaap van Ekris
 
Presentatie Itsn Algemeen 2011
Presentatie Itsn Algemeen 2011Presentatie Itsn Algemeen 2011
Presentatie Itsn Algemeen 2011twanswinkels
 
SYSQA Kennissessie oktober 2011, presentatie 1 Testen en Scrum
SYSQA Kennissessie oktober 2011, presentatie 1 Testen en ScrumSYSQA Kennissessie oktober 2011, presentatie 1 Testen en Scrum
SYSQA Kennissessie oktober 2011, presentatie 1 Testen en ScrumSYSQA BV
 

Similar to TOPAAS Versie 2.0, een praktische inleiding (20)

2016 11-15 - nvrb - software betrouwbaarheid
2016 11-15 - nvrb - software betrouwbaarheid2016 11-15 - nvrb - software betrouwbaarheid
2016 11-15 - nvrb - software betrouwbaarheid
 
'Op weg naar een flexibele totaaloplossing voor digitaal toetsen'- Bé Meerman...
'Op weg naar een flexibele totaaloplossing voor digitaal toetsen'- Bé Meerman...'Op weg naar een flexibele totaaloplossing voor digitaal toetsen'- Bé Meerman...
'Op weg naar een flexibele totaaloplossing voor digitaal toetsen'- Bé Meerman...
 
Nord Toelichting Techniek
Nord Toelichting TechniekNord Toelichting Techniek
Nord Toelichting Techniek
 
Iip saa s - kennissessie exact - tu delft - deel 2
Iip saa s - kennissessie exact - tu delft - deel 2Iip saa s - kennissessie exact - tu delft - deel 2
Iip saa s - kennissessie exact - tu delft - deel 2
 
Begroten van software projecten - Hogeschool Rotterdam gastcollege 05-11-2013
Begroten van software projecten - Hogeschool Rotterdam gastcollege 05-11-2013Begroten van software projecten - Hogeschool Rotterdam gastcollege 05-11-2013
Begroten van software projecten - Hogeschool Rotterdam gastcollege 05-11-2013
 
Test automation in een BDD context
Test automation in een BDD contextTest automation in een BDD context
Test automation in een BDD context
 
Versiebeheer van database changes
Versiebeheer van database changesVersiebeheer van database changes
Versiebeheer van database changes
 
Grenzen aan functiepuntanalyse
Grenzen aan functiepuntanalyseGrenzen aan functiepuntanalyse
Grenzen aan functiepuntanalyse
 
Testen van 1,3 miljoen regels mission critical code omzetten naar C++, hoe te...
Testen van 1,3 miljoen regels mission critical code omzetten naar C++, hoe te...Testen van 1,3 miljoen regels mission critical code omzetten naar C++, hoe te...
Testen van 1,3 miljoen regels mission critical code omzetten naar C++, hoe te...
 
Sogeti seminar Supplier Performance Measurement
Sogeti seminar Supplier Performance MeasurementSogeti seminar Supplier Performance Measurement
Sogeti seminar Supplier Performance Measurement
 
Romex intro test no animation
Romex intro test no animationRomex intro test no animation
Romex intro test no animation
 
Netflow Performance
Netflow PerformanceNetflow Performance
Netflow Performance
 
Meet de gezondheid van de opslag
Meet de gezondheid van de opslagMeet de gezondheid van de opslag
Meet de gezondheid van de opslag
 
Techdays System Center 2012 Operations Manager end-to-end management walter ...
Techdays  System Center 2012 Operations Manager end-to-end management walter ...Techdays  System Center 2012 Operations Manager end-to-end management walter ...
Techdays System Center 2012 Operations Manager end-to-end management walter ...
 
Load En Stress Testers Te Slim Af Final
Load En Stress Testers Te Slim Af FinalLoad En Stress Testers Te Slim Af Final
Load En Stress Testers Te Slim Af Final
 
Meetup at SIG: Meten is weten
Meetup at SIG: Meten is wetenMeetup at SIG: Meten is weten
Meetup at SIG: Meten is weten
 
Webinar - EAM /Reliability & Integrity Software selectie - 15 juli 2020
Webinar - EAM /Reliability & Integrity Software selectie - 15 juli 2020Webinar - EAM /Reliability & Integrity Software selectie - 15 juli 2020
Webinar - EAM /Reliability & Integrity Software selectie - 15 juli 2020
 
2008-06-23 - SDN - Kwaliteit van software, wat is dat nu eigenlijk?
2008-06-23 - SDN - Kwaliteit van software, wat is dat nu eigenlijk?2008-06-23 - SDN - Kwaliteit van software, wat is dat nu eigenlijk?
2008-06-23 - SDN - Kwaliteit van software, wat is dat nu eigenlijk?
 
Presentatie Itsn Algemeen 2011
Presentatie Itsn Algemeen 2011Presentatie Itsn Algemeen 2011
Presentatie Itsn Algemeen 2011
 
SYSQA Kennissessie oktober 2011, presentatie 1 Testen en Scrum
SYSQA Kennissessie oktober 2011, presentatie 1 Testen en ScrumSYSQA Kennissessie oktober 2011, presentatie 1 Testen en Scrum
SYSQA Kennissessie oktober 2011, presentatie 1 Testen en Scrum
 

More from Jaap van Ekris

2021 08-28, QONFEST 2021 - Reliability cenetered maintenance for sleeping giants
2021 08-28, QONFEST 2021 - Reliability cenetered maintenance for sleeping giants2021 08-28, QONFEST 2021 - Reliability cenetered maintenance for sleeping giants
2021 08-28, QONFEST 2021 - Reliability cenetered maintenance for sleeping giantsJaap van Ekris
 
2020 09-08 - sdn - waarom klanten een hekel aan software ontwikkelaars hebben
2020 09-08 - sdn - waarom klanten een hekel aan software ontwikkelaars hebben2020 09-08 - sdn - waarom klanten een hekel aan software ontwikkelaars hebben
2020 09-08 - sdn - waarom klanten een hekel aan software ontwikkelaars hebbenJaap van Ekris
 
2018-11-08 risk and reslience festival
2018-11-08 risk and reslience festival2018-11-08 risk and reslience festival
2018-11-08 risk and reslience festivalJaap van Ekris
 
2015 10-08 Uitwijken, het hoe, waarom en de consequenties
2015 10-08 Uitwijken, het hoe, waarom en de consequenties2015 10-08 Uitwijken, het hoe, waarom en de consequenties
2015 10-08 Uitwijken, het hoe, waarom en de consequentiesJaap van Ekris
 
2017 03-10 - vu amsterdam - testing safety critical systems
2017 03-10 - vu amsterdam - testing safety critical systems2017 03-10 - vu amsterdam - testing safety critical systems
2017 03-10 - vu amsterdam - testing safety critical systemsJaap van Ekris
 
2016-05-30 risk driven design
2016-05-30 risk driven design2016-05-30 risk driven design
2016-05-30 risk driven designJaap van Ekris
 
2016-04-28 - VU Amsterdam - testing safety critical systems
2016-04-28 - VU Amsterdam - testing safety critical systems2016-04-28 - VU Amsterdam - testing safety critical systems
2016-04-28 - VU Amsterdam - testing safety critical systemsJaap van Ekris
 
2016 02-15 - IASTED Innsbruck 2016 - the role and decompesition of delivery ...
2016 02-15 -  IASTED Innsbruck 2016 - the role and decompesition of delivery ...2016 02-15 -  IASTED Innsbruck 2016 - the role and decompesition of delivery ...
2016 02-15 - IASTED Innsbruck 2016 - the role and decompesition of delivery ...Jaap van Ekris
 
2015 05-07 - vu amsterdam - testing safety critical systems
2015 05-07 - vu amsterdam - testing safety critical systems2015 05-07 - vu amsterdam - testing safety critical systems
2015 05-07 - vu amsterdam - testing safety critical systemsJaap van Ekris
 
Embedded Systems, Asset or Security Threat? (6 May 2014, (ICS)2 Secure Rotter...
Embedded Systems, Asset or Security Threat? (6 May 2014, (ICS)2 Secure Rotter...Embedded Systems, Asset or Security Threat? (6 May 2014, (ICS)2 Secure Rotter...
Embedded Systems, Asset or Security Threat? (6 May 2014, (ICS)2 Secure Rotter...Jaap van Ekris
 
Testing Safety Critical Systems (10-02-2014, VU amsterdam)
Testing Safety Critical Systems (10-02-2014, VU amsterdam)Testing Safety Critical Systems (10-02-2014, VU amsterdam)
Testing Safety Critical Systems (10-02-2014, VU amsterdam)Jaap van Ekris
 
Testing safety critical systems: Practice and Theory (14-05-2013, VU Amsterdam)
Testing safety critical systems: Practice and Theory (14-05-2013, VU Amsterdam)Testing safety critical systems: Practice and Theory (14-05-2013, VU Amsterdam)
Testing safety critical systems: Practice and Theory (14-05-2013, VU Amsterdam)Jaap van Ekris
 
Cloud Security (11-09-2012, (ISC)2 Secure Amsterdam)
Cloud Security (11-09-2012, (ISC)2 Secure Amsterdam)Cloud Security (11-09-2012, (ISC)2 Secure Amsterdam)
Cloud Security (11-09-2012, (ISC)2 Secure Amsterdam)Jaap van Ekris
 
What the hack happened to digi notar (28-10-2011)
What the hack happened to digi notar (28-10-2011)What the hack happened to digi notar (28-10-2011)
What the hack happened to digi notar (28-10-2011)Jaap van Ekris
 
Windows Phone 7 and the cloud, the good, the bad and the ugly (17-06-2011, SDN)
Windows Phone 7 and the cloud, the good, the bad and the ugly (17-06-2011, SDN)Windows Phone 7 and the cloud, the good, the bad and the ugly (17-06-2011, SDN)
Windows Phone 7 and the cloud, the good, the bad and the ugly (17-06-2011, SDN)Jaap van Ekris
 
2011-04-29 - Risk management conference - Technische IT risico's in de praktijk
2011-04-29 - Risk management conference - Technische IT risico's in de praktijk2011-04-29 - Risk management conference - Technische IT risico's in de praktijk
2011-04-29 - Risk management conference - Technische IT risico's in de praktijkJaap van Ekris
 
2011-03-12 - PDAtotaal Usergroup meeting - Ervaringen met Windows Phone 7 in ...
2011-03-12 - PDAtotaal Usergroup meeting - Ervaringen met Windows Phone 7 in ...2011-03-12 - PDAtotaal Usergroup meeting - Ervaringen met Windows Phone 7 in ...
2011-03-12 - PDAtotaal Usergroup meeting - Ervaringen met Windows Phone 7 in ...Jaap van Ekris
 
2010-09-21 - (ISC)2 - Protecting patient privacy while enabling medical re…
2010-09-21 - (ISC)2 - Protecting patient privacy while enabling medical re…2010-09-21 - (ISC)2 - Protecting patient privacy while enabling medical re…
2010-09-21 - (ISC)2 - Protecting patient privacy while enabling medical re…Jaap van Ekris
 
2010-04-17 - PDAtotaal Usergroup meeting - Introductie in Windows Phone 7
2010-04-17 - PDAtotaal Usergroup meeting - Introductie in Windows Phone 72010-04-17 - PDAtotaal Usergroup meeting - Introductie in Windows Phone 7
2010-04-17 - PDAtotaal Usergroup meeting - Introductie in Windows Phone 7Jaap van Ekris
 
2010-03-31 - VU Amsterdam - Experiences testing safety critical systems
2010-03-31 - VU Amsterdam - Experiences testing safety critical systems2010-03-31 - VU Amsterdam - Experiences testing safety critical systems
2010-03-31 - VU Amsterdam - Experiences testing safety critical systemsJaap van Ekris
 

More from Jaap van Ekris (20)

2021 08-28, QONFEST 2021 - Reliability cenetered maintenance for sleeping giants
2021 08-28, QONFEST 2021 - Reliability cenetered maintenance for sleeping giants2021 08-28, QONFEST 2021 - Reliability cenetered maintenance for sleeping giants
2021 08-28, QONFEST 2021 - Reliability cenetered maintenance for sleeping giants
 
2020 09-08 - sdn - waarom klanten een hekel aan software ontwikkelaars hebben
2020 09-08 - sdn - waarom klanten een hekel aan software ontwikkelaars hebben2020 09-08 - sdn - waarom klanten een hekel aan software ontwikkelaars hebben
2020 09-08 - sdn - waarom klanten een hekel aan software ontwikkelaars hebben
 
2018-11-08 risk and reslience festival
2018-11-08 risk and reslience festival2018-11-08 risk and reslience festival
2018-11-08 risk and reslience festival
 
2015 10-08 Uitwijken, het hoe, waarom en de consequenties
2015 10-08 Uitwijken, het hoe, waarom en de consequenties2015 10-08 Uitwijken, het hoe, waarom en de consequenties
2015 10-08 Uitwijken, het hoe, waarom en de consequenties
 
2017 03-10 - vu amsterdam - testing safety critical systems
2017 03-10 - vu amsterdam - testing safety critical systems2017 03-10 - vu amsterdam - testing safety critical systems
2017 03-10 - vu amsterdam - testing safety critical systems
 
2016-05-30 risk driven design
2016-05-30 risk driven design2016-05-30 risk driven design
2016-05-30 risk driven design
 
2016-04-28 - VU Amsterdam - testing safety critical systems
2016-04-28 - VU Amsterdam - testing safety critical systems2016-04-28 - VU Amsterdam - testing safety critical systems
2016-04-28 - VU Amsterdam - testing safety critical systems
 
2016 02-15 - IASTED Innsbruck 2016 - the role and decompesition of delivery ...
2016 02-15 -  IASTED Innsbruck 2016 - the role and decompesition of delivery ...2016 02-15 -  IASTED Innsbruck 2016 - the role and decompesition of delivery ...
2016 02-15 - IASTED Innsbruck 2016 - the role and decompesition of delivery ...
 
2015 05-07 - vu amsterdam - testing safety critical systems
2015 05-07 - vu amsterdam - testing safety critical systems2015 05-07 - vu amsterdam - testing safety critical systems
2015 05-07 - vu amsterdam - testing safety critical systems
 
Embedded Systems, Asset or Security Threat? (6 May 2014, (ICS)2 Secure Rotter...
Embedded Systems, Asset or Security Threat? (6 May 2014, (ICS)2 Secure Rotter...Embedded Systems, Asset or Security Threat? (6 May 2014, (ICS)2 Secure Rotter...
Embedded Systems, Asset or Security Threat? (6 May 2014, (ICS)2 Secure Rotter...
 
Testing Safety Critical Systems (10-02-2014, VU amsterdam)
Testing Safety Critical Systems (10-02-2014, VU amsterdam)Testing Safety Critical Systems (10-02-2014, VU amsterdam)
Testing Safety Critical Systems (10-02-2014, VU amsterdam)
 
Testing safety critical systems: Practice and Theory (14-05-2013, VU Amsterdam)
Testing safety critical systems: Practice and Theory (14-05-2013, VU Amsterdam)Testing safety critical systems: Practice and Theory (14-05-2013, VU Amsterdam)
Testing safety critical systems: Practice and Theory (14-05-2013, VU Amsterdam)
 
Cloud Security (11-09-2012, (ISC)2 Secure Amsterdam)
Cloud Security (11-09-2012, (ISC)2 Secure Amsterdam)Cloud Security (11-09-2012, (ISC)2 Secure Amsterdam)
Cloud Security (11-09-2012, (ISC)2 Secure Amsterdam)
 
What the hack happened to digi notar (28-10-2011)
What the hack happened to digi notar (28-10-2011)What the hack happened to digi notar (28-10-2011)
What the hack happened to digi notar (28-10-2011)
 
Windows Phone 7 and the cloud, the good, the bad and the ugly (17-06-2011, SDN)
Windows Phone 7 and the cloud, the good, the bad and the ugly (17-06-2011, SDN)Windows Phone 7 and the cloud, the good, the bad and the ugly (17-06-2011, SDN)
Windows Phone 7 and the cloud, the good, the bad and the ugly (17-06-2011, SDN)
 
2011-04-29 - Risk management conference - Technische IT risico's in de praktijk
2011-04-29 - Risk management conference - Technische IT risico's in de praktijk2011-04-29 - Risk management conference - Technische IT risico's in de praktijk
2011-04-29 - Risk management conference - Technische IT risico's in de praktijk
 
2011-03-12 - PDAtotaal Usergroup meeting - Ervaringen met Windows Phone 7 in ...
2011-03-12 - PDAtotaal Usergroup meeting - Ervaringen met Windows Phone 7 in ...2011-03-12 - PDAtotaal Usergroup meeting - Ervaringen met Windows Phone 7 in ...
2011-03-12 - PDAtotaal Usergroup meeting - Ervaringen met Windows Phone 7 in ...
 
2010-09-21 - (ISC)2 - Protecting patient privacy while enabling medical re…
2010-09-21 - (ISC)2 - Protecting patient privacy while enabling medical re…2010-09-21 - (ISC)2 - Protecting patient privacy while enabling medical re…
2010-09-21 - (ISC)2 - Protecting patient privacy while enabling medical re…
 
2010-04-17 - PDAtotaal Usergroup meeting - Introductie in Windows Phone 7
2010-04-17 - PDAtotaal Usergroup meeting - Introductie in Windows Phone 72010-04-17 - PDAtotaal Usergroup meeting - Introductie in Windows Phone 7
2010-04-17 - PDAtotaal Usergroup meeting - Introductie in Windows Phone 7
 
2010-03-31 - VU Amsterdam - Experiences testing safety critical systems
2010-03-31 - VU Amsterdam - Experiences testing safety critical systems2010-03-31 - VU Amsterdam - Experiences testing safety critical systems
2010-03-31 - VU Amsterdam - Experiences testing safety critical systems
 

TOPAAS Versie 2.0, een praktische inleiding

  • 1. TOPAAS, een model in de praktijk Een pragmatische aanvliegroute voor de inschatting van betrouwbaarheid van ICT oplossingen
  • 2.
  • 5. Testen is extreem beperkt… • Een simpele 64 bits functie doortesten kost al 200 jaar • Efficiëntere aanpakken zijn in ontwikkeling • Maar in praktijk is software niet deterministisch!
  • 6. Resultaten uit het verleden… • De faalkans van software is zeer afhankelijk van het soort gebruik • Een trackrecord is maar een zeer beperkte indicatie voor de faalkans
  • 7. Probleem met de Maeslantkering • “Bewijs” uit het ongerijmde, vol met inhoudelijke fouten • Toonde wel aan dat de cijfers van TDT niet voor publieke verdediging geschikt waren
  • 8. TOPAAS • Task Oriented Probability of Abnormalities Analysis for Software • Ontwikkeld in 2005 tot 2010 • Ontwikkelteam: DNV, Movares, LogicaCMG, Refis, Intermedion, TU/e • Reviewteam: Delta Pi, NRG, UvA, Rijkswaterstaat
  • 9. TOPAAS • Centraal staat taakuitvoering • Gebruikt de Bayesiaanse kansopvatting als basis • Gebruikt vragenlijst om deze herhaalbaar te maken
  • 10. Physical View Development ViewProcess View Logical View 4+1 Modelling Scenarios
  • 12. Decompositie van taakuitvoering • Moet onderscheidbaar zijn en zichtbaar gedrag vertonen • Zo abstract mogelijk • Alleen splitsen als belangrijke parameters anders worden: – Ontwikkelteam – Gebruiksintensiteit
  • 14. Waar op te letten... • Gaat om direct bij de missie betrokken code • “Onterecht sluiten” kent een andere faalkans dan “Niet sluiten” • Afhandelen van falende hardware is andere taakuitvoering (en minimaal 2e orde object)
  • 15. Dingen die geen bouwstenen zijn • Operating systeem • Firmware • Objecten die geen output kennen
  • 16. TOPAAS en tunnels • Het ontwerp en de functiedefinities zijn in hoge mate gestandaardiseerd door LTS: – Afsluiting – Hoogtedetectie – Ventilatie – Nooddeuren – Incidentdetectie • Alleen RAMS-eisen liggen nog niet vast
  • 17. Scoring van TOPAAS • “ONBEKEND” scoren – gewoon doen als het onbekend is – scoren als strategische keuze is echt fout • Er wordt soms veel bijgesleept – Een competentie management organisatie eisen – Er moet kwaliteitsmanagement zijn – De architectuur moet specifieke views hebben – Traceerbaarheid moet met logisch bewijs zijn • Soms zijn draaiuren gewoon makkelijker
  • 18. Resultaten • Voor een normale ontwikkelaar 10-4 is realistisch: – Systems Engineering aanpak – JSTD-016 goed ingezet – Testen grondig doen • Voor een goede ontwikkelaar is 10-5 realistisch: – IEC 61508, SIL-4 – Goed testen van primaire taakuitvoering
  • 19. Wat praktische cijfers • Met redelijke cijfers via TOPAAS: “niet sluiten slagboom” levert 10-3 on demand • Op basis van ervaringsgegevens: “onterecht sluiten” ongeveer eens in de 12 jaar
  • 20. Wat gaat er binnenkort gebeuren? • Publicatie eerste wetenschappelijke TOPAAS artikel in QREI • Onderhoud op TOPAAS (versie 2.0) met onderwerpen: – Sterkere focus op goed modelleren taakuitvoering – Meetvoorschrift voor veel parameters

Editor's Notes

  1. Linux Kernel 2.6.11.8 Het wordt een wankel bouwwerk, in praktijk weten we niet eens welke bouwstenen in gebruik zijn en wat hun faalkans is, gegeven hun doelgebruik.
  2. Doel van de calibratie is dus de vaststelling van de kwaliteit van Pijl 2!!!
  3. SANDER Added views: Deployment view….