Learning Intrusion Prevention Policies Through Optimal Stopping
Självlärande system för cybersäkerhet
1. 1/6
Självlärande system för cybersäkerhet
CDIS Besök av riksdagens försvarsutskott (S)
Kim Hammar, Doktorand
Handledare: Prof. Rolf Stadler & Prof. Pontus Johnson
kimham@kth.se
CDIS, Centrum för cyberförsvar och informationssäkerhet
NSE, Avdelningen för nätverk och systemteknik
KTH Kungliga Tekniska Högskolan
20 Okt, 2021
2. 2/6
Utmaning: Automatiserade och föränderliga attackmetoder
I Utmaningar:
I Attackmetoder är i en konstant
förändring och utveckling
I Komplicerade IT-infrastrukturer
Attackerare Klienter
. . .
Försvarare
1 IDS
1
alarm
Gateway
7 8 9 10 11
6
5
4
3
2
12
13 14 15 16
17
18
19
21
23
20
22
24
25 26
27 28 29 30 31
3. 2/6
Forskningsmål: Automatiserad säkerhet och inlärning
I Utmaningar:
I Attackmetoder är i en konstant
förändring och utveckling
I Komplicerade IT-infrastrukturer
I Forskningsmål:
I Automatisera säkerhetsfunktioner
I Anpassa system till föränderliga
attackmetoder
Attackerare Klienter
. . .
Försvarare
1 IDS
1
alarm
Gateway
7 8 9 10 11
6
5
4
3
2
12
13 14 15 16
17
18
19
21
23
20
22
24
25 26
27 28 29 30 31
4. 2/6
Metod: formella modeller & förstärkningsinlärning
I Utmaningar:
I Attackmetoder är i en konstant
förändring och utveckling
I Komplicerade IT-infrastrukturer
I Forskningsmål:
I Automatisera säkerhetsfunktioner
I Anpassa system till föränderliga
attackmetoder
I Forskningsmetod:
I Formella modeller av nätverkssystem
I Insamling av data och mätvärden
I Beräkning av optimala
säkerhetsstrategier m.h.a
förstärkningsinlärning
I Implementera säkerhetsstrategier i
självlärande system
Attackerare Klienter
. . .
Försvarare
1 IDS
1
alarm
Gateway
7 8 9 10 11
6
5
4
3
2
12
13 14 15 16
17
18
19
21
23
20
22
24
25 26
27 28 29 30 31
5. 3/6
Vår metod för att automatiskt beräkna säkerhetsstrategier
s1,1 s1,2 s1,3 . . . s1,n
s2,1 s2,2 s2,3 . . . s2,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Emuleringssystem
IT
infrastruktur
Modellskattning &
Systemidentifiering
Mappning av
säkerhetsstrategi π
Selektiv
replikering
Implementation av
säkerhetsstrategi π
Simuleringssystem
Förstärkningsinlärning &
optimering
Utvärdering &
skattning av modeller
Automatiserad säkerhet &
självlärande system
6. 3/6
Vår metod för att automatiskt beräkna säkerhetsstrategier
s1,1 s1,2 s1,3 . . . s1,n
s2,1 s2,2 s2,3 . . . s2,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Emuleringssystem
IT
infrastruktur
Modellskattning &
Systemidentifiering
Mappning av
säkerhetsstrategi π
Selektiv
replikering
Implementation av
säkerhetsstrategi π
Simuleringssystem
Förstärkningsinlärning &
optimering
Utvärdering &
skattning av modeller
Automatiserad säkerhet &
självlärande system
7. 3/6
Vår metod för att automatiskt beräkna säkerhetsstrategier
s1,1 s1,2 s1,3 . . . s1,n
s2,1 s2,2 s2,3 . . . s2,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Emuleringssystem
IT
infrastruktur
Modellskattning &
Systemidentifiering
Mappning av
säkerhetsstrategi π
Selektiv
replikering
Implementation av
säkerhetsstrategi π
Simuleringssystem
Förstärkningsinlärning &
optimering
Utvärdering &
skattning av modeller
Automatiserad säkerhet &
självlärande system
8. 3/6
Vår metod för att automatiskt beräkna säkerhetsstrategier
s1,1 s1,2 s1,3 . . . s1,n
s2,1 s2,2 s2,3 . . . s2,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Emuleringssystem
IT
infrastruktur
Modellskattning &
Systemidentifiering
Mappning av
säkerhetsstrategi π
Selektiv
replikering
Implementation av
säkerhetsstrategi π
Simuleringssystem
Förstärkningsinlärning &
optimering
Utvärdering &
skattning av modeller
Automatiserad säkerhet &
självlärande system
9. 3/6
Vår metod för att automatiskt beräkna säkerhetsstrategier
s1,1 s1,2 s1,3 . . . s1,n
s2,1 s2,2 s2,3 . . . s2,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Emuleringssystem
IT
infrastruktur
Modellskattning &
Systemidentifiering
Mappning av
säkerhetsstrategi π
Selektiv
replikering
Implementation av
säkerhetsstrategi π
Simuleringssystem
Förstärkningsinlärning &
optimering
Utvärdering &
skattning av modeller
Automatiserad säkerhet &
självlärande system
10. 3/6
Vår metod för att automatiskt beräkna säkerhetsstrategier
s1,1 s1,2 s1,3 . . . s1,n
s2,1 s2,2 s2,3 . . . s2,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Emuleringssystem
IT
infrastruktur
Modellskattning &
Systemidentifiering
Mappning av
säkerhetsstrategi π
Selektiv
replikering
Implementation av
säkerhetsstrategi π
Simuleringssystem
Förstärkningsinlärning &
optimering
Utvärdering &
skattning av modeller
Automatiserad säkerhet &
självlärande system
11. 3/6
Vår metod för att automatiskt beräkna säkerhetsstrategier
s1,1 s1,2 s1,3 . . . s1,n
s2,1 s2,2 s2,3 . . . s2,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Emuleringssystem
IT
infrastruktur
Modellskattning &
Systemidentifiering
Mappning av
säkerhetsstrategi π
Selektiv
replikering
Implementation av
säkerhetsstrategi π
Simuleringssystem
Förstärkningsinlärning &
optimering
Utvärdering &
skattning av modeller
Automatiserad säkerhet &
självlärande system
12. 3/6
Vår metod för att automatiskt beräkna säkerhetsstrategier
s1,1 s1,2 s1,3 . . . s1,n
s2,1 s2,2 s2,3 . . . s2,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Emuleringssystem
IT
infrastruktur
Modellskattning &
Systemidentifiering
Mappning av
säkerhetsstrategi π
Selektiv
replikering
Implementation av
säkerhetsstrategi π
Simuleringssystem
Förstärkningsinlärning &
optimering
Utvärdering &
skattning av modeller
Automatiserad säkerhet &
självlärande system
15. 6/6
Referenser
I Finding Effective Security Strategies through Reinforcement
Learning and Self-Play1
I Preprint open access:
https://arxiv.org/abs/2009.08120
I Learning Intrusion Prevention Policies through Optimal
Stopping2
I Preprint open access:
https://arxiv.org/pdf/2106.07160.pdf
1
Kim Hammar and Rolf Stadler. “Finding Effective Security Strategies through Reinforcement Learning and
Self-Play”. In: International Conference on Network and Service Management (CNSM). Izmir, Turkey, Nov. 2020.
2
Kim Hammar and Rolf Stadler. Learning Intrusion Prevention Policies through Optimal Stopping. 2021. arXiv:
2106.07160 [cs.AI].