02 , 1 2 202
A9 8
d
• m S rS
• 7 K a
. h i Ob 7P
, N . O y eo P
, N . O AEGB I AFAG 7A IGEGC. G G I K E GP
LIE AG E I K G G G IAL 4 0 I
, - N . ug !
• 7 69 2 wn ~ t
2 839 12 f ::9 w R c a
2 . 4 2 1
2 . 4 2 1
242 2 2 2
3 2 .
2 . 4 2 1
32
:
: A@
?I 7 . 3/ / - -
i )
n ( /ooc wu r p h
i n ( 7?? ( @:37 3 ?
:? h [s .? ? t 3? :
e :?b b g [sd [ - A k
:? h R I I [ t
] :? [ a i S
i )
n ( /ooc wu r p h
i n ( 7?? ( @:37 3 ?
:? h [s .? ? t 3? :
e :?b b g [sd [ - A k
:? h R I I [ t
] :? [ a i S
i )
n ( /ooc wu r p h
i n ( 7?? ( @:37 3 ?
:? h [s .? ? t 3? :
e :?b b g [sd [ - A k
:? h R I I [ t
] :? [ a i S
i )
n ( /ooc wu r p h
i n ( 7?? ( @:37 3 ?
:? h [s .? ? t 3? :
e :?b b g [sd [ - A k
:? h R I I [ t
] :? [ a i S
dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,
dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,
dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,
dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,
dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,
- / 8.4 1 20 4/ - 4 - 0/
:
? ?
!
!
.
.
!
/ / . / . / / ./ . / /
/
/ / - . / -
-,
, /, , , - /, , , / /
, , , , , , - ,
, , -, . /, , .
L
L
L
L
L
L
!" = $"%& + ($"%) + ()
$"%* + ⋯ = ∑-./
0
(-
$"%-%&
L
L
L
L
L
L
-1 C E
- 2 .2 2 - 2 2 2
- 2 2
-2 2 2
-1 C E
- 2 .2 2 - 2 2 2
- 2 2
-2 2 2
-1 C E
- 2 .2 2 - 2 2 2
- 2 2
-2 2 2
- 2 E BI C
22
. 2 2
21 2
2 2
2
- 2 E BI C
22
. 2 2
21 2
2 2
2
. - R C E
1B
2
-
P O SLO I W I!
- 2 E BI C
22
. 2 2
21 2
2 2
2
!
-
- - - - -
- - - - -
- - - - -
- - - - -
- - - - -
-
-
- - - - -
Ω" " #$, &$, #', &', … C
- C
- - - - -
C !
- C
- C
- C
- C
- C
-
id , - h , ,.,
c e ., i , ,., Wk
, ,., , l , ,., h
h a . Ch . . Ch
, , b
id , -
c e - i - Wk C
- l . -
a - - . - .
. b
id , -
c e - i - Wk C
- l . -
a - - . - .
. b
Worst	case
!"#
$(&')
100
0
&'
!"#
High	
Reward
Worst	case
!"#
$(&')
100
0
&'
!"#
High	
Reward
Worst	case
!"#
$(&')
100
0
&'
!"#
High	
Reward
Worst	case
!"#
$(&')
100
0
&'
!"#
High	
Reward
!
C !
"# $ !
%# &
'#
C !
"# $ !
%# &
'#
C !
"# $ !
%# &
'#
C !
"# $ !
%# &
'#
! C
.
NO P I K
TS /. BC :? /? :5 . C:=: C:? C B 5 / :
P R TS CC B ? C 5?= C5 ( / )5
O N T KR S !
/ B C ? = / I ? ? : C B : B
P : C 5 :) ( .
a P T cK eO aR aI b a Sd N
/. BC :? /? :5 . C:=: C:? C B 5 / :
CC B ? C 5?= C5 ( / )5
OPS S T KI b a N
/. BC :? /? :5 . C:=: C:? C B 5 / :
R CC B ? C 5?= C5 ( / )5
O b NT S c I dP bK
a /. BC :? /? :5 . C:=: C:? C B 5 / :
R a CC B ? C 5?= C5 ( / )5
N e T O P dR N K e b dR !
ca / B C ? = / I ? ? : C B : B
S ca : C 5 :) ( .
N !!!
PO / B C ? = / I ? ? : C B : B
K PO : C 5 :) ( .
.
E E A
8 !
!
- 2 E BI C
22
2 2
2
. 2 2
21 2
. E . K
L L K
.
P ! 2:11 1 3 L D
M a ./:
3 9 5 1 3/:1 71 72- 7 11 9/:
. R
. E
. .
.
! !
!
!
!
!
. 2
. 2 1
. 2 1
. A 12
A 12
?
- , . 1 21 ?
-: 2 - - , ( 1- - - , (
) )
?
. 1
2
1 ? 2 .
.
. 2 1
) ( 2 . 2 2 1 1 : !", $", !%, $%, …
E )
T?
: / . : /
A :: : .
: :
.
. : . . . . . / . . : .
A :: : / . ..
: : .
.
: .
:
. .
! = { $%, '% , $(, '( , … }
! = { $%, '% , $(, '( , … }
!(#, %)' = { #*, %* , #+, %+ , … }
!(#, %)' = { #*, %* , #+, %+ , … }
!(#, %)' = { #*, %* , #+, %+ , … }
.
?
ML ? 7 C7 7 ? 7 7? 7 ? ? 4 C7 ? = 7
I ML : C H 47 : . / 2 7 7 H 47 &C
O Z I L N E
8 . : . : . :/: ?= 8.
= AAA :? ?/ :8 A.
8
& /= = : ? = : E : 8 E 8 8 8=
H & 7 & E= = 7 ?. ? E=
A
SR 1//8 0 (& ) . G ADA G:G H IKGG D :HN LA=
P Q SR GI MMM N K K D M: L )2=.M8 0 ? : KH N K K D((I
!"
#"
!"
#"
!
"#
$#
!
"#
$#
!($#|"#)
.
.
.
!
.
, ) . ( ) C
L D !
:CDCNC ACO
1CCM :CG DLNAC C P 5C N G 1LCO P LNH CP IL 5G H
0L MNC C OGRC NRCT L DC :CG DLNAC C P 5C N G ( ' 9 MCN 5G H
N OP :C GL 9LIGAT 8MPG G PGL ( ' 9 MCN 5G H
:98 N OP :C GL 9LIGAT 8MPG G PGL - 4 BCMP :COC NA 9 MCN :CRGCS L C 5G H
I LNGP O DLN 4 RCNOC :CG DLNAC C P 5C N G ( 9 MCN 5G H
MMNC PGACO GM 5C N G RG 4 RCNOC :CG DLNAC C P 5C N G ( ) 9 MCN 5G H
9: (,- MMNC PGACO GM 5C N G RG 4 RCNOC :CG DLNAC C P 5C N G 99 5G H
DC IPG C P :CG DLNAC C P 5C N G DLN PL L L O 1NGRG 99 5G H
4 PNLB APGL LD 4 RCNOC :CG DLNAC C P 5C N G 99 5G H
4 RCNOC :CG DLNAC C P 5C N G OCB L 0NGPGA I P PC L C 5G H
4 GP PGL 5C N G DLN 8 NL LP OG 4 PC L C 5G H
:L LP IC N O PL MI T P IC PC GO T G GP PGL L C 5G H
422: 9 ( ' - 1CCM G GA M MCN O MMIC C P NT RGBCL L C 5G H
!
!

Safe Reinforcement Learning

  • 1.
    02 , 12 202 A9 8
  • 2.
    d • m SrS • 7 K a . h i Ob 7P , N . O y eo P , N . O AEGB I AFAG 7A IGEGC. G G I K E GP LIE AG E I K G G G IAL 4 0 I , - N . ug ! • 7 69 2 wn ~ t 2 839 12 f ::9 w R c a
  • 3.
    2 . 42 1 2 . 4 2 1 242 2 2 2 3 2 . 2 . 4 2 1 32
  • 6.
    : : A@ ?I 7. 3/ / - -
  • 7.
    i ) n (/ooc wu r p h i n ( 7?? ( @:37 3 ? :? h [s .? ? t 3? : e :?b b g [sd [ - A k :? h R I I [ t ] :? [ a i S
  • 8.
    i ) n (/ooc wu r p h i n ( 7?? ( @:37 3 ? :? h [s .? ? t 3? : e :?b b g [sd [ - A k :? h R I I [ t ] :? [ a i S
  • 9.
    i ) n (/ooc wu r p h i n ( 7?? ( @:37 3 ? :? h [s .? ? t 3? : e :?b b g [sd [ - A k :? h R I I [ t ] :? [ a i S
  • 10.
    i ) n (/ooc wu r p h i n ( 7?? ( @:37 3 ? :? h [s .? ? t 3? : e :?b b g [sd [ - A k :? h R I I [ t ] :? [ a i S
  • 12.
    dp ) ( ua Ou a A R O : ( S i c O A w k y ( : d c lr e G x t u a! . B ( P i : On g y m do u ( uo - n ! + ? ,
  • 13.
    dp ) ( ua Ou a A R O : ( S i c O A w k y ( : d c lr e G x t u a! . B ( P i : On g y m do u ( uo - n ! + ? ,
  • 14.
    dp ) ( ua Ou a A R O : ( S i c O A w k y ( : d c lr e G x t u a! . B ( P i : On g y m do u ( uo - n ! + ? ,
  • 15.
    dp ) ( ua Ou a A R O : ( S i c O A w k y ( : d c lr e G x t u a! . B ( P i : On g y m do u ( uo - n ! + ? ,
  • 16.
    dp ) ( ua Ou a A R O : ( S i c O A w k y ( : d c lr e G x t u a! . B ( P i : On g y m do u ( uo - n ! + ? ,
  • 20.
    - / 8.41 20 4/ - 4 - 0/ :
  • 23.
  • 24.
  • 28.
  • 30.
  • 31.
  • 37.
  • 39.
    / / ./ . / / ./ . / / / / / - . / -
  • 40.
    -, , /, ,, - /, , , / / , , , , , , - , , , -, . /, , .
  • 41.
  • 42.
    L L L !" = $"%&+ ($"%) + () $"%* + ⋯ = ∑-./ 0 (- $"%-%&
  • 43.
  • 44.
  • 49.
    -1 C E -2 .2 2 - 2 2 2 - 2 2 -2 2 2
  • 50.
    -1 C E -2 .2 2 - 2 2 2 - 2 2 -2 2 2
  • 51.
    -1 C E -2 .2 2 - 2 2 2 - 2 2 -2 2 2
  • 52.
    - 2 EBI C 22 . 2 2 21 2 2 2 2
  • 53.
    - 2 EBI C 22 . 2 2 21 2 2 2 2
  • 54.
    . - RC E 1B 2 - P O SLO I W I!
  • 55.
    - 2 EBI C 22 . 2 2 21 2 2 2 2
  • 58.
  • 59.
  • 60.
    - - -- - - - - - -
  • 61.
    - - -- - - - - - - - - - - -
  • 62.
  • 63.
  • 64.
    - - -- -
  • 65.
    Ω" " #$,&$, #', &', … C - C
  • 66.
    - - -- - C !
  • 67.
  • 68.
  • 69.
  • 70.
  • 71.
  • 73.
  • 74.
    id , -h , ,., c e ., i , ,., Wk , ,., , l , ,., h h a . Ch . . Ch , , b
  • 75.
    id , - ce - i - Wk C - l . - a - - . - . . b
  • 76.
    id , - ce - i - Wk C - l . - a - - . - . . b
  • 78.
  • 79.
  • 80.
  • 81.
  • 84.
  • 89.
    C ! "# $! %# & '#
  • 90.
    C ! "# $! %# & '#
  • 91.
    C ! "# $! %# & '#
  • 92.
    C ! "# $! %# & '#
  • 93.
  • 95.
  • 96.
    NO P IK TS /. BC :? /? :5 . C:=: C:? C B 5 / : P R TS CC B ? C 5?= C5 ( / )5
  • 97.
    O N TKR S ! / B C ? = / I ? ? : C B : B P : C 5 :) ( .
  • 98.
    a P TcK eO aR aI b a Sd N /. BC :? /? :5 . C:=: C:? C B 5 / : CC B ? C 5?= C5 ( / )5
  • 99.
    OPS S TKI b a N /. BC :? /? :5 . C:=: C:? C B 5 / : R CC B ? C 5?= C5 ( / )5
  • 100.
    O b NTS c I dP bK a /. BC :? /? :5 . C:=: C:? C B 5 / : R a CC B ? C 5?= C5 ( / )5
  • 101.
    N e TO P dR N K e b dR ! ca / B C ? = / I ? ? : C B : B S ca : C 5 :) ( .
  • 102.
    N !!! PO /B C ? = / I ? ? : C B : B K PO : C 5 :) ( .
  • 103.
  • 104.
  • 108.
  • 109.
    - 2 EBI C 22 2 2 2 . 2 2 21 2
  • 110.
    . E .K L L K
  • 111.
  • 112.
    P ! 2:111 3 L D M a ./: 3 9 5 1 3/:1 71 72- 7 11 9/:
  • 113.
  • 114.
  • 115.
  • 117.
  • 121.
  • 125.
  • 127.
  • 128.
  • 129.
  • 130.
    - , .1 21 ? -: 2 - - , ( 1- - - , ( ) )
  • 131.
  • 132.
    1 ? 2. .
  • 133.
  • 134.
    ) ( 2. 2 2 1 1 : !", $", !%, $%, … E ) T?
  • 136.
    : / .: / A :: : . : :
  • 137.
    . . : .. . . . / . . : . A :: : / . .. : : . . : . : . .
  • 138.
    ! = {$%, '% , $(, '( , … }
  • 139.
    ! = {$%, '% , $(, '( , … }
  • 140.
    !(#, %)' ={ #*, %* , #+, %+ , … }
  • 141.
    !(#, %)' ={ #*, %* , #+, %+ , … }
  • 142.
    !(#, %)' ={ #*, %* , #+, %+ , … } .
  • 143.
    ? ML ? 7C7 7 ? 7 7? 7 ? ? 4 C7 ? = 7 I ML : C H 47 : . / 2 7 7 H 47 &C
  • 146.
    O Z IL N E 8 . : . : . :/: ?= 8. = AAA :? ?/ :8 A.
  • 147.
    8 & /= =: ? = : E : 8 E 8 8 8= H & 7 & E= = 7 ?. ? E=
  • 148.
    A SR 1//8 0(& ) . G ADA G:G H IKGG D :HN LA= P Q SR GI MMM N K K D M: L )2=.M8 0 ? : KH N K K D((I
  • 150.
  • 151.
  • 152.
  • 153.
  • 154.
  • 155.
  • 156.
  • 158.
  • 159.
  • 160.
    , ) .( ) C
  • 161.
  • 162.
    :CDCNC ACO 1CCM :CGDLNAC C P 5C N G 1LCO P LNH CP IL 5G H 0L MNC C OGRC NRCT L DC :CG DLNAC C P 5C N G ( ' 9 MCN 5G H N OP :C GL 9LIGAT 8MPG G PGL ( ' 9 MCN 5G H :98 N OP :C GL 9LIGAT 8MPG G PGL - 4 BCMP :COC NA 9 MCN :CRGCS L C 5G H I LNGP O DLN 4 RCNOC :CG DLNAC C P 5C N G ( 9 MCN 5G H MMNC PGACO GM 5C N G RG 4 RCNOC :CG DLNAC C P 5C N G ( ) 9 MCN 5G H 9: (,- MMNC PGACO GM 5C N G RG 4 RCNOC :CG DLNAC C P 5C N G 99 5G H DC IPG C P :CG DLNAC C P 5C N G DLN PL L L O 1NGRG 99 5G H 4 PNLB APGL LD 4 RCNOC :CG DLNAC C P 5C N G 99 5G H 4 RCNOC :CG DLNAC C P 5C N G OCB L 0NGPGA I P PC L C 5G H 4 GP PGL 5C N G DLN 8 NL LP OG 4 PC L C 5G H :L LP IC N O PL MI T P IC PC GO T G GP PGL L C 5G H 422: 9 ( ' - 1CCM G GA M MCN O MMIC C P NT RGBCL L C 5G H
  • 164.
  • 165.