2019年電子情報通信学会ソサイエティ大会 チュートリアルセッション『異常検知と教師なし学習の理論と応用』 https://www.ieice-taikai.jp/2019society/jpn/webpro/_html/ess_kikaku.html#at_2

2. n
•
•
•
•
n
•
•

3. n
n
•
•
•
n
•

4. n
•
!
"
n
•

5. n
•
!
"
n
•
#

6. n
•
!
"
n
•
#

7. n
•
•
•
n
n

8. n
•
•
n
•
•
•

9. n
•
•
n
•
•
•

10. n
•
•
n
•
•
•

11. n
•
•
n
•
•
•

12. n
•
•
n
•
•
•

13. n
•
•
n
•
•
•
“ ”
• “ ”
• “ ”

14. n
•
•
n
•
•
•
“ ”
• “ ”
• “ ”

15. n
•
•
•
n
•
•

16. n
•
n
•
n
•
n

18. n
n

19. n ! = #$ $%&
'
•
n
•
•
•
n

20. n
•
•
n
•
n

21. n ! = #$ $%&
'
• # ∼ ) # , supp ) ⊆ 0, 1 1
n
•
• 2 ∶= # ∣ ) # > 6
! 2
7
82 ≔ {# ∣ 7 # > 0}
#
6
2
) #

22. n
• ! ∶= $ ∣ & $ > (
• !) ∶= $ ∣ & $ ≤ (
n
• ! ≈ ,! = {$ ∣ . $ > 0} .

23. n
• min$ % & ≔ ( ) △ +)
) = - ∣ / - > 1 +) = {- ∣ & - > 0}
•
/
n
• min$∈ℱ 7 &
•
8′ = :; ;<=
>
: ∼ @ : , @ 0, 1 C
8 D = 1
8′ D = −1
7(&) ≔
1
1 + 1
IJ∼KL sign & - = −1 +
1
1 + 1
IO∼PL sign(& : ) = 1
) △ +) ) +)

24. n
• ! " # = 1 = & "
• ! " # = −1 = ( "
n
• ! ", # = ! " # = 1 ! # = 1 + ! " # = −1 ! # = −1
= +& " + 1 − + ((")
• + = 1/1 + /
"
( "
"
/
& "
0
120
( "
"
0
120
1
120
& "
"
0
120
3 " > 0 3 " ≤ 0
7

25. n
•
! " = 1 =
%
%&'
, ! ) " = 1 = *())
•
! " = −1 =
'
%&'
, ! ) " = −1 = .())
min2∈ℱ 5 6
≔
1
1 + 9
:;∼=> sign 6 ) = −1
+
9
1 + 9
:A∼B> sign(6 C ) = 1

26. n
• ! ∶= $ ∣ & $ > (
• !) ∶= $ ∣ & $ ≤ (
n
• ! ≈ ,! = {$ ∣ . $ > 0} .
n
• . = argmin7∈ℱ : .
:(.) ≔
1
1 + (
@A∼CD sign . $ = −1 +
(
1 + (
@G∼HD sign(. I ) = 1

27. ! " ≔ $ △ &$ = | ) > + △ " > 0 |
- " ≔
.
./0
12∼45 sign " : = −1 +
0
./0
1>∼?5 sign " @ = 1
n
• ("B) ! "B → 0 ⇔ - "B → -FGH
• ! " = 0 ⇔ - " = -FGH
• ) :
•
n
• " ℱ J → ∞ ! &" = 0

28. n
• ! ∶= $ ∣ & $ > (
• !) ∶= $ ∣ & $ ≤ (
n
• + = argmin2∈ℱ 5 +
n
• + ℱ
5(+) ≔
1
1 + (
;<∼>? sign + $ = −1 +
(
1 + (
;B∼C? sign(+ D ) = 1

29. n
• ! " ≔
$
$%&
'(∼*+ sign " 0 = −1 +
&
$%&
'5∼6+ sign " 7 = 1
n
•
• + sign(" 0 ) = :
→ ℓ " 0 , : : = max{0, 1 − :" 0 }
•
E!(") ≔
1
1 + F G
H
IJ$
K
ℓ " 0I , −1 +
F
1 + F L
H
MJ$
N
ℓ " 7M , 1

30. n

31. n

32. n

34. n
n
n

35. n
•
n
•
! = # $ ∈ ℝ'
$()
*
+ = , - ∈ ℝ'
-()
.
• / ⊆ 1 ≔ {1, 2, … , 1}
n
• ! = # $
$()
*
+ = , -
-()
.
/ ⊆ 1

36. n ! ⊆ [$]
• & = ( )
)*+
,
∼ . / , 1 = 2 3
3*+
4
∼ 5(/)
• ! ⊆ $
. /89 = 5(/89)
. /89∪{<} ≠ 5(/89∪{<})
., 5
•
•
∀@ ∈ !
!
!B
. = 5
. ≠ 5 . ≠ 5

37. n ! ⊆ #
• $ %&' = ) %&'
• $ %&'∪{,} ≠ )(%&'∪{,})
n !

38. n
• !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)

39. n
• !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
∀. ∈ =
=

40. n
• !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
;
;<
> 0
= 0! =
;<
;
∀. ∈ ;
;

41. n
• !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
;
;<
> 0
= 0! =
;<
; ;
;<
∀. ∈ ;
;

42. !
n
• "##$ = dist(+##$, -##$) (/, /′)
"##$ = 1
= 0, (if +##$ = -##$)
> 0, (if +##$ ≠ -##$)
+ 678 = -(678)
+ 678∪{#} ≠ -(678∪{#})
!
!<
> 0
= 0" =
!<
! !
!<
∀/ ∈ !
"##$ = dist(+##$, -##$)

43. dist(&''(, *''()
n
• ,-
. / = ∫2-
3
& / 4/ 5(/) = ∫2-
3
* / 4/
KS &, * ≔ sup
3
|. / − 5(/)|
n
• =(>log>)
•
Pr KS &, ̂& ≤ F ≥ 1 − 2 exp(−2FL>)
& ̂&
/
. /
5(/)
KS(&, *)

44. dist(&''(, *''()
n
• ,-
. / = ∫2-
3
& / 4/ 5(/) = ∫2-
3
* / 4/
KS &, * ≔ sup
3
|. / − 5(/)|
n
•
• dist(&''(, *''()
/
. /
5(/)
KS(&, *)

45. n
n
•
!" ≔ $%cos) + $+sin)
KS(1(!"), 4(!"))
• )
$%
$+
E"∼789:;<=[KS (1(!"), 4(!"))]

46. n
n
•
! !", !$, … , !& ∼ Uniform
/"
/$
E1∼2345678[KS (=(>1), @(>1))]
=
1
D
E
FG"
&
KS (=(>1H
), @(>1H
))

47. n
• !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
;
;
;<
> 0
= 0! =
;<
; ;
;<
∀. ∈ ;
!""# = dist(*""#, ,""#)

48. n !
•
n
•
• "( $ − ! $)
' "($()*log*)
./0
= argmin78∈ : ;
<,<>∈ 78
:
'<<> , s. t. /0
= ! !

49. n
• !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
;
;
;<
> 0
= 0! =
;<
; ;
;<
∀. ∈ ;
!""# = dist(*""#, ,""#)

50. n ! ⊆ #
• $ %&' = ) %&'
• $ %&'∪{,} ≠ )(%&'∪{,})
n !
n 1
• 2!3 = argmin&'∈ ; ∑,,,>∈ &'
;
?,,> , s. t. !3 = 1
?,,> = dist($,,>, ),,>)

51. !"
n
• ∀$ ∈ "
&'' > 0 ∀$* ≠ $, &''- > 0.
n !"
• /, 0
Pr !" ≠ " ≤ 45exp −
/:
8<= > + 5 5 − 1 exp −20> + exp −
/:
8<= B
•
lim
F→H
Pr !" ≠ " = 0
• J
> = K
<=
/: log
5
J
"
"N
> 0
= 0
& =

52. n ! ⊆ #
• $ %&' = ) %&'
• $ %&'∪{,} ≠ )(%&'∪{,})
n 1
• 2!3 = argmin&'∈ ; ∑,,,>∈ &'
;
?,,> , s. t. !3 = 1
?,,> = dist($,,>, ),,>)
n

53. n
•
•
n
•

54. n
• ! "
• ! " #

55. !
n

57. n
n

58. n
•
n
•
n

59. n ! = #$ = %$, '$ ∈ ℝ*
×ℝ $,-
.
n ' = / %; 1 1
• / %; 1 = 1, %
• / %; 1 =
n
21 = argmin
9
:
;∈<
ℓ(#; 1) ℓ

60. n
!
! ∖ #$
%& = argmin
.
/
0∈2
ℓ(#; &) %&7$ = argmin
.
/
0∈2∖ 08
ℓ(#; &)
#$
#$
#$

61. n
• ! "#
! ∖ "#
• %&'# = argmin
/
∑1∈3∖ 14
ℓ("; &)
%& "#
9& = argmin
/
:
1∈3
ℓ("; &) 9&'# = argmin
/
:
1∈3∖ 14
ℓ("; &)

62. n
• ! " = !, %&'( − %&
%&'(
n
• *+ ! = ∑-∈/0
∇2ℓ(5; %&)
•
!, %&'( − %& ≈ 9
-∈/0
ℓ 5; %&'( − ℓ 5; %&
• !, %&'( − %&/ ≈

63. n
• ! = #$ = %$, '$ $()
*
• +,
• -
. = 1, 2, … , 2
34 = -, +,54 − +,
+. = argmin
4
34
! ← ! ∖ #+4

64. n !"#$
• %"#$
%"#$ = argmin
-
.
/∈1∖ /3
ℓ(6; ")
n !"#$ − !"
•
%"#$ − %"

65. n
• ! " = !, %&'( − %& *(
n +&'( − +&
•
•

66. n !"#$ − !"
n
• &"#$ − &"
ℓ (; " =
+
,
- − ", / ,
• &"#$ − &"

67. n ℓ "; $ =
&
'
( − $, + '
• , = +&, +', … , +.
/ ∈ ℝ. ×3
• ,/,
4$56 − 4$ =
4$, +6 − (6
1 − +6
/ ,/, 5&+6
,/
, 5&
+6

68. n
• !" #$%&'# !" = #$%&')&'
%&'
)&' = # *" + %&'
,-
(/ − 1(# *"))
•
• #∗ = %&'
-/5
# /∗ = %&'
-/5
)&'
• #$%&'#
*",6 − *" =
*", 86
∗
− /6
∗
1 − 8∗
6
$
#∗$#∗ ,-86
∗
#∗$
#∗ ,-
86
∗

69. n ℓ "; $
• %&' =
)
*
∑,-)
*
∇'
/
ℓ(",; 1$)
•
3$45 − 3$ ≈ −
1
9
%&'
4)
∇'ℓ("5; 3$)
n

70. n
•
•
n
•
•

71. n
• ! " = !, %&'( − %& *(
n +&'( − +&
•
•
n
•
•

72. n
• ! " = !, %&'( − %& *(
n +&'( − +&
•
•
n
•
•
•

73. n
!"#$ − !"
•
•
n
•
• &"#$ − &"
!"#$ − !"

74. n
• ! "
← !$
• % = 1, 2, … , +
,- ←
"
|/0|
∑2∈/0
∇5ℓ(8; ! - )
! -;"
← ! -
− =-,-
! " = !$
! >
! ?
! @
! A
! B
! C
! D
! E
F-
=-

75. n !
• "#$
%
← "'
• ( = 1, 2, … , .
/#$,0 ←
%
|23|
∑5∈23∖{59} ∇<ℓ(?; "#$
0
)
"#$
0B%
← "#$
0
− D0/#$,0
" % = "'
" E
" F
" G
" H
" I
" J
" K
" L
?$ ∈ M0
N3
|23|
∇<ℓ(?$; " 0
)
M0
D0

76. n !
• "#$
%
← "'
• ( = 1, 2, … , .
/#$,0 ←
%
|23|
∑5∈23∖{59} ∇<ℓ(?; "#$
0
)
"#$
0B%
← "#$
0
− D0/#$,0
" % = "'
" E
" F
" G
" H
" I
" J
" K
" L
?$ ∈ M0
?$ ∈ M0
N3
|23|
∇<ℓ(?$; " 0
)
M0
D0

77. n !
• "#$
%
← "'
• ( = 1, 2, … , .
/#$,0 ←
%
|23|
∑5∈23∖{59} ∇<ℓ(?; "#$
0
)
"#$
0B%
← "#$
0
− D0/#$,0
E0
D0
" % = "'
" F
" G
" H
" I
" J
" K
" L
" M
?$ ∈ E0
?$ ∈ E0
?$ ∈ E0
"#$
M
N3
|23|
∇<ℓ(?$; " 0
)

78. n
• ! ̃#$ = !, '($
)
− ' )
+

79. !"#
$
− ! $
n &#
n !"#
$
− ! $
Δ!"# ≔
)* #
+* #
,$"-,$". … ,* # 0-∇2ℓ(&#; ! * # )
• 7 8 &#
• ,9 ≔ : − )9;9
• ;9 ≔
-
<=
∑?∈<=
∇2
.
ℓ(&; ! 9 )
A

80. !"#
$
− ! $
n &
!"#
'()
− ! '()
= !"#
'
− +',"#,' − ! '
− +','
= !"#
'
− ! '
− +' ,"#,' − ,'
•
,"#,' − ,' ≈ /'(!"#
'
− ! ' )
n
!"#
$
− ! $
≈ (2 − +$")/$"))(!"#
$")
− ! $")
)
≈ 3$")3$"4 … 36 # ()(!"#
6 # ()
− ! 6 # ()
)
= 3$")3$"4 … 36 # ()
78 9
:8 9
∇<ℓ(>#; ! 6 #
)
3$")

81. n
• ! " = !, %&'( − %& *(
n +&'( − +&
•
•
n
•
•
•
Δ&'( ≔
./ (
0/ (
12'312'4 … 1/ ( 63∇8ℓ(*(; & / ( )

82. n
• !, Λ > 0 !& ≼ ∇)
*
ℓ(-; /) ≼ Λ&
n
• -1
/21
3
− / 3
− Δ/21 ≤ 2(ℎ1 ! * + ℎ1 Λ *)
ℎ1(:) ≔
<= >
?= >
∏ABC 1 DE
32E
1 − GA: ∇)ℓ -1; / C 1
Δ/21 /21
3
− / 3

83. n
• ∇"
#
ℓ %; '( − ∇"
#
ℓ(%; '#) ≤ - '( − '#
n
• ∇"ℓ(%; ') ≤ . ∇"
#
ℓ(%; ') ≼ Λ1
2 = 4(5/ 7)
• %8
'98
:
− ' :
− Δ'98 ≤
<=:>=?
@
expD <@ :
7
Δ'98 '98
:
− ' :

84. n
• ! " = !, %&'( − %& *(
n +&'( − +&
•
•
•
n
• !
• "

85. !"# = %, '(#
)
− '
)
n
• (,-, .-, ' - )
n 0 ̂"# = %, Δ'(#
̂"# ← 0, ∀0
6 = 7 − 1, 7 − 2, …
(,-, .-, ' - )
̂"# ← ̂"# +
<=
>=
%, ∇@ℓ(B#; ' - ) , ∀B# ∈ ,-
% % ← % − .-E-%
%

86. !"# = %, '(#
)
− '
)
n Δ'(#
• Δ'(# ≔
-. /
0. /
1)(21)(3 … 15 # 62∇8ℓ(;#; ' 5 #
)
> ?
•
>2 ? , >3 ? , … >@ ? ;#
Δ'(# ≔ A
BC2
@
D5E #
F5E #
1)(21)(3 … 15E # 62∇8ℓ(;#; ' 5E # )

87. !"# = %, '(#
)
− '
)
n Δ'(# ̂"# = %, Δ'(#
̂"# = %, Δ'(# = -
./0
1
234 #
534 #
%, 6)(06)(7 … 634 # 90∇;ℓ(>#; ' 34 # )
n
• % A ≔ 6A906A97 … 6)(0%
̂"# = %, Δ'(# = -
./0
1
234 #
534 #
% 34 # , ∇;ℓ(>#; ' 34 # )
• % A
% A = 6A90% A90 = % A90 − 2ACA% A90

88. !
n ! ! ← ! − $%&%!
&% =
(
)*
∑,∈)*
∇/
0
ℓ(3; 5 % )
• ∇/
0
ℓ(3; 5 % )
n
• ∇/
0
ℓ 3; 5 % !
• ∇/
0
ℓ 3; 5 % ! = ∇/ ∇/ℓ 3; 5 % , !

89. n
• ̃"# = %, '(#
)
− ' )
n
•

90. n
•
•
•
n
•
•

91. n
n
n
!"# = %, '(#
)
− ' )
• %
% = ∑,∈./
∇1ℓ(4; 6') , %, '(# − ' ≈ ∑,∈./
ℓ 4; '(# − ℓ 4; '
n
• ̃"# = %, '(#
)
− ' )

92. ̃"# = %, '(#
)
− ' )
n
n
Kendall’s tau Jaccard Index
K&L K&L
Adult .93 (.02) .85 (.07) .80 (.10) .60 (.17)
20News .94 (.05) .82 (.15) .79 (.15) .52 (.19)
MNIST .95 (.02) .70 (.15) .83 (.10) .41 (.16)
%, '(#
)
− ' )
%, '(#
)
− ' )
%, '(#
)
− ' )

93. ̃"# = %, '(#
)
− ' )
n
n
Kendall’s tau Jaccard Index
K&L K&L
Adult .75 (.10) .54 (.12) .59 (.16) .32 (.11)
20News .45 (.12) .37 (.12) .25 (.08) .11 (.07)
MNIST .45 (.12) .27 (.16) .37 (.15) .27 (.12)
%, '(#
)
− ' )
%, '(#
)
− ' )
%, '(#
)
− ' )

94. n
n
n
•
•
•
̃"# = %, '(#
)
− ' )
•

95. n
• !" #
#
• •
#

96. n

97. n

98. n

99. n

100. n
n
•
•
•
n
•

101. n
•
•
n
•
•
•
“ ”
• “ ”
• “ ”