Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
付録1.数学の復習
行列の微分
行列式のlogの微分
対称行列の2次形式のtraceへの置き換え
ブロック行列の逆行列(Woodbury)
クラシックな機械学習の入門
by 中川裕志(東京大学)
行列の微分
     
 x
x
x
x
x
x
B
A
ABAB
BA,
a
x
xa
x
ax
xx
xx
x
xf
x
x
x
x
a
x
x
xfxx
g
gfggf
Tr
B
A
Tr
matrix
x
f
x
f
x...
行列で微分
 
   
   





































mnm
n
mnm
n
a
Af
a
Af
...
行列の積の微分、逆行列の微分
11
1
1
1
1
11
1
1
1
1
0
0
)ontindependenisif(
)(
)(

























...
行列式のlogの微分
 
 
 
 
   
   
 
T
T
dc
ba
ac
bd
bcad
bcad
d
bcad
c
bcad
b
bcad
a
bcad
example
x
Tr
x
d
x
c
...
線形代数学の役立つ公式
)(
)()(
TT
AtraceAA
BAtraceABtrace
Trtrtrace
xxxx 

が対称行列なら
共分散行列Σは対象で、正規分布では、xTΣxの計
算をすることが多く、そのときには必須。
AIC...
線形代数学の役立つ公式1
1111111
11
11111
111
)()(
identityWoodbury
)()(
)()(
1||
LemmaInversionMatrix,1
||||
,
)()(
||
1
||||||||
...
線形代数学の役立つ公式
||
1
||||||||
1
1),..1(
)1(||
1
,2,21,1
A
ABAAB
theneven
thenoddiNipermutaionif
AAAA iNNii





 
線形代数学の役立つ公式
ブロック行列の逆行列
  )( 111
1111
11




















MatrixCBDAMwhere
CMBDDDCMD
MB...
Upcoming SlideShare
Loading in …5
×

クラシックな機械学習入門:付録:よく使う線形代数の公式

5,672 views

Published on

機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。

Published in: Engineering

クラシックな機械学習入門:付録:よく使う線形代数の公式

  1. 1. 付録1.数学の復習 行列の微分 行列式のlogの微分 対称行列の2次形式のtraceへの置き換え ブロック行列の逆行列(Woodbury) クラシックな機械学習の入門 by 中川裕志(東京大学)
  2. 2. 行列の微分        x x x x x x B A ABAB BA, a x xa x ax xx xx x xf x x x x a x x xfxx g gfggf Tr B A Tr matrix x f x f x f x f x f x f f a a f f f x x T ji ij TT k m k m k kmk                                                                                                   )()( rulechain )()( )()( )()( )( )( )( )( )( )( )()( 1 11 1 1 111   行列で微分する場合の とする。を とする。はスカラー     
  3. 3. 行列で微分                                                mnm n mnm n a Af a Af a Af a Af A Af aa aa A 1 111 1 111 
  4. 4. 行列の積の微分、逆行列の微分 11 1 1 1 1 11 1 1 1 1 0 0 )ontindependenisif( )( )(                                                 A A A A A A A A AA A A A IAA A x A A x A x A AA x A x IAA BAB A B AB A AB x B AB x A x AB で微分するとこれを で微分するとこれを            
  5. 5. 行列式のlogの微分                   T T dc ba ac bd bcad bcad d bcad c bcad b bcad a bcad example x Tr x d x c x b x a ac bd bcad Tr b x c c x b a x d d x a bcad bcad xdc ba x example dc ba x Tr x                                                                                                                                                       1 1 1 1 1 loglog loglog1 ||log: ||log 1 1 loglog: ||log A A AA A A A A A AA りの場合の例は以下の通
  6. 6. 線形代数学の役立つ公式 )( )()( TT AtraceAA BAtraceABtrace Trtrtrace xxxx   が対称行列なら 共分散行列Σは対象で、正規分布では、xTΣxの計 算をすることが多く、そのときには必須。 AICやBICなどの情報量基準の計算ではよく使う。
  7. 7. 線形代数学の役立つ公式1 1111111 11 11111 111 )()( identityWoodbury )()( )()( 1|| LemmaInversionMatrix,1 |||| , )()( || 1 ||||||||               CABCADBAACBDA BAIAAABI casespecial RBPBPBRBBRBP baabI baN BAIABI MNBA AA A ABAAB TTTT TT NN T MM T NN TT 立つ公式:逆行列を求めるとき役 立つ公式逆行列を求めるとき役 のときすなわち列ベクトル 行列のときは P-1の計算が大変な とき役立つ D-1の計算が大変 なとき役立つ
  8. 8. 線形代数学の役立つ公式 || 1 |||||||| 1 1),..1( )1(|| 1 ,2,21,1 A ABAAB theneven thenoddiNipermutaionif AAAA iNNii       
  9. 9. 線形代数学の役立つ公式 ブロック行列の逆行列   )( 111 1111 11                     MatrixCBDAMwhere CMBDDDCMD MBDM DC BA 式 例えば、多次元正規分布の共分散 行列やその逆行列(精度行列)を求 めるときに必須

×