クラシックな機械学習入門:付録:よく使う線形代数の公式

3,168 views

Published on

機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。

Published in: Engineering
0 Comments
8 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,168
On SlideShare
0
From Embeds
0
Number of Embeds
512
Actions
Shares
0
Downloads
39
Comments
0
Likes
8
Embeds 0
No embeds

No notes for slide

クラシックな機械学習入門:付録:よく使う線形代数の公式

  1. 1. 付録1.数学の復習 行列の微分 行列式のlogの微分 対称行列の2次形式のtraceへの置き換え ブロック行列の逆行列(Woodbury) クラシックな機械学習の入門 by 中川裕志(東京大学)
  2. 2. 行列の微分        x x x x x x B A ABAB BA, a x xa x ax xx xx x xf x x x x a x x xfxx g gfggf Tr B A Tr matrix x f x f x f x f x f x f f a a f f f x x T ji ij TT k m k m k kmk                                                                                                   )()( rulechain )()( )()( )()( )( )( )( )( )( )( )()( 1 11 1 1 111   行列で微分する場合の とする。を とする。はスカラー     
  3. 3. 行列で微分                                                mnm n mnm n a Af a Af a Af a Af A Af aa aa A 1 111 1 111 
  4. 4. 行列の積の微分、逆行列の微分 11 1 1 1 1 11 1 1 1 1 0 0 )ontindependenisif( )( )(                                                 A A A A A A A A AA A A A IAA A x A A x A x A AA x A x IAA BAB A B AB A AB x B AB x A x AB で微分するとこれを で微分するとこれを            
  5. 5. 行列式のlogの微分                   T T dc ba ac bd bcad bcad d bcad c bcad b bcad a bcad example x Tr x d x c x b x a ac bd bcad Tr b x c c x b a x d d x a bcad bcad xdc ba x example dc ba x Tr x                                                                                                                                                       1 1 1 1 1 loglog loglog1 ||log: ||log 1 1 loglog: ||log A A AA A A A A A AA りの場合の例は以下の通
  6. 6. 線形代数学の役立つ公式 )( )()( TT AtraceAA BAtraceABtrace Trtrtrace xxxx   が対称行列なら 共分散行列Σは対象で、正規分布では、xTΣxの計 算をすることが多く、そのときには必須。 AICやBICなどの情報量基準の計算ではよく使う。
  7. 7. 線形代数学の役立つ公式1 1111111 11 11111 111 )()( identityWoodbury )()( )()( 1|| LemmaInversionMatrix,1 |||| , )()( || 1 ||||||||               CABCADBAACBDA BAIAAABI casespecial RBPBPBRBBRBP baabI baN BAIABI MNBA AA A ABAAB TTTT TT NN T MM T NN TT 立つ公式:逆行列を求めるとき役 立つ公式逆行列を求めるとき役 のときすなわち列ベクトル 行列のときは P-1の計算が大変な とき役立つ D-1の計算が大変 なとき役立つ
  8. 8. 線形代数学の役立つ公式 || 1 |||||||| 1 1),..1( )1(|| 1 ,2,21,1 A ABAAB theneven thenoddiNipermutaionif AAAA iNNii       
  9. 9. 線形代数学の役立つ公式 ブロック行列の逆行列   )( 111 1111 11                     MatrixCBDAMwhere CMBDDDCMD MBDM DC BA 式 例えば、多次元正規分布の共分散 行列やその逆行列(精度行列)を求 めるときに必須

×