Your SlideShare is downloading. ×
クラシックな機械学習入門:付録:よく使う線形代数の公式
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

クラシックな機械学習入門:付録:よく使う線形代数の公式

1,047
views

Published on

機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。

機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。

Published in: Engineering

0 Comments
7 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,047
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
25
Comments
0
Likes
7
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 付録1.数学の復習 行列の微分 行列式のlogの微分 対称行列の2次形式のtraceへの置き換え ブロック行列の逆行列(Woodbury) クラシックな機械学習の入門 by 中川裕志(東京大学)
  • 2. 行列の微分        x x x x x x B A ABAB BA, a x xa x ax xx xx x xf x x x x a x x xfxx g gfggf Tr B A Tr matrix x f x f x f x f x f x f f a a f f f x x T ji ij TT k m k m k kmk                                                                                                   )()( rulechain )()( )()( )()( )( )( )( )( )( )( )()( 1 11 1 1 111   行列で微分する場合の とする。を とする。はスカラー     
  • 3. 行列で微分                                                mnm n mnm n a Af a Af a Af a Af A Af aa aa A 1 111 1 111 
  • 4. 行列の積の微分、逆行列の微分 11 1 1 1 1 11 1 1 1 1 0 0 )ontindependenisif( )( )(                                                 A A A A A A A A AA A A A IAA A x A A x A x A AA x A x IAA BAB A B AB A AB x B AB x A x AB で微分するとこれを で微分するとこれを            
  • 5. 行列式のlogの微分                   T T dc ba ac bd bcad bcad d bcad c bcad b bcad a bcad example x Tr x d x c x b x a ac bd bcad Tr b x c c x b a x d d x a bcad bcad xdc ba x example dc ba x Tr x                                                                                                                                                       1 1 1 1 1 loglog loglog1 ||log: ||log 1 1 loglog: ||log A A AA A A A A A AA りの場合の例は以下の通
  • 6. 線形代数学の役立つ公式 )( )()( TT AtraceAA BAtraceABtrace Trtrtrace xxxx   が対称行列なら 共分散行列Σは対象で、正規分布では、xTΣxの計 算をすることが多く、そのときには必須。 AICやBICなどの情報量基準の計算ではよく使う。
  • 7. 線形代数学の役立つ公式1 1111111 11 11111 111 )()( identityWoodbury )()( )()( 1|| LemmaInversionMatrix,1 |||| , )()( || 1 ||||||||               CABCADBAACBDA BAIAAABI casespecial RBPBPBRBBRBP baabI baN BAIABI MNBA AA A ABAAB TTTT TT NN T MM T NN TT 立つ公式:逆行列を求めるとき役 立つ公式逆行列を求めるとき役 のときすなわち列ベクトル 行列のときは P-1の計算が大変な とき役立つ D-1の計算が大変 なとき役立つ
  • 8. 線形代数学の役立つ公式 || 1 |||||||| 1 1),..1( )1(|| 1 ,2,21,1 A ABAAB theneven thenoddiNipermutaionif AAAA iNNii       
  • 9. 線形代数学の役立つ公式 ブロック行列の逆行列   )( 111 1111 11                     MatrixCBDAMwhere CMBDDDCMD MBDM DC BA 式 例えば、多次元正規分布の共分散 行列やその逆行列(精度行列)を求 めるときに必須

×