クラシックな機械学習入門:付録:よく使う線形代数の公式
Upcoming SlideShare
Loading in...5
×
 

クラシックな機械学習入門:付録:よく使う線形代数の公式

on

  • 740 views

機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書か...

機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。

Statistics

Views

Total Views
740
Views on SlideShare
727
Embed Views
13

Actions

Likes
2
Downloads
11
Comments
0

2 Embeds 13

http://www.slideee.com 12
https://twitter.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

クラシックな機械学習入門:付録:よく使う線形代数の公式 クラシックな機械学習入門:付録:よく使う線形代数の公式 Presentation Transcript

  • 付録1.数学の復習 行列の微分 行列式のlogの微分 対称行列の2次形式のtraceへの置き換え ブロック行列の逆行列(Woodbury) クラシックな機械学習の入門 by 中川裕志(東京大学)
  • 行列の微分        x x x x x x B A ABAB BA, a x xa x ax xx xx x xf x x x x a x x xfxx g gfggf Tr B A Tr matrix x f x f x f x f x f x f f a a f f f x x T ji ij TT k m k m k kmk                                                                                                   )()( rulechain )()( )()( )()( )( )( )( )( )( )( )()( 1 11 1 1 111   行列で微分する場合の とする。を とする。はスカラー     
  • 行列で微分                                                mnm n mnm n a Af a Af a Af a Af A Af aa aa A 1 111 1 111 
  • 行列の積の微分、逆行列の微分 11 1 1 1 1 11 1 1 1 1 0 0 )ontindependenisif( )( )(                                                 A A A A A A A A AA A A A IAA A x A A x A x A AA x A x IAA BAB A B AB A AB x B AB x A x AB で微分するとこれを で微分するとこれを            
  • 行列式のlogの微分                   T T dc ba ac bd bcad bcad d bcad c bcad b bcad a bcad example x Tr x d x c x b x a ac bd bcad Tr b x c c x b a x d d x a bcad bcad xdc ba x example dc ba x Tr x                                                                                                                                                       1 1 1 1 1 loglog loglog1 ||log: ||log 1 1 loglog: ||log A A AA A A A A A AA りの場合の例は以下の通
  • 線形代数学の役立つ公式 )( )()( TT AtraceAA BAtraceABtrace Trtrtrace xxxx   が対称行列なら 共分散行列Σは対象で、正規分布では、xTΣxの計 算をすることが多く、そのときには必須。 AICやBICなどの情報量基準の計算ではよく使う。
  • 線形代数学の役立つ公式1 1111111 11 11111 111 )()( identityWoodbury )()( )()( 1|| LemmaInversionMatrix,1 |||| , )()( || 1 ||||||||               CABCADBAACBDA BAIAAABI casespecial RBPBPBRBBRBP baabI baN BAIABI MNBA AA A ABAAB TTTT TT NN T MM T NN TT 立つ公式:逆行列を求めるとき役 立つ公式逆行列を求めるとき役 のときすなわち列ベクトル 行列のときは P-1の計算が大変な とき役立つ D-1の計算が大変 なとき役立つ
  • 線形代数学の役立つ公式 || 1 |||||||| 1 1),..1( )1(|| 1 ,2,21,1 A ABAAB theneven thenoddiNipermutaionif AAAA iNNii       
  • 線形代数学の役立つ公式 ブロック行列の逆行列   )( 111 1111 11                     MatrixCBDAMwhere CMBDDDCMD MBDM DC BA 式 例えば、多次元正規分布の共分散 行列やその逆行列(精度行列)を求 めるときに必須