Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
【解説】
一般逆行列
早稲田大学 杉本 憲治郎
(@wosugi3)
2017/9/12【解説】 一般逆行列
1
連立一次方程式・線形方程式を思い出す
• 中学では連立一次方程式
• (未知数の数)=(方程式の数)
• 解は必ず一意に定まった
• 高校では線形方程式
• 線形方程式 Ax=b で表現
• 逆行列で解く: x=A-1b
• Aは正方and正則...
現実世界の問題のほとんどは「解けない」
• 例)ノイズを含んだ多数のサンプルがとれる
• (未知数の数)≪(方程式の数)
• 多項式フィッティングなどの回帰問題
• 例)ベクトルは高次元だがサンプル数は少数
• (未知数の数)≫(方程式の数)
...
その最も素朴な対処法が一般逆行列
• 一般逆行列(一般化逆行列、擬似逆行列 etc.)
• 逆行列を非正方・非正則行列へと拡張したモノ
• ある適当な尺度を導入して「解けない場合」に対処
• 通常は『Moore-Penrose一般逆行列』を指す...
線形方程式を4ケースに分類して考える
a. Aが正方でフルランク: rank(A)=m=n
• 逆行列A-1によって解が一意に定まる(決定系)
b. Aが縦長で列フルランク: rank(A)=n<m
• 全ての方程式を満足できる解がない(優決定...
【図解】各ケースでの一例
• 各方程式を線形多様体(直線や平面など)と解釈
• 解は全ての線形多様体が交わる点
2017/9/12【解説】 一般逆行列
6
−𝑥 + 2𝑦 = 0
𝑥 + 𝑦 = 3
𝑦 = 2
𝑥
𝑦
𝑥 + 𝑦 = 3
𝑥
...
一般逆行列での各ケースに対する方針
a. そのまま逆行列として解く
b. 全ての方程式を満足できる解がない
• 全方程式の二乗誤差を最小にする点を解として採用
• 単なる最小二乗法(正規方程式)として解ける
c. 方程式が足らず解が一意に定まら...
b. 全方程式を満足する解がない:n<m
• 全方程式の二乗誤差が最小の点を解とする
• (目的関数の偏導関数)=0 をxについて解く
2017/9/12【解説】 一般逆行列
8
𝒙⋆ = arg min
𝒙
1
2
𝑨𝒙 − 𝒃 2
2
𝑓 ...
c. 解が一意に定まらない:m<n
• 全解候補のうちL2ノルムが最小の点を解とする
• Lagrangeの未定乗数法で解く
• (Lagrange関数の偏導関数)=0 をxについて解く
2017/9/12【解説】 一般逆行列
9
𝒙⋆ = a...
d. ランク落ち:rank(A)<min(m,n)
• 多数ある最小二乗点のうち最小ノルム点を解とする
• まずケースbして、その解候補の中からケースcする
• ランク落ちだと(ATA)-1や(AAT)-1が計算不可
• この難しさを階数分解 ...
【図解】各ケースでの一般逆行列による解
• 点線は最小二乗解or最小ノルム解の補助線
2017/9/12【解説】 一般逆行列
11
∴ 𝑥, 𝑦 =
23
11
,
13
11
𝑥
𝑦
𝑥
𝑦
𝑥
𝑦
ケース b ケース c ケース d
交点★...
全ケースでの結果をまとめると…
• A=BCを階数分解とすると、その一般逆行列は
• 特にAが正方・フルランクならば A-=A-1(ケースa)
• 特にAが列フルランクならば C=I(ケースb)
• 特にAが行フルランクならば B=I(ケースc...
特異値分解は階数分解の代表的な例
• 行列A (m×nサイズ、r=rank(A)) を特異値分解
• Aを直交行列U,Vと対角行列Σに分解
• 次のように変形すると階数分解に帰着
• Σとの乗算の結果残るのは、Uの左側とVTの上側のみ
2017...
【図解】行列 (3×4、r=2) の特異値分解
2017/9/12【解説】 一般逆行列
14
a11 a12 a13 a14
a21 a22 a23 a24
a31 a32 a33 a34
𝒖1 𝒖2 𝒖3
𝒗1
⊤
𝒗2
⊤
𝒗 𝟑
⊤
𝒗4...
一般逆行列を特異値分解で表現する
• んで導出したA-に を代入すると
• つまり、Aの一般逆行列A-の特異値分解は
• AT=VΣUTにおいて、その非ゼロ特異値を逆数にしたもの
• この特異値分解の表現はあらゆる場面で登場
• 学生レベルだと...
• 行列A (m×n=3×4, r=2)の特異値分解
• Aを直交行列U,Vと対角行列Σに分解
• その一般逆行列A-の特異値分解
• AT=VΣUTにおいて、その非ゼロ特異値を逆数にしたもの
𝜎1
−1
0
0 𝜎2
−1
𝜎1 0
0 𝜎2...
Moore-Penrose一般逆行列 (MP逆)
2017/9/12【解説】 一般逆行列
17
(1). 𝑨𝑨+ 𝑨 = 𝑨
(3). 𝑨+ 𝑨 ⊤ = 𝑨+ 𝑨
定義: Moore-Penrose一般逆行列
ある行列Aについて次の4条件を満た...
実は階数分解で導いた式はMP逆でした
• 証明》以下のように4条件全てを満たす
2017/9/12【解説】 一般逆行列
18
1. 𝑨𝑨+
𝑨 = 𝑩𝑪 𝑪⊤
𝑪𝑪⊤ −1
𝑩⊤
𝑩 −1
𝑩⊤
𝑩𝑪 = 𝑩𝑪 = 𝑨
3. 𝑨+ 𝑨 = 𝑪⊤...
当然、その特異値分解版もMP逆です
• 証明》以下のように4条件全てを満たす
2017/9/12【解説】 一般逆行列
19
𝑨+
= 𝑽𝜮+
𝑼⊤
1. 𝑨𝑨+
𝑨 = 𝑼𝜮𝑽⊤
𝑽𝜮+
𝑼⊤
𝑼𝜮𝑽⊤
= 𝑼𝜮𝜮+
𝜮𝑽⊤
= 𝑨
3. 𝑨+...
MP逆の各条件の意味(詳細は次頁以降)
1. 𝑨𝑨+ 𝑨 = 𝑨 (一般逆行列の必要十分条件)
• 要するに逆行列の条件 𝑨𝑨−1
= 𝑨−1
𝑨 = 𝑰 の一般化
2. 𝑨+ 𝑨𝑨+ = 𝑨+ (反射型一般逆行列)
• AとA+が対称性をもつ...
一般逆の挙動を写像の視点から考える
• ある行列A (m×nサイズ、ランクはr) は…
• 写像 x→Ax はRnからRmへ写す
• 特にr=rank(A)より、Rm中のr次元部分空間上に乗る
• その一般逆A-(n×mサイズ、ランクは?) は...
Aによって定まるor定まらない部分空間
• 次の部分空間はAによって一意に定まる(実線)
• Axの写像先(Im A)である、Rm中のr次元部分空間 V
• Axの零空間(Ker A)である、Rn中の(n-r)次元部分空間 W0
• 次の部分空...
反射型:AとA-に対称性を設ける
• A-yをV0上への写像とすれば対称性が生まれる
• 一般逆の条件 AA-A=A より r≦rank A- の必要
• さらに条件 A-AA-=A- を加えると r=rank A- に限定
• この両条件を満...
𝑨𝒙𝑨− 𝒚
写像から射影へとイメージを発展させる
• 他方の空間を経由する二連続の写像は射影そのもの
• A-A:Rn中のxをW0に沿ってV0上へと射影
• AA-:Rm中のyをWに沿ってV上へと射影
• 一般逆の条件AA-A=AよりA-Aや...
最小{二乗,ノルム}型:直交射影に限定
• 補空間W,V0として直交補空間V⊥,W0
⊥を採用
• 要するにA-AとAA-を直交射影行列にする
• 定義:射影行列PがPT=Pを満たす→Pは直交射影行列
• 以下の二つの条件が導かれる
• 条件 ...
より発展させると近年の研究テーマに
• ケースcではL2ノルム最小化により解を一つに定めた
• ただ、L2ノルム最小という尺度に目立った利点はない
• もっと都合の良い他の尺度にできないか?
• 都合の良い尺度の最たる例がスパース性
• スパー...
おわりに
• 大学数学で登場する一般逆行列についてまとめた
• 検索でみつかる資料のほとんどが不完全な説明
• 全体の8割以上がケースdの議論がなく不完全
• ランク落ちの場合、逆行列が計算不可のはずだが…
• 唐突に登場するMP逆の式
• 残...
参考文献
1. 柳井晴夫, 竹内啓: “射影行列・一般逆行列・特異値分解”,
東京大学出版会, (1983).
2. 田辺国士: “一般逆行列 (1)”, 日本オペレーションズ・リ
サーチ学会, pp. 213-215, (1976/4).
3...
Upcoming SlideShare
Loading in …5
×

【解説】 一般逆行列

15,628 views

Published on

学生向けの解説

Published in: Science

【解説】 一般逆行列

  1. 1. 【解説】 一般逆行列 早稲田大学 杉本 憲治郎 (@wosugi3) 2017/9/12【解説】 一般逆行列 1
  2. 2. 連立一次方程式・線形方程式を思い出す • 中学では連立一次方程式 • (未知数の数)=(方程式の数) • 解は必ず一意に定まった • 高校では線形方程式 • 線形方程式 Ax=b で表現 • 逆行列で解く: x=A-1b • Aは正方and正則 • 大学以降は「解けない場合」を主に扱う • (未知数の数)≠(方程式の数) • Aが非正方or非正則 • 逆行列が定義されない! 2017/9/12【解説】 一般逆行列 2 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 ∴ 𝑥 = 2 𝑦 = 1 −1 2 1 1 𝑥 𝑦 = 0 3 ∴ 𝑥 𝑦 = 2 1 −1 2 1 1 0 1 𝑥 𝑦 = 0 3 2 ∴ 𝑥 𝑦 = ? ?
  3. 3. 現実世界の問題のほとんどは「解けない」 • 例)ノイズを含んだ多数のサンプルがとれる • (未知数の数)≪(方程式の数) • 多項式フィッティングなどの回帰問題 • 例)ベクトルは高次元だがサンプル数は少数 • (未知数の数)≫(方程式の数) • 多次元ベクトル=多数の未知数 • 例)とれたサンプルに多数の重複があるかも? • 方程式がランク落ちの可能性? • そもそもノイズや誤差のせいで正確なランクの計算は困難 2017/9/12【解説】 一般逆行列 3
  4. 4. その最も素朴な対処法が一般逆行列 • 一般逆行列(一般化逆行列、擬似逆行列 etc.) • 逆行列を非正方・非正則行列へと拡張したモノ • ある適当な尺度を導入して「解けない場合」に対処 • 通常は『Moore-Penrose一般逆行列』を指す(後述) • 線形方程式 Ax=b を x=A-b のように解きたい • 特にAが非正方・非正則な場合にも対応したい • このA-を「Aの一般逆行列」と呼ぶ 2017/9/12【解説】 一般逆行列 4 𝑨𝒙 = 𝒃 𝒙 = 𝑨− 𝒃 𝑨 ∈ ℝ 𝑚×𝑛, 𝒃 ∈ ℝ 𝑚×1, 𝒙 ∈ ℝ 𝑛×1 m:方程式の数、n:未知数の数 では「解けない場合」をパターン分けして分析しよう
  5. 5. 線形方程式を4ケースに分類して考える a. Aが正方でフルランク: rank(A)=m=n • 逆行列A-1によって解が一意に定まる(決定系) b. Aが縦長で列フルランク: rank(A)=n<m • 全ての方程式を満足できる解がない(優決定系・不能) c. Aが横長で行フルランク: rank(A)=m<n • 方程式が足らず解が一意に定まらない(劣決定系・不定) d. Aがランク落ち: rank(A)<min(m,n) • 方程式に重複あり。重複除けば a,b,c のどれかに帰着 2017/9/12【解説】 一般逆行列 5 𝑨𝒙 = 𝒃 𝑨 ∈ ℝ 𝑚×𝑛 , 𝒃 ∈ ℝ 𝑚×1 , 𝒙 ∈ ℝ 𝑛×1 m:方程式の数、n:未知数の数
  6. 6. 【図解】各ケースでの一例 • 各方程式を線形多様体(直線や平面など)と解釈 • 解は全ての線形多様体が交わる点 2017/9/12【解説】 一般逆行列 6 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 𝑦 = 2 𝑥 𝑦 𝑥 + 𝑦 = 3 𝑥 𝑦 𝑥 + 𝑦 = 3 𝑥 + 𝑦 = 5 𝑥 𝑦 ケース b ケース c ケース d 交点★が解 直線上全てが解? (解が一意でない) 𝑥 𝑦 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 ケース a 全直線が通る 交点がない 並行で交点なし
  7. 7. 一般逆行列での各ケースに対する方針 a. そのまま逆行列として解く b. 全ての方程式を満足できる解がない • 全方程式の二乗誤差を最小にする点を解として採用 • 単なる最小二乗法(正規方程式)として解ける c. 方程式が足らず解が一意に定まらない • 全解候補のうちベクトル長最小の点を解として採用 • Lagrangeの未定乗数法で解ける d. ランク落ち • 二乗誤差最小点のうちベクトル長最小点を解として採用 • 階数分解によってフルランク行列の積に分解して解く • 結果としてbとcを順に適用した形に帰着 2017/9/12【解説】 一般逆行列 7
  8. 8. b. 全方程式を満足する解がない:n<m • 全方程式の二乗誤差が最小の点を解とする • (目的関数の偏導関数)=0 をxについて解く 2017/9/12【解説】 一般逆行列 8 𝒙⋆ = arg min 𝒙 1 2 𝑨𝒙 − 𝒃 2 2 𝑓 𝒙 = 1 2 𝑨𝒙 − 𝒃 2 2 ∈ ℝ 𝜕𝑓(𝒙) 𝜕𝒙 = 𝑨⊤ 𝑨𝒙 − 𝒃 = 𝟎 ∈ ℝ 𝑛×1 𝑨⊤ 𝑨𝒙 = 𝑨⊤ 𝒃 ∴ 𝒙⋆ = 𝑨⊤ 𝑨 −1 𝑨⊤ 𝒃 目的関数:二次関数 (微分可&凸) 制約集合:制約なし (Rnの全て) ↑いわゆる最小二乗法そのもの。 𝑨 ∈ ℝ 𝑚×𝑛 , 𝒃 ∈ ℝ 𝑚×1 , 𝒙 ∈ ℝ 𝑛×1 Aは列フルランク ⇒ ATAは正則 この式は通常『正規方程式』と呼ばれる
  9. 9. c. 解が一意に定まらない:m<n • 全解候補のうちL2ノルムが最小の点を解とする • Lagrangeの未定乗数法で解く • (Lagrange関数の偏導関数)=0 をxについて解く 2017/9/12【解説】 一般逆行列 9 𝒙⋆ = arg min 𝒙 1 2 𝒙 2 2 s. t. 𝑨𝒙 = 𝒃 ℒ 𝒙, 𝝀 = 1 2 𝒙⊤ 𝒙 − 𝝀⊤ 𝑨𝒙 − 𝒃 ∈ ℝ 𝜕ℒ 𝒙,𝝀 𝜕𝐱 = 𝒙 − 𝑨⊤ 𝝀 = 𝟎 ∈ ℝ 𝑛 𝜕ℒ 𝒙,𝝀 𝜕𝛌 = −𝑨𝒙 + 𝒃 = 𝟎 ∈ ℝ 𝑚 目的関数:二次関数 (微分可&凸) 制約集合:線形等式制約 (かつ、Aは行フルランク) 𝑨 ∈ ℝ 𝑚×𝑛, 𝒃, 𝝀 ∈ ℝ 𝑚×1, 𝒙 ∈ ℝ 𝑛×1 Aは行フルランク ⇒ AATは正則 ∴ 𝒙⋆ 𝝀 = 𝑨⊤ 𝑨𝑨⊤ −1 𝒃 𝑨𝑨⊤ −1 𝒃
  10. 10. d. ランク落ち:rank(A)<min(m,n) • 多数ある最小二乗点のうち最小ノルム点を解とする • まずケースbして、その解候補の中からケースcする • ランク落ちだと(ATA)-1や(AAT)-1が計算不可 • この難しさを階数分解 A=BC を使って回避 • 列フルランクなBおよび行フルランクなCの積に分解 • rank(A)=rとおくと、 • 「任意の行列は階数分解できる」[Wikipedia(汗] • B,Cはフルランク→ケースb,cの結果を順に適用可 2017/9/12【解説】 一般逆行列 10 𝑨𝒙 = 𝑩𝑪𝒙 = 𝒃 𝒙 = 𝑨− 𝒃 = 𝑪− 𝑩− 𝒃 = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 𝒃 𝑨 ∈ ℝ 𝑚×𝑛, 𝑩 ∈ ℝ 𝑚×𝑟, 𝑪 ∈ ℝ 𝑟×𝑛 Cは行フルランク ⇒ CCTは正則 Bは列フルランク ⇒ BTBは正則
  11. 11. 【図解】各ケースでの一般逆行列による解 • 点線は最小二乗解or最小ノルム解の補助線 2017/9/12【解説】 一般逆行列 11 ∴ 𝑥, 𝑦 = 23 11 , 13 11 𝑥 𝑦 𝑥 𝑦 𝑥 𝑦 ケース b ケース c ケース d 交点★が解 L2ノルムが最小 𝑥 𝑦 ∴ 𝑥, 𝑦 = 2,1 ケース a 二乗誤差が最小 二乗誤差解のうち L2ノルムが最小 ∴ 𝑥, 𝑦 = 3 2 , 3 2 ∴ 𝑥, 𝑦 = 2,2 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 𝑦 = 2 𝑥 + 𝑦 = 3 𝑥 + 𝑦 = 3 𝑥 + 𝑦 = 5 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3
  12. 12. 全ケースでの結果をまとめると… • A=BCを階数分解とすると、その一般逆行列は • 特にAが正方・フルランクならば A-=A-1(ケースa) • 特にAが列フルランクならば C=I(ケースb) • 特にAが行フルランクならば B=I(ケースc) • とりま階数分解で全ケースを包括的に捉えれたが… • 階数分解のくだりが抽象的だしイメージしづらい? • そこでより具体的な特異値分解の視点から捉えよう • 特異値分解から階数分解の一例が容易に示せる • 実用上は特異値分解の形こそが通常広く使われている 2017/9/12【解説】 一般逆行列 12 𝑨− = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤
  13. 13. 特異値分解は階数分解の代表的な例 • 行列A (m×nサイズ、r=rank(A)) を特異値分解 • Aを直交行列U,Vと対角行列Σに分解 • 次のように変形すると階数分解に帰着 • Σとの乗算の結果残るのは、Uの左側とVTの上側のみ 2017/9/12【解説】 一般逆行列 13 𝑨 = 𝑼𝜮𝑽⊤ 𝜮 = 𝜮 𝑟 𝟎 𝟎 𝟎 𝜮 𝑟 = diag 𝜎1, 𝜎2, … , 𝜎𝑟 𝑨 ∈ ℝ 𝑚×𝑛 , 𝑼 ∈ ℝ 𝑚×𝑚 , 𝜮 ∈ ℝ 𝑚×𝑛 , 𝑽 ∈ ℝ 𝑛×𝑛 , 𝜮 𝑟 ∈ ℝ 𝑟×𝑟 𝑨 = 𝑼𝜮𝑽⊤ = 𝑼 𝑟 𝑼 𝑚−𝑟 𝜮 𝑟 𝟎 𝟎 𝟎 𝑽 𝑟 ⊤ 𝑽 𝑛−𝑟 ⊤ = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ = 𝑩𝑪
  14. 14. 【図解】行列 (3×4、r=2) の特異値分解 2017/9/12【解説】 一般逆行列 14 a11 a12 a13 a14 a21 a22 a23 a24 a31 a32 a33 a34 𝒖1 𝒖2 𝒖3 𝒗1 ⊤ 𝒗2 ⊤ 𝒗 𝟑 ⊤ 𝒗4 ⊤ 𝜎1 0 O 0 𝜎2 O O 𝑨 = 𝑼 𝜮 𝑽⊤ 𝒖1 𝒖2 𝒗1 ⊤ 𝒗2 ⊤ 𝜎1 0 0 𝜎2 = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ 𝒖1 𝒖2 𝜎1 𝒗1 ⊤ 𝜎2 𝒗2 ⊤ = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ r=2なので、まさに階数分解の形! (もちろんΣrをUr側に吸収させてもOK)
  15. 15. 一般逆行列を特異値分解で表現する • んで導出したA-に を代入すると • つまり、Aの一般逆行列A-の特異値分解は • AT=VΣUTにおいて、その非ゼロ特異値を逆数にしたもの • この特異値分解の表現はあらゆる場面で登場 • 学生レベルだとここまで理解しておけば大抵OK! 2017/9/12【解説】 一般逆行列 15 𝑨− = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑽 𝑟 𝜮 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ 𝑽 𝑟 𝜮 𝑟 −1 𝑼 𝑟 ⊤ 𝑼 𝑟 −1 𝑼 𝑟 ⊤ = 𝑽 𝑟 𝜮 𝑟 −1 𝑼 𝑟 ⊤ 𝑩 = 𝑼 𝑟, 𝑪 = 𝜮 𝑟 𝑽 𝑟 ⊤ 𝜮− = 𝜮 𝑟 −1 𝟎 𝟎 𝟎 ∈ ℝ 𝑛×𝑚𝑨− = 𝑽𝜮− 𝑼⊤
  16. 16. • 行列A (m×n=3×4, r=2)の特異値分解 • Aを直交行列U,Vと対角行列Σに分解 • その一般逆行列A-の特異値分解 • AT=VΣUTにおいて、その非ゼロ特異値を逆数にしたもの 𝜎1 −1 0 0 𝜎2 −1 𝜎1 0 0 𝜎2 【図解】一般逆行列と特異値分解の関係性 2017/9/12【解説】 一般逆行列 16 𝑨 = 𝑼 𝜮 𝑽⊤ 𝑨− = 𝑽 𝜮− 𝑼⊤
  17. 17. Moore-Penrose一般逆行列 (MP逆) 2017/9/12【解説】 一般逆行列 17 (1). 𝑨𝑨+ 𝑨 = 𝑨 (3). 𝑨+ 𝑨 ⊤ = 𝑨+ 𝑨 定義: Moore-Penrose一般逆行列 ある行列Aについて次の4条件を満たすA+のこと • 巷で一般逆行列というとMP逆を指すことがほとんど • 専門的な資料では以下のように呼び分けている • 一般逆行列 A-: (1)を満たす(←複数ありうる) • MP逆 A+: (1)~(4)の全てを満たす(←一意に決まる) • 証明》MP逆の一意性 • Aに2つのMP逆X,Yがあると仮定し、X=Yを示す (2). 𝑨+ 𝑨𝑨+ = 𝑨+ (4). 𝑨𝑨+ ⊤ = 𝑨𝑨+ 𝑿 = 𝑿𝑨𝑿 = 𝑿 𝑨𝑿 ⊤ = 𝑿 𝑨𝒀𝑨𝑿 ⊤ = 𝑿 𝑨𝑿 ⊤ 𝑨𝒀 ⊤ = 𝑿𝑨𝑿𝑨𝒀 = 𝑿𝑨𝒀, 𝒀 = 𝒀𝑨𝒀 = 𝒀𝑨 ⊤ 𝒀 = 𝒀𝑨𝑿𝑨 ⊤ 𝒀 = 𝑿𝑨 ⊤ 𝒀𝑨 ⊤ 𝒀 = 𝑿𝑨𝒀𝑨𝒀 = 𝑿𝑨𝒀
  18. 18. 実は階数分解で導いた式はMP逆でした • 証明》以下のように4条件全てを満たす 2017/9/12【解説】 一般逆行列 18 1. 𝑨𝑨+ 𝑨 = 𝑩𝑪 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 𝑩𝑪 = 𝑩𝑪 = 𝑨 3. 𝑨+ 𝑨 = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 𝑩𝑪 = 𝑪⊤ 𝑪𝑪⊤ −1 𝑪 = 𝑪⊤ 𝑪𝑪⊤ −1 𝑪 ⊤ = 𝑨+ 𝑨 ⊤ 4. 𝑨𝑨+ = 𝑩𝑪 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑩 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑩 𝑩⊤ 𝑩 −1 𝑩⊤ ⊤ = 𝑨𝑨+ ⊤ 2. 𝑨+ 𝑨𝑨+ = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 𝑩𝑪 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑨+ 𝑨+ = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 定理: A=BCを階数分解とすると、そのMP逆は
  19. 19. 当然、その特異値分解版もMP逆です • 証明》以下のように4条件全てを満たす 2017/9/12【解説】 一般逆行列 19 𝑨+ = 𝑽𝜮+ 𝑼⊤ 1. 𝑨𝑨+ 𝑨 = 𝑼𝜮𝑽⊤ 𝑽𝜮+ 𝑼⊤ 𝑼𝜮𝑽⊤ = 𝑼𝜮𝜮+ 𝜮𝑽⊤ = 𝑨 3. 𝑨+ 𝑨 = 𝑽𝜮+ 𝑼⊤ 𝑼𝜮𝑽⊤ = 𝑽𝜮+ 𝜮𝑽⊤, 𝑨+ 𝑨 ⊤ = 𝑽𝜮+ 𝜮𝑽⊤ ⊤ = 𝑽 𝜮+ 𝜮 ⊤ 𝑽⊤ = 𝑽𝜮+ 𝜮𝑽⊤ 4. 𝑨𝑨+ = 𝑼𝜮𝑽⊤ 𝑽𝜮+ 𝑼⊤ = 𝑼𝜮𝜮+ 𝑼⊤ , 𝑨𝑨+ ⊤ = 𝑼𝜮𝜮+ 𝑼⊤ ⊤ = 𝑼 𝜮𝜮+ ⊤ 𝑼⊤ = 𝑼𝜮𝜮+ 𝑼⊤ 2. 𝑨+ 𝑨𝑨+ = 𝑽𝜮+ 𝑼⊤ 𝑼𝜮𝑽⊤ 𝑽𝜮+ 𝑼⊤ = 𝑽𝜮+ 𝜮𝜮+ 𝑼⊤ = 𝑨+ 定理: A=UΣVTを特異値分解とすると、そのMP逆は
  20. 20. MP逆の各条件の意味(詳細は次頁以降) 1. 𝑨𝑨+ 𝑨 = 𝑨 (一般逆行列の必要十分条件) • 要するに逆行列の条件 𝑨𝑨−1 = 𝑨−1 𝑨 = 𝑰 の一般化 2. 𝑨+ 𝑨𝑨+ = 𝑨+ (反射型一般逆行列) • AとA+が対称性をもつようになる (rank A=rank A+) 3. 𝑨+ 𝑨 ⊤ = 𝑨+ 𝑨(最小ノルム型一般逆行列) • Aの零空間(ker A)の補空間として直交補空間を採用 4. 𝑨𝑨+ ⊤ = 𝑨𝑨+(最小二乗型一般逆行列) • Aの像(Im A)の補空間として直交補空間を採用 • この4条件を満たす一般逆は一意←これがMP逆 • 各条件の意味は写像・射影から説明できる(次頁) 2017/9/12【解説】 一般逆行列 20
  21. 21. 一般逆の挙動を写像の視点から考える • ある行列A (m×nサイズ、ランクはr) は… • 写像 x→Ax はRnからRmへ写す • 特にr=rank(A)より、Rm中のr次元部分空間上に乗る • その一般逆A-(n×mサイズ、ランクは?) は… • 写像 y→A-y はRmからRnへ写す(さっきと逆向き) • 具体的にどのような写像だと都合がよいだろうか?? 2017/9/12【解説】 一般逆行列 21 ℝ 𝑛 ℝ 𝑚 𝒙 𝑨𝒙 𝒚 𝑨− 𝒚? r次元 部分空間 便宜上 部分空間を 一本の軸で 表現する
  22. 22. Aによって定まるor定まらない部分空間 • 次の部分空間はAによって一意に定まる(実線) • Axの写像先(Im A)である、Rm中のr次元部分空間 V • Axの零空間(Ker A)である、Rn中の(n-r)次元部分空間 W0 • 次の部分空間は一意に定まらない(破線) • Vの補空間である、Rm中の(m-r)次元部分空間 W • W0の補空間である、 Rn中のr次元部分空間 V0 2017/9/12【解説】 一般逆行列 22 ℝ 𝑛 ℝ 𝑚 𝒙 𝑨𝒙 𝒚 𝑉0? 𝑉 𝑊0 V0の 方向が 任意 𝑊? 𝑨− 𝒚? Wの方向が任意
  23. 23. 反射型:AとA-に対称性を設ける • A-yをV0上への写像とすれば対称性が生まれる • 一般逆の条件 AA-A=A より r≦rank A- の必要 • さらに条件 A-AA-=A- を加えると r=rank A- に限定 • この両条件を満たすものを反射型一般逆行列と呼ぶ • VとV0が全単射(両者をAやA-の乗算によって往来可) • AやA-を一度でも乗算すればWとW0の成分は0に潰される 2017/9/12【解説】 一般逆行列 23 ℝ 𝑛 ℝ 𝑚 𝒙 𝑨𝒙 𝒚 𝑉0 𝑉 𝑊𝑊0 𝑨− 𝒚
  24. 24. 𝑨𝒙𝑨− 𝒚 写像から射影へとイメージを発展させる • 他方の空間を経由する二連続の写像は射影そのもの • A-A:Rn中のxをW0に沿ってV0上へと射影 • AA-:Rm中のyをWに沿ってV上へと射影 • 一般逆の条件AA-A=AよりA-AやAA-は射影行列 • 定義:正方行列PがP2=Pを満たすとき、Pは射影行列 • さて、この射影をどのように定めると便利だろうか? 2017/9/12【解説】 一般逆行列 24 ℝ 𝑛 ℝ 𝑚 𝑨𝑨− 𝒚 𝒚 𝑉0 𝑉 𝑊𝑊0 V上へ 射影 𝒙 𝑨− 𝑨𝒙 V0上へ 射影
  25. 25. 最小{二乗,ノルム}型:直交射影に限定 • 補空間W,V0として直交補空間V⊥,W0 ⊥を採用 • 要するにA-AとAA-を直交射影行列にする • 定義:射影行列PがPT=Pを満たす→Pは直交射影行列 • 以下の二つの条件が導かれる • 条件 (A-A)T=A-A(最小ノルム型一般逆行列) • 条件 (AA-)T=AA-(最小二乗型一般逆行列) 2017/9/12【解説】 一般逆行列 25 ℝ 𝑛 ℝ 𝑚 𝑨𝑨− 𝒚 𝒚 𝑊0 ⊥ 𝑉 𝑉⊥ 𝑊0 𝒙 𝑨− 𝑨𝒙 ┐ ┐ 𝑰 − 𝑨− 𝑨 𝒙 𝑰 − 𝑨𝑨− 𝒚
  26. 26. より発展させると近年の研究テーマに • ケースcではL2ノルム最小化により解を一つに定めた • ただ、L2ノルム最小という尺度に目立った利点はない • もっと都合の良い他の尺度にできないか? • 都合の良い尺度の最たる例がスパース性 • スパース=多くの要素がゼロ • ゼロ要素は計算不要なので大幅に高速化できる • 理想は(i)だが計算困難 ⇒ 実用上(ii)で代替 i. L0ノルム最小化(計算量が指数増大!) ii. L1ノルム最小化 (別名, Basis pursuit) 2017/9/12【解説】 一般逆行列 26 𝒙⋆ = arg min 𝒙 𝒙 0 s. t. 𝑨𝒙 = 𝒃 𝒙⋆ = arg min 𝒙 𝒙 1 s. t. 𝑨𝒙 = 𝒃 (ii)は(i)の凸緩和 (計算容易な近似)
  27. 27. おわりに • 大学数学で登場する一般逆行列についてまとめた • 検索でみつかる資料のほとんどが不完全な説明 • 全体の8割以上がケースdの議論がなく不完全 • ランク落ちの場合、逆行列が計算不可のはずだが… • 唐突に登場するMP逆の式 • 残り2割弱でも唐突に が登場 • この式の丁寧な導出は非常に少ない • そういう意味では貴重な資料に仕上がったはず(笑) • 改善のためのコメント大歓迎! 2017/9/12【解説】 一般逆行列 27 𝑨+ = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤
  28. 28. 参考文献 1. 柳井晴夫, 竹内啓: “射影行列・一般逆行列・特異値分解”, 東京大学出版会, (1983). 2. 田辺国士: “一般逆行列 (1)”, 日本オペレーションズ・リ サーチ学会, pp. 213-215, (1976/4). 3. 田辺国士: “一般逆行列 (2)”, 日本オペレーションズ・リ サーチ学会, pp. 275-277, (1976/5). 4. 田辺国士: “一般逆行列 (3)”, 日本オペレーションズ・リ サーチ学会, pp. 324-326, (1976/6). 5. “確率・統計 (24) 主成分回帰と部分最小二乗法”, http://fussy.web.fc2.com/algo/stat24_pls.htm 2017/9/12【解説】 一般逆行列 28

×