Download to read offline
【Deep Learning (MIT Press)】線形代数 2.1～2.7
- 1.
- 2. １. スカラー・ベクトル • スカラー：単一の数。導入時、どんな種類の数かを定義 •ベクトル：数値の配列。空間上の点とみなせる 𝒙 = 𝑥1 𝑥2 ⋮ 𝑥 𝑛 ・𝒙−1 ≔ 𝑥2 ⋮ 𝑥 𝑛 ・𝑆 ≔ 1,3,6 ; 𝒙 𝑆 ≔ 𝑥1 𝑥3 𝑥6
- 3. １. 行列・テンソル • 行列：２次元の数値配列、二つのインデックスで示す •テンソル：３つ以上の軸を持つ配列 𝜜 ∈ ℝ2×3; 𝐴1,1 𝐴1,2 𝐴1,3 𝐴2,1 𝐴2,2 𝐴2,3 𝜜1,: ≔ 𝐴1,1 𝐴1,2 𝐴1,3 𝑨:,1 ≔ 𝐴1,1 𝐴2,1
- 4. １. スカラー・ベクトル・行列・テンソル （ http://yaju3d.hatenablog.jp/entry/2016/04/17/032555） Matrix：（数）行列；（コ）配列
- 5. １. 行列に関して • 関数を適用した行列：関数𝑓を𝑨に適用して得られた𝑖, 𝑗 成分 • 転置 𝐴 𝑇 ：主対角線に対する鏡像 （「𝑚行𝑛列」を「𝑛行𝑚列」へ） 𝑓 𝑨 𝑖,𝑗 • 𝑨 = 𝐴1,1 𝐴1,2 𝐴2,1 𝐴2,2 𝐴3,1 𝐴3,2 ⇒ 𝑨 𝑻 = 𝐴1,1 𝐴2,1 𝐴3,1 𝐴1,2 𝐴2,2 𝐴3,2 • 𝑨 𝑇 𝑖,𝑗 = 𝐴𝑗,𝑖
- 6. １. 転置 • ベクトルの転置 •スカラーの転置 𝒙 = 𝑥1 𝑥2 𝑥3 𝑇 = 𝑥1 𝑥2 𝑥3 𝑎 = 𝑎 𝑇
- 7. １. 行列の加算 • 同じ型の行列は単に対応する要素を足し合わせる •行列にスカラーを足したり、かけたりするときは単に行列の各 要素に対し演算を行う • ベクトルを暗黙的に各行へ追加（ブロードキャスティング） 𝑪 = 𝑨 + 𝑩 (𝐶𝑖,𝑗 = 𝐴𝑖,𝑗 + 𝐵𝑖,𝑗) 𝑫 = 𝑎 ⋅ 𝑩 + 𝑐 (𝐷𝑖,𝑗 = 𝑎 ∙ 𝐵𝑖,𝑗 + 𝑐) 𝑪 = 𝑨 + 𝒃 (𝐶𝑖,𝑗 = 𝐴𝑖,𝑗 + 𝑏𝑗)
- 8. ２. 行列とベクトルの乗算 • 行列𝑨∈ ℝ 𝑚×𝑛 と𝑩 ∈ ℝ 𝑛×𝑝 をかけた行列の積は𝐂 ∈ ℝ 𝑚×𝑝 • 個々の成分の積：要素ごとの積、アダマール積（ ≔ 𝑨⨀𝑩 ） • ２つのベクトルの間のドット積 𝑪 = 𝑨𝑩 (𝐶𝑖,𝑗 = 𝑘 𝐴𝑖,𝑘 𝐵 𝑘,𝑗) 𝒙 ∙ 𝒚 𝒙, 𝒚はベクトル ⇔ 𝒙 𝑇 𝒚 𝒙, 𝒚は行列 ⇔ 𝑖=1 𝑛 𝑥𝑖 𝑦𝑖(𝑥, 𝑦はベクトル)
- 9. ２. 行列の数学的性質 • 分配法則：𝑨𝑩 + 𝑪 = 𝑨𝑩 + 𝑨𝑪 • 結合法則：𝑨 𝑩𝑪 = (𝑨𝑩)𝑪 • 行列の乗算は交換法則を満たさない （条件𝑨𝑩 = 𝑩𝑨は必ずしも成立しない） • ２つのベクトル間の内積は可換：𝒙 𝑇 𝒚 = 𝒚 𝑇 𝒙……① • 行列の積の転置： 𝑨𝑩 𝑇 = 𝑩 𝑇 𝑨 𝑇……➁ • ①、➁（積の値がスカラー・それ自身の転置に等しい）より： 𝒙 𝑇 𝒚 = 𝒙 𝑇 𝒚 𝑇 = 𝒚 𝑇 𝒙
- 10. 線形方程式 • 𝑨 ∈ℝ 𝑚×𝑛 は既知の行列、𝒃 ∈ ℝ 𝑚 は既知のベクトル、𝑥 ∈ ℝ 𝑛 は求めたい未知の変数を持つベクトル • 行列とベクトルの積の表記は、この種の方程式を簡潔にしたも の 𝑨1,: 𝒙 = 𝑏1 𝑨2,: 𝒙 = 𝑏2 ⋯ 𝑨 𝑚,: 𝒙 = 𝑏 𝑚 𝑨𝒙 = 𝒃 𝑨1,1 𝑥1 +𝑨1,2 𝑥2 + ⋯ + 𝑨1,𝑛 𝑥 𝑛 = 𝑏1 𝑨2,1 𝑥1 + 𝑨2,2 𝑥2 + ⋯ + 𝑨2,𝑛 𝑥 𝑛 = 𝑏2 ⋯ 𝑨 𝑚,1 𝑥1 + 𝑨 𝑚,2 𝑥2 + ⋯ + 𝑨 𝑚,𝑛 𝑥 𝑛 = 𝑏 𝑚
- 11. ３. 単位行列と逆行列 • 単位行列：任意のベクトルに掛け合わせてもそのベクトルを変 化させないような行列𝑰 𝑛 • 逆行列：理論的な手段、ほとんどのソフトウェアアプリケー ションで実用としては使わない方が良い 𝑨−1(𝑨の逆行列) 𝑰 𝑛 ∈ ℝ 𝑛×𝑛 , ∀𝒙 ∈ ℝ 𝑛 ; 𝑰 𝑛 𝒙 = 𝒙 𝑰3 = 1 0 0 0 1 0 0 0 1 𝑨−1 𝑨 = 𝑰 𝑛
- 12. ３. 逆行列の利用（逆行列法） • 以下の手順は𝑨−1 を見つけられるかどうかに依存している 𝑨𝒙= 𝒃 𝑨−1 𝑨𝒙 = 𝑨−1 𝒃 𝑰 𝑛 𝒙 = 𝑨−1 𝒃 𝒙 = 𝑨−1 𝒃
- 13. ４. 線形従属と張る空間 • 𝑨−1 が存在するためには𝑨𝒙= 𝒃が𝒃のどんな値に対しても１つだ け解を持たなければならない • 𝒃の値のいくつかに対して、連立方程式の解がない、また無限 に多くの解を持つ場合がある ∵)𝒙と𝒚の両方が解であれば、 任意の実数𝛼について、𝑧 = 𝛼𝒙 + 1 − 𝛼 𝒚も解となる
- 14. ４. 線形結合 • 方程式の解の数を解析するために、𝑨の列が、原点から移動で きる様々な方向を指定していて、𝒃に到達する道筋の数を決定 するものだとする。このとき、𝑥の各要素は、それぞれの方向 に進む距離を指定している（𝑥𝑖は列𝑖の方向に進む距離を示す） •いくつかのベクトルからなる集合 𝑣 1 , ⋯ , 𝑣 𝑖 の線形結合は、 それぞれのベクトル𝑣 𝑖 に対応するスカラーの係数をかけ、そ の結果を加算 𝒃 = 𝑨𝒙 = 𝑖 𝑥𝑖 𝑨:,𝑖 𝑖 𝑐𝑖 𝑣 𝑖
- 15. ４. 線形結合 𝑎 𝑐 =𝑝 𝑎 + 𝑞𝑏 𝑏
- 16. ４. 張る空間 • 元のベクトルの線形結合によって得られるすべての点からなる 集合 •𝑨𝒙 = 𝒃に解があるかどうかは、𝒃が𝑨の列の張る空間に含まれ るかどうかを調べれば判定できる（この場合の張る空間は、𝑨 の列空間または値域として知られる） • 𝑨𝒙 = 𝒃が𝒃 ∈ ℝ 𝑚 の全ての値に対して解を持つためには、𝑨の列空間がℝ 𝑚 全体で ある必要がある • 𝑨の列空間がℝ 𝑚 全体であるという必要条件は、 𝑨は少なくとも 𝑚列を持たねばならない、つまり𝑛 ≥ 𝑚を含意する（十分条件 ではない）
- 17. ４. 張る空間 • 行列の列空間がℝ𝑚 全体を覆うためには、その行列には𝑚個の線 形独立な列を持つ集合が少なくとも１つ必要、これは𝑨𝒙 = 𝒃が 𝒃のあらゆる値に対して解を持つための必要十分条件 𝒃 ∈ ℝ3 のうち、𝒑 ∈ ℝ2 , 𝒒 ∈ ℝ2 で 表現可能なのは𝑏(𝑖, 𝑗, 0)のみ 𝐼 𝐻 𝐽
- 18. ４. 張る空間 • 行列が逆行列を持つためには𝑨𝒙= 𝒃が𝒃の各値に対して最大で 解が１つであることも必要である、そのためには行列の列の数 を𝑚個とする必要がある • これは同時に、行列が正方（ 𝑚 = 𝑛かつ、全ての列が線形独 立）でなければならない • 𝑨が正方行列でない、あるいは正方行列だが、特異行列（線形 従属な列を持つ正方行列）の場合でも、この方程式は解けるが、 解を見つけるために逆行列法を用いることはできない
- 19. ４. 張る空間 • 右からかける逆行列も定義できる •正方行列の場合、左からかける逆行列と右からかける逆行列は 等しくなる 𝑨𝑨−1 = 𝑰
- 20.
- 21. ・ノルムの一般化：行列Aのサイズを求めたい ユークリッドノルム L1ノルム 最大値ノルム ・ｐ=２のとき ・と表記される ・ｐ=１のとき ・ ・ｐ=∞のとき ・ 2.5 ②機械学習で使われるノルム
- 22. 2.6 特殊な行列とベクトルの例 ・行列の例 ・ベクトルの例として単位ベクトルがある 対角行列 対称行列直交行列 https://ja.wikipedia.org/wiki
- 23. 2.7 固有値分解 ・固有値分解＝行列版“素因数分解” ；正方行列を固有ベクトルと固有値の集合に分解すること ・正方行列Aは、固有ベクトル と固有値を用いて分解できる ただし ※ をみたす列ベクトル を固有ベクトル、複素数 を固有 値という ・固有値分解できない正方行列もある