Download to read offline
![[DL輪読会]Deep Learning 第2章 線形代数](https://cdn.slidesharecdn.com/ss_thumbnails/deeplearningchapter2-180601014406-thumbnail.jpg?width=640&height=640&fit=bounds)
StudyAIラビットチャレンジ 応用数学
- 1.
- 2.
- 3. 第1章 要点のまとめ ○キーワードとの概要 キーワード 概要補足 スカラー 一般的な数値で大きさを表す。四則演算が可能。 ー ベクトル 大きさと向きの両方の性質を持つ。一般的に矢印で図示される ー 行列 スカラーを表、またはベクトルを並べたもの。元は連立方程式を解くための過程で作成された表記方法。 同じ行数・列数を持つ行列どうし（m行n列）は足し算・引き算の計算が可能。 左因子の列の数と右因子の行の数が一致している場合は行列どうしの掛け算が可能（m行n列の行列 A × n行ｌ列の行列B = ｍ行ｌ列の行列C）。またスカラーの掛け算と異なり、左因子と右因子の順 序が変わると計算結果も異なる。 単位行列 対角成分が1で、そのほかの要素が0の行列。 逆行列 行列Aに掛けたときにその答えが単位行列となる行列。A-1と表記され右上の添え字はインバースと呼ぶ。 掃き出し法 行列Aに対する逆行列を求める方法 詳細は後述 行列式 正方行列に対して決まるスカラーであり、2つのベクトルで形成される平行四辺形の面積の意味合いを持 つ。行列式の値が０出ない行列は逆行列を持つ。 固有値 ある行列Aに対して右のような式が成り立つ場合の右辺の係数λ 固有ベクトル ある行列Aに対して右のような式が成り立つ場合の右辺のベクトルｘ 固有値分解 固有値λを大きさの順で並べ替え、これを対角にとる対角ベクトルΛをつくる。 さらに、対応する固有ベクト ルxを同順で列にして行列Vをつくる。この時正方行列Aは右のような式に分解ができる。 特異値分解 正方行列でない行列を固有値分解のように複数の行列に分解する方法。 詳細は後述 詳細は 後述 詳細は 後述
- 4. 第1章 各要点の詳細 掃き出し法 ある行列Aに対して逆行列を求める方法。以下の3つの計算手順を 使って、逆行列を求める。 手順1：a行目をn倍する 手順2：a行目にb行目を加える 手順3：a行目とb行目を入れ替える 問： 解： 手順1＆手順2 手順1＆手順2 手順1 手順3 答え 固有値・固有ベクトル ある行列Aに対して，以下のような式が成り立つような、 特殊なベクトルxと，右辺の係数λがある この時の係数λ、ベクトルxを行列Aに対する固有値、固有ベクトルという。 ある行列Aに対する固有値、固有ベクトルの求め方 行列A =の時 固有ベクトルxが存在するという前提に基づく条件式 （A-λI）=0の時、行列式も０となる 行列Aの固有ベクトル ※定数倍となることに注意 行列Aの固有値
- 5. 第1章 各要点の詳細 固有値分解 正方行列Aにおける固有値λを大きさの順で並べ替え、これを対角 にとる対角ベクトルをΛ、対応する固有ベクトルxを同順で列にした 行列をVとするとき、これらの行列は以下の関係で表される。 特異値分解 正方行列でない行列を固有値分解のように複数の行列に分解 の時 すなわち ⇒ 固有値分解することで行列の累乗の計算が容易となる 問： 解： 固有値 固有ベクトル 対応する固有値・固有ベクトルの 順番で並べる これらの積は m行ｎ列×n行m列 =m行ｍ列の正方行列 固有値による 行列とみなせる 左辺が正方行列のため、固有値分解と同様の式とみなせる 問：を特異値分解せよ 解： これを固有値分解して ←2行2列の正方行列 固有値による行列 ※ とした時 これを固有値分解して
- 6.
- 7.
- 8. 第2章 要点のまとめ ○キーワードとの概要 キーワード 概要補足 条件付き確率 事象Aが起こるという条件のもとで、k種類の事象B（B1,B2,…,Bk ※互いに排反）のうち、事象Biが 起こる条件付き確率はP(Bi|A)と記述され、右の式で表される。 ベイズの定理 （ベイズ則） 条件付き確率を乗法定理 により式変形した形で表したものをベイズ の定理という。 確率変数 いろいろの値をとりうる変数Xがあって、それぞれの値をとる確率が決まっているときXを確率変数という。 例）さいころの出目（X=1~6の整数）、宝くじの当選金額（外れた場合の確立変数Xはゼロ） ー 確率分布 確率変数がある値となる確率。離散値となる確率は表で示され、連続値となる確率はグラフで示すことが できる。 詳細は後述 期待値 確率変数が確率分布に応じて取りうる値。確率変数のすべての値に確率の重みをつけた加重平均とみ なすことができる。 詳細は後述 分散 各データがデータの期待値（平均値）からどのくらいずれているのかの指標。平均値からの各データの誤 算の2乗の平均値となる。 共分散 2変数の関係の強さを表す指標。確率変数X,Yの期待値をそれぞれE(X)=μx, E(Y)=μyとするとXとY の共分散Cov(X,Y)は次の式で計算される。 標準偏差 分散の平方根ととった値。分散の単位が元のデータの2乗となるため、平方根をとることで単位変換を実 施する。 参考ホームページ：https://bellcurve.jp/statistics/
- 9. 第2章 各要点の詳細 確率変数・確率分布・期待値 確率変数、確率分布には離散型と連続型が存在する。 分散・共分散・標準偏差 ○離散型の確立 例）さいころの出目 確率 変数 1 23 4 5 6 確率 1/6 1/6 1/6 1/6 1/6 1/6 ○連続型の確立 例）身長の分布 確率変数（体重・kg) 確率（割合） ⇒確率分布のグラフの 面積が期待値となる。 分散： 標準偏差： 共分散： ○共分散の性質について 共分散は2つの変数の関係性を表す ＞0、つまり ＞0（下図領域①）の 時、2変数はXが増加するとYが増加する傾向を持つ ＜0、つまり ＜0（下図領域②）の 時、2変数はXが増加するとYが減少する傾向を持つ ※ゼロに近い場合は関係性に乏しい。 領域① 領域① 領域② 領域② Y = μy X = μx 共分散を2変数の標準偏差で割り 標準化したものが相関係数となる。 参考ホームページ：https://bellcurve.jp/statistics/
- 10. 第2章 考察 様々な確率分布 ベルヌーイ分布 ベルヌーイ試行（取り得る確率変数が0,1の2通りの試行）の回数が 1回(n=1) のみの時において片方の結果が起きる確率が従う分布 マルチヌーイ分布 取り得る確率変数が2通りよりも多い試行の回数が1回 (n=1) のみ の時において結果が起きる確率が従う分布 二項分布 ベルヌーイ試行をn回行って、成功する回数Xが従う確率分布 ＜試行回数による2項分布のグラフの変化＞ コインを投げて表が出る試行を考えたとき、 コインを投げる回数nを増やすと、2項分布 のグラフは右図のように変化する（試行回 数の増加に伴い、グラフの尖度が減少し、 歪度が増加する） ＜確率による2分布のグラフの変化＞ 試行回数を50回に固定し、成功確率 を0.1、0.2、0.3、0.5、0.8と変化させ た場合、確率が大きくなるほど、グラフの 山の頂点は右に移動する。 ポアソン分布 二項分布において、試行回数nが非常に大きく、事象が極めてまれ （確率pが非常に小さい）な現象であるときに従う確率分布で、単位 時間あたりにある事象が平均してx回起こる場合に、その事象が回起 こる確率を示す。 （λ＝np） ※ポアソン分布は離散確率分布 ポアソン分布を用いることで工場の不良品発生 の確立や事故の発生確率等を導くことができる。 右図グラフのようにポアソン分布はλが大きくなる につれて正規分布に近づく。 幾何分布 成功確率がpである独立なベルヌーイ試行を繰り返す時、初めて 成功するまでの試行回数Xが従う確率分布 指数分布 ある期間に平均してλ回起こる現象が、次に起こるまでの期間が指数 分布に従うとき、となる確率分布f(x)は次の式で表されます。 λの値を変えるとグラフは右図のように変化する 参考ホームページ：https://bellcurve.jp/statistics/
- 11.
- 12. 第3章 要点のまとめ ○キーワードとの概要 キーワード 概要補足 自己情報量 事象が起こる珍しさを数式化したもの。事象が珍しい方が情報量が多い。 シャノンエントロピー 自己情報量の期待値。 カルバック・ライブ ラー・ダイバージェンス 同じ事象、確率変数における異なる確率分布P,Qの違いを表す。 交差エントロピー KLダイバージェンスの一部分を取り出したもの。Qについての自己情報量をPの 分布で取り出している。 シャノンエントロピーのグラフ
- 13. 第3章 考察 自己情報量の考え方 情報量の定義 １.発生する確率が低いことが分かった時のほうが、情報量が多い 1~40までの数値が出るルーレットを考えた場合 情報A：1~20のいずれかの目が出た（確率1/2） 情報B：1~10のいずれかの目が出た（確率1/4） ⇒情報Ｂの方が情報量が多い（情報の質が高いというイメージ） ２：情報量は足し算で計算ができる 上の情報Bに追加で“情報C：出た目は偶数”という情報が手に入った場合 情報の確率は1/4 × 1/2 = 1/8となり情報量は増える。 ⇒ 情報量の増減が掛け算で表されるのは複雑なため掛け算を足し算で 表す（対数を使用する） 自己情報量 符号のマイナスは確率が小さくなると 情報量が増加することを表す。 ← 対数の底を2とした情報量の単位はビット、対数の底を自然数eとした 情報量の単位はナットと呼ばれる。 情報エントロピー（平均情報量） 情報B,Cを持っていてルーレットの出た目が｛2,4,6,8,10｝のいずれかだと 知っている場合、その平均情報量（期待値）は 情報量 確率(1/5) この平均情報量は知っていることが少ないほど、得られる値は大きくなる。この 平均情報量は情報エントロピーとして定義される。 （情報の乱雑さ、情報が絞り込めていないと値が大きくなるイメージ） 相対エントロピー（カルバック・ライブラーの情報量） 確率分布の差異を表す指標。分布間擬距離とも呼ばれる。 ルーレットで奇数が出るか偶数が出るかを考えた場合、 (A)ルーレットに偏りがなければ (B)偏りがあると分かった場合 この(A)と(B)の情報量の差分の期待値が相対エントロピーとなり と表すことができる。 相互情報量 不確実性（情報エントロピー）の減少量を意味する値。 前述の情報Bから情報Cがわかった後の情報Bは情報が絞り込まれているため 情報エントロピーが減少したとみなすことができる。 この時、の情報エントロピーの差分（=相互情報量）は以下の式となる。 条件付き情報エントロピー 参考ホームページ：https://logics-of-blue.com/information-theory-basic/