Submit Search
Upload
ラビットチャレンジレポート 応用数学
•
Download as PPTX, PDF
•
0 likes
•
92 views
S
ssuserf4860b
Follow
ラビットチャレンジレポート 応用数学
Read less
Read more
Education
Report
Share
Report
Share
1 of 44
Download now
Recommended
PRML復々習レーン2.3.2
PRML復々習レーン2.3.2
sukoyakarizumu
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
パターン認識と機械学習(第2章:確率分布)をスライドにまとめました。
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
PRML復習レーン#01の発表資料
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
PRML 上 2.3.6 ~ 2.5.2 パターン認識と機械学習 細かく見たい人用で,パーっと見たい人には向いてないかと
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
PRML第一章のガウス分布の最尤推定からベイズ曲線フィッティングまでを説明しています。ベイズ曲線フィッティングについては、実装しました。さらに、orderを増やすこととサンプル数に着目した過学習の説明も行っています。
Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
Rで学ぶロバスト推定
Rで学ぶロバスト推定
Shintaro Fukushima
Recommended
PRML復々習レーン2.3.2
PRML復々習レーン2.3.2
sukoyakarizumu
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
パターン認識と機械学習(第2章:確率分布)をスライドにまとめました。
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
PRML復習レーン#01の発表資料
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
PRML 上 2.3.6 ~ 2.5.2 パターン認識と機械学習 細かく見たい人用で,パーっと見たい人には向いてないかと
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
PRML第一章のガウス分布の最尤推定からベイズ曲線フィッティングまでを説明しています。ベイズ曲線フィッティングについては、実装しました。さらに、orderを増やすこととサンプル数に着目した過学習の説明も行っています。
Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
Rで学ぶロバスト推定
Rで学ぶロバスト推定
Shintaro Fukushima
PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
少し修正版
PRML輪読#2
PRML輪読#2
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML 2.4
PRML 2.4
kazunori sakai
このスライドは http://kazunorisakai.com/ でも公開しています。
PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28
kurotaki_weblab
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
tn1031
Prml07
Prml07
Tsukasa Fukunaga
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
6/24京大PRML輪講(第3回)での発表資料. 第3章〜3.2まで
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
人生ではじめて作ったスライド
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
Hiroshi Nakagawa
データから母集団の分布を学習する基礎になる線形回帰と線形識別について説明します。特に重要な概念は正規方程式です。発展的な話としては正則化ですが、スパースなモデル学習に効果があるL1正則化について説明します。
An Introduction to HSIC for Independence Testing
An Introduction to HSIC for Independence Testing
Yuchi Matsuoka
Brief introduction of HSIC-based independence test.
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
文献紹介のスライドです。学部4年生〜修士課程くらい向けです。
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
PRML上巻勉強会 at 東京大学の資料です 詳細:https://www.facebook.com/PRML.Tokyo
PRML輪読#3
PRML輪読#3
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第6章「カーネル法」です 文字多め
PRML 第4章
PRML 第4章
Akira Miyazawa
パターン認識と機械学習 第4章 Pattern Recognition and Machine Learning Chapter 4
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
Takuto Kimura
ガウス過程入門
ガウス過程入門
ShoShimoyama
ガウス過程について,数式とイメージの結び付けを意識して作成した資料です. 趣味で作成したものを休憩時間中に会社内で発表したものになります.
正準相関分析
正準相関分析
Akisato Kimura
Introduction to canonical correlation analysis
PRML ベイズロジスティック回帰 4.5 4.5.2
PRML ベイズロジスティック回帰 4.5 4.5.2
tmtm otm
ベイズロジスティック回帰
ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習
ssuserf4860b
ラビットチャレンジレポート 機械学習
回帰
回帰
Shin Asakawa
第2回 TensorFlowと機械学習に必要な数学を基礎から学ぶ会資料 回帰編
More Related Content
What's hot
PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
少し修正版
PRML輪読#2
PRML輪読#2
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML 2.4
PRML 2.4
kazunori sakai
このスライドは http://kazunorisakai.com/ でも公開しています。
PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28
kurotaki_weblab
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
tn1031
Prml07
Prml07
Tsukasa Fukunaga
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
6/24京大PRML輪講(第3回)での発表資料. 第3章〜3.2まで
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
人生ではじめて作ったスライド
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
Hiroshi Nakagawa
データから母集団の分布を学習する基礎になる線形回帰と線形識別について説明します。特に重要な概念は正規方程式です。発展的な話としては正則化ですが、スパースなモデル学習に効果があるL1正則化について説明します。
An Introduction to HSIC for Independence Testing
An Introduction to HSIC for Independence Testing
Yuchi Matsuoka
Brief introduction of HSIC-based independence test.
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
文献紹介のスライドです。学部4年生〜修士課程くらい向けです。
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
PRML上巻勉強会 at 東京大学の資料です 詳細:https://www.facebook.com/PRML.Tokyo
PRML輪読#3
PRML輪読#3
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第6章「カーネル法」です 文字多め
PRML 第4章
PRML 第4章
Akira Miyazawa
パターン認識と機械学習 第4章 Pattern Recognition and Machine Learning Chapter 4
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
Takuto Kimura
ガウス過程入門
ガウス過程入門
ShoShimoyama
ガウス過程について,数式とイメージの結び付けを意識して作成した資料です. 趣味で作成したものを休憩時間中に会社内で発表したものになります.
正準相関分析
正準相関分析
Akisato Kimura
Introduction to canonical correlation analysis
PRML ベイズロジスティック回帰 4.5 4.5.2
PRML ベイズロジスティック回帰 4.5 4.5.2
tmtm otm
ベイズロジスティック回帰
What's hot
(20)
PRML2.1 2.2
PRML2.1 2.2
PRML輪読#2
PRML輪読#2
PRML 2.4
PRML 2.4
PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
Prml07
Prml07
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
An Introduction to HSIC for Independence Testing
An Introduction to HSIC for Independence Testing
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML輪読#3
PRML輪読#3
PRML第6章「カーネル法」
PRML第6章「カーネル法」
PRML 第4章
PRML 第4章
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
ガウス過程入門
ガウス過程入門
正準相関分析
正準相関分析
PRML ベイズロジスティック回帰 4.5 4.5.2
PRML ベイズロジスティック回帰 4.5 4.5.2
Similar to ラビットチャレンジレポート 応用数学
ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習
ssuserf4860b
ラビットチャレンジレポート 機械学習
回帰
回帰
Shin Asakawa
第2回 TensorFlowと機械学習に必要な数学を基礎から学ぶ会資料 回帰編
PRML 8.4-8.4.3
PRML 8.4-8.4.3
KunihiroTakeoka
間違いなどありましたら、 https://twitter.com/_kuni88 までご連絡ください。
線形識別モデル
線形識別モデル
貴之 八木
上智大学宮本研究室の勉強会発表資料です. PRML(パターン認識と機械学習)の第4章「線形識別モデル」から一部抜粋してまとめました.
スプラトゥーン2 × 数学(訂正版)
スプラトゥーン2 × 数学(訂正版)
Takunology
前回作成したスライドの中で、優劣比較のところが間違えていたので修正したものを再アップロードしました。間違えた点についてはスライドの最後のほうを確認してください。
Prml1.2.4
Prml1.2.4
Tomoyuki Hioki
パターン認識と機械学習 (ベイズ理論による統計的予測) 1.2.4 Pattern Recognition and Machine Learning (PRML)
PRML 上 1.2.4 ~ 1.2.6
PRML 上 1.2.4 ~ 1.2.6
禎晃 山崎
i.i.d. の変数の生成と混合分布を用いて,最尤推定しているところなど一部参考文献とニュアンスが異なっているかと思います。 見やすいと思った資料↓↓ 1章 https://speakerdeck.com/tkngue/prml-chapter01-at-nut 3章 http://www.iip.ist.i.kyoto-u.ac.jp/member/keisuke/resources/PRML_sec3_2.pdf https://www.slideshare.net/yasunoriozaki12/prml-29439402 5章前半(特にわかりやすいかと) https://www.slideshare.net/t_koshikawa/prml-5-pp227pp247
C03
C03
anonymousouj
554522
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
t2tarumi
020 1変数の集計
020 1変数の集計
t2tarumi
東京都市大学 データ解析入門 3 行列分解 2
東京都市大学 データ解析入門 3 行列分解 2
hirokazutanaka
固有値問題の復習 主成分分析 (principal component analysis) 固有顔 (eigenface) 次元打ち切り(dimensional truncation) ランダム化特異値分解(randomized SVD) 講師: 東京都市大学 田中宏和 講義ビデオ: https://www.youtube.com/playlist?list=PLXAfiwJfs0jGOvZnwUdAykZvSdRFd7K2p
東京都市大学 データ解析入門 2 行列分解 1
東京都市大学 データ解析入門 2 行列分解 1
hirokazutanaka
特異値分解(Singular value decomposition) 行列近似(Matrix approximation) Eckart-Youngの行列近似定理 応用例:画像圧縮(Image compression) 線形方程式系:優決定系と劣決定系 擬逆行列、最小二乗、回帰問題 講師: 東京都市大学 田中宏和 講義ビデオ: https://www.youtube.com/playlist?list=PLXAfiwJfs0jGOvZnwUdAykZvSdRFd7K2p
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
hirokazutanaka
線形回帰問題と最適化問題 回帰問題における外れ値問題 最小二乗法の問題点 ロバスト線形回帰 最適化問題としての回帰 問題最小二乗法 勾配降下法 LASSO回帰 優決定系におけるスパース回帰 講師: 東京都市大学 田中宏和 講義ビデオ: https://www.youtube.com/playlist?list=PLXAfiwJfs0jGOvZnwUdAykZvSdRFd7K2p
ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3
noname409
統計概論 isseing333
統計概論 isseing333
Issei Kurahashi
PRML 2.3節
PRML 2.3節
Rei Takami
研究室で行なった"パターン認識と機械学習"の輪読会での発表資料です
数学教材(中間発表)
数学教材(中間発表)
Mizuguchi1205
Prml 2.3
Prml 2.3
Yuuki Saitoh
情報幾何学の基礎 第2章 4.5
情報幾何学の基礎 第2章 4.5
Tatsuki SHIMIZU
2.4 ベクトル場 2.5 テンソル場
データ解析10 因子分析の基礎
データ解析10 因子分析の基礎
Hirotaka Hachiya
因子分析の基礎
Similar to ラビットチャレンジレポート 応用数学
(20)
ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習
回帰
回帰
PRML 8.4-8.4.3
PRML 8.4-8.4.3
線形識別モデル
線形識別モデル
スプラトゥーン2 × 数学(訂正版)
スプラトゥーン2 × 数学(訂正版)
Prml1.2.4
Prml1.2.4
PRML 上 1.2.4 ~ 1.2.6
PRML 上 1.2.4 ~ 1.2.6
C03
C03
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
020 1変数の集計
020 1変数の集計
東京都市大学 データ解析入門 3 行列分解 2
東京都市大学 データ解析入門 3 行列分解 2
東京都市大学 データ解析入門 2 行列分解 1
東京都市大学 データ解析入門 2 行列分解 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3
統計概論 isseing333
統計概論 isseing333
PRML 2.3節
PRML 2.3節
数学教材(中間発表)
数学教材(中間発表)
Prml 2.3
Prml 2.3
情報幾何学の基礎 第2章 4.5
情報幾何学の基礎 第2章 4.5
データ解析10 因子分析の基礎
データ解析10 因子分析の基礎
ラビットチャレンジレポート 応用数学
1.
応用数学 ラビット・チャレンジ レポート ALLPPT.com _ Free
PowerPoint Templates, Diagrams and Charts
2.
1.線形代数 1.1.逆行列 1.2.行列式 1.3.固有値分解 1.4.特異値分解 1.5.次元削減 目次(1)
3.
2.確率・統計 2.1.条件付き確率 2.2.ベイズの定理 2.3.期待値/分散/共分散 2.4.ベルヌーイ試行/二項分布/カテゴリカル分布/多項分布 2.5.正規分布 目次(2)
4.
3.情報理論 3.1.自己情報量 目次(3)
5.
1.線形代数
6.
逆行列をここで理解する目的 最終的には特異値分解の理解を目的としており、特異値分解には逆 行列の理解が必要(目次の順番で理解することで、特異値分解の理解 にたどりつく)
特異値分解を理解しておくと、ある行列が複数の行列の積に分解され、 その行列の要素を落とす(情報量を落とす)といった処理の理解に役 立つ ※ある写真の情報を行列表現したとき、全体感を変えずに情報量落と すイメージ(画像に徐々に濃いモザイクがかかるイメージ、景色が湯気で かすんでいくイメージ) 1.1.逆行列(1/2)
7.
逆行列 𝐴 を正方行列とし,
I を同じ大きさの単位行列とする。 このとき、 𝐴𝐴−1 = 𝐴−1 𝐴= I が成り立つような正方行列𝐴−1が存在するとき,これを𝐴の逆行列と いう。 • 行列的に積が1になるイメージ • 両辺に逆行列をかけることで式変形するようなときに便利 • 例: AB = C ⇒ B = 𝐴−1C ※ 行列の場合はA で割らない 1.1.逆行列(2/2)
8.
逆行列を持つには 定義の通り正方行列であること
行列式 ≠ 0 ⇔ det (A) ≠ 0 ⇔ |A| ≠ 0 ※以下は2次正方行列の場合 ⇔ 𝑎 𝑏 𝑐 𝑑 とすると a : b ≠ c : d ⇔ ad – bc ≠ 0 ⇔ 𝑣1 = (a b) , 𝑣2 = (c d)のとき 𝑣1, 𝑣2が1次独立 ちなみに逆行列は 1 𝑎𝑑−𝑏𝑐 𝑑 −𝑏 −𝑐 𝑎 1.2.行列式(1/2)
9.
逆行列を持つには(続き) 以下は3次正方行列の行列式 𝑎 𝑏
𝑐 𝑑 ⅇ 𝑓 𝑔 ℎ ⅈ とすると以下が ≠ 0 (サラスの公式) a・e・i + b・f・g + d・h・c ←右斜め - c・e・g – f・h・a – b・d・I ←左斜め ちなみに逆行列は、掃き出し法で求める 1.2.行列式(2/2)
10.
固有値・固有ベクトル 𝐴𝑥 =
𝜆𝑥 となるx (ベクトルの矢印が面倒なので太字)とλが存在 このときxを固有ベクトル、λを固有値と呼ぶ。 なお、Aは正方行列。 x ≠0 意味としては、xを行列Aで変換すると、 xはそのままにλ倍(スカ ラー倍)になるイメージ 1.3.固有値分解(1/7)
11.
固有値分解 Ax =
λx ⇔ 一旦行列表現をして AX = XΛ ⇔ 右からX−1をかけて A = XΛX−1 このように、3つの行列の積に分解できる。 つまり、固有値と固有ベクトルを求めれば、Aを分解できる 1.3.固有値分解(2/7)
12.
固有値・固有ベクトル導出 1 4 2
3 Ax = λx ⇔ Ax – λx = 0 ⇔ ( A – λI )x = 0 ← Aは行列なので引き算するにはλI ⇔ 定義よりx ≠ 0 である。また、 A – λI が逆行列を持ってしまうと 両辺に左から A – λIの逆行列をかけることで、x = 0 と なってしまうので、これはx ≠ 0 に矛盾するため、 A – λIは逆行列を持たない ⇔ | A – λI | = 0 ← 行列式が0となると逆行列を持たない、だった 1.3.固有値分解(3/7)
13.
固有値・固有ベクトル導出(続き) 1 4 2
3 ⇔ | 1 4 2 3 – λ 0 0 λ | = 0 ⇔ | 1 − λ 4 2 3 − λ | = 0 ⇔ (1 – λ)(3 – λ) – 8 = 0 ⇔ 3 – λ – 3λ + 𝜆2 - 8 = 0 ⇔ 𝜆2 - 4λ - 5 = 0 ⇔ (λ – 5)(λ + 1) = 0 ∴ λ = 5, -1 1.3.固有値分解(4/7)
14.
固有値・固有ベクトル導出(続き) 1 4 2
3 ( A – λI ) x = 0 だったため、これに代入 (1) λ = 5のとき 1 − 5 4 2 3 − 5 𝑥 𝑦 = 0 ⇔ −4 4 2 −2 𝑥 𝑦 = 0 ⇔ 2x – 2y = 0 ⇔ x = y ⇔ x = y = C(Cは任意の定数) とすると、 𝑥 𝑦 = C 1 1 つまり、固有ベクトルの1つは 1 1 ※C=2として 2 2 でもよい 1.3.固有値分解(5/7)
15.
固有値・固有ベクトル導出(続き) 1 4 2
3 同様に、 (2) λ = -1のとき 2 4 2 4 𝑥 𝑦 = 0 ⇔2x + 4y = 0 ⇔ x =-2 y ⇔ y = C(Cは任意の定数) とすると、 𝑥 𝑦 = C −2 1 つまり、固有ベクトルの1つは −2 1 1.3.固有値分解(6/7)
16.
固有値・固有ベクトル導出(最後) 1 4 2
3 A = XΛX−1 だったので A = 1 −2 1 1 5 0 0 −1 1 −2 1 1 −1 ← Xは固有ベクトルを並べたもの = 1 −2 1 1 5 0 0 −1 1/3 2/3 −1/3 1/3 1.3.固有値分解(7/7)
17.
やりたいこと 固有値・固有ベクトルはAが正方行列のときの考え方だった。 Aがm行n列の正方行列ではない場合でも分解したい。 1.4.特異値分解(1/10)
18.
特異値・特異ベクトル(続き) 𝐴がm行n列のとき、𝐴𝑇はn行m列。 この積𝐴𝐴𝑇、 𝐴𝑇𝐴はそれぞれ、m行m列、n行n列となる。 つまり、いずれも正方行列。 𝐴v
= σu , 𝐴𝑇u = σv 、つまり、 単位ベクトルvを𝐴で変換すると単位ベクトルuのスカラー倍となり、 その単位ベクトルuを𝐴𝑇で変換すると単位ベクトルvのスカラー倍となる u, vが存在する場合、次のことが成り立つ。 (vとuとを𝐴と𝐴𝑇の変換で行ったり来たりするイメージ) 1.4.特異値分解(2/10)
19.
特異値・特異ベクトル(続き) 一旦、行列表現をして、 AV =
UΣ ※V, Uは直行行列 ⇔ A = UΣ𝑉−1 ⇔ A = UΣ𝑉T ← 直行行列のため 𝑉−1 = 𝑉T ⇔ 𝐴T = (UΣ𝑉T )T = VΣT 𝑈T ← (AB) T = 𝐵T 𝐴T ここで、 𝐴𝐴T = UΣ𝑉TVΣT𝑈T = UΣ ΣT𝑈T ← 𝑉TV = 𝑉−1V = I 𝐴T 𝐴 = VΣT 𝑈T UΣ𝑉T = VΣT Σ𝑉T 𝐴𝐴T = A´と見てみると、A´は正方行列であり 、 固有値・固有ベクトルの式(A´ = VΛ𝑉−1 )と同じ。 固有値・固有ベクトルを求めることができる。(𝐴T 𝐴も同様) 1.4.特異値分解(3/10)
20.
特異値・特異ベクトル導出(続き) 1 2
3 3 2 1 𝐴𝐴T = UΣ ΣT𝑈T ⇔ 𝐴𝐴TU = UΣ ΣT ⇔ ( A´ – Σ´)U = 0 ← 一旦 A´ = 𝐴𝐴T, Σ´ = Σ ΣT とみなす ⇔ | 1 2 3 3 2 1 1 3 2 2 3 1 - σ´ 0 0 σ´ | = 0 ⇔ | 14 − σ´ 10 10 14 − σ´ | = 0 ⇔ (14 – σ´)(14 – σ´) – 100 = 0 ⇔ (σ ´ – 24)(λ´ - 4) = 0 ⇔ σ ´ = 4, 24 1.4.特異値分解(4/10)
21.
特異値・特異ベクトル導出(続き) 1 2
3 3 2 1 (1)σ ´ = 24のとき ⇔ 14 − 24 10 10 14 − 24 𝑥 𝑦 = 0 ⇔ -x + y = 0 ⇔ y = C(Cは定数)とすると x = C なので、 𝑥 𝑦 = C 1 1 (2)σ ´ = 4のとき x + y = 0 ⇔ y = Cとするとx = -Cなので、 𝑥 𝑦 = C −1 1 1.4.特異値分解(5/10)
22.
特異値・特異ベクトル導出(続き) 1 2
3 3 2 1 ∴ U = 1/√2 −1/√2 1/√2 1/√2 ← 単位ベクトルのため大きさ1 したがって、A = UΣ𝑉T = 1/√2 −1/√2 1/√2 1/√2 √24 0 0 √4 𝑉T ※ ΣΣT = 𝜎1 0 0 0 𝜎2 0 𝜎1 0 0 𝜎2 0 0 = 𝜎1 2 0 0 𝜎2 2 のため、 固有値は√記号をとって、√24、√4となっている。 なお、𝜎1> 𝜎2 (特異値分解では対角線の左上が大きくなる) 1.4.特異値分解(6/10)
23.
特異値・特異ベクトル導出(続き) 1 2
3 3 2 1 A = UΣ𝑉T , 𝐴T = VΣT 𝑈T だったので 𝐴T𝐴= VΣT𝑈TUΣ𝑉T = VΣTΣ𝑉T としてVも同じく求められる 𝐴T 𝐴 = 10 8 6 8 8 8 6 8 10 また、Aは2行3列のため、 A = UΣ𝑉T からUは2行2列、Σは2行3列、 𝑉T は3行3列。し たがって、以下となり3番目の固有値を示す3行3列目が0のため、 3つ目の固有値は 0 となる。 ΣT Σ = 𝜎1 0 0 𝜎2 0 0 𝜎1 0 0 0 𝜎2 0 = 𝜎1 2 0 0 0 𝜎2 2 0 0 0 0 1.4.特異値分解(7/10)
24.
特異値・特異ベクトル導出(続き) 1 2
3 3 2 1 λ = 24, 4, 0でそれぞれ固有ベクトルを求めて V = 1/√3 1/√2 1/√6 1/√3 0 −2/√6 1/√3 −1/√2 1/√6 となるため、 𝑉T = 1/√3 1/√3 1/√3 1/√2 0 −1/√2 1/√6 −2/√6 1/√6 1.4.特異値分解(8/10)
25.
特異値・特異ベクトル導出(続き) 1 2
3 3 2 1 λ = 24, 4, 0でそれぞれ固有ベクトルを求めて V = 1/√3 1/√2 1/√6 1/√3 0 −2/√6 1/√3 −1/√2 1/√6 のため、 𝑉T = 1/√3 1/√3 1/√3 1/√2 0 −1/√2 1/√6 −2/√6 1/√6 1.4.特異値分解(9/10)
26.
特異値・特異ベクトル導出(最後) 1 2
3 3 2 1 A = UΣ𝑉T より A = 1/√2 −1/√2 1/√2 1/√2 √24 0 0 0 √4 0 1/√3 1/√3 1/√3 1/√2 0 −1/√2 1/√6 −2/√6 1/√6 1.4.特異値分解(10/10)
27.
特異値・特異ベクトル導出(最後) A = 1/√2
−1/√2 1/√2 1/√2 √24 0 0 0 √4 0 1/√3 1/√3 1/√3 1/√2 0 −1/√2 1/√6 −2/√6 1/√6 A = ①×③×⑤ + ②×④×⑥ + ・・・・とすると (1) k = 2 A = ①×③×⑤ + ②×④×⑥ (2) k = 1 A = ①×③×⑤ (3) これにより、元の行列Aの情報を徐々に削減することが可能。 1.5.次元削減 ① ② ③ ④ ⑤ ⑥
28.
2.確率・統計
29.
2.確率・統計 2.1.条件付き確率 2.2.ベイズの定理 2.3.期待値/分散/共分散 2.4.ベルヌーイ試行/二項分布/カテゴリカル分布/多項分布 2.5.正規分布 目次(2)
30.
条件付き確率 ある事象Yの条件下においてXが起こる確率は、Yが起こる確率の事象のうち、 XとYが起こる確率の確率 P | X
Y = P X,Y P Y ※ Yの条件下でXが起こる確率と言っているのに X | Yの順序となって いるのはX under Y といった英語表現だかららしい 2.1.条件付き確率 U X Y
31.
ベイズの定例 因果関係を逆にできる P
| X Y = P X,Y P Y その逆は P | Y X = P X,Y P X でありP(X)を両辺にかけて P | Y X P(X) = P(X,Y) したがって P | X Y = P X,Y P Y = P Y|X P(X) P Y このように、P(X|Y) が P(X), P(Y), P(Y|X)で表すことができる 、 2.2.ベイズの定例
32.
平均と期待値 X =
𝑥𝑖という値が観測される確率を𝑝𝑖、観測される回数を𝑁𝑖、とすると、 平均𝑥は 期待値μは 𝑥 = Σ 𝑥𝑖 𝑁𝑖 𝑁 μ = Σ 𝑥𝑖𝑝𝑖 N → ∞のとき、 𝑁𝑖 𝑁 = 𝑝𝑖 したがって、 𝑥 = μ。確率分布の期待値は母集団の平均値と一致する。 2.3.期待値/分散/共分散/標準偏差
33.
期待値 X =
𝑥𝑖という値が観測される確率を𝑝𝑖、観測される回数を𝑁𝑖、とすると、 平均𝑥は 期待値μは 𝑥 = Σ 𝑥𝑖 𝑁𝑖 𝑁 μ = Σ 𝑥𝑖𝑝𝑖 N → ∞のとき、 𝑁𝑖 𝑁 = 𝑝𝑖 したがって、 𝑥 = μ。確率分布の期待値は母集団の平均値と一致する。 ※確率変数が連続する値の場合は期待値は、 ∫P(x)f(x)dx 2.3.期待値/分散/共分散/標準偏差
34.
分散V(X) 一般的な定義より分散を期待値(平均値)
E(X)で表す 期待値(平均値)をμとして(μ = E(X)) V(X) = Σ 𝑥𝑖 − μ 2 𝑝𝑖 = Σ(𝑥𝑖 2 𝑝𝑖 − 2μ𝑥𝑖𝑝𝑖 + 𝜇2𝑝𝑖 ) = Σ𝑥𝑖 2 𝑝𝑖 − 2μ × Σ𝑥𝑖𝑝𝑖 + 𝜇2Σ𝑝𝑖) = E(𝑋2) – 2μ E(X) + 𝜇2𝑝𝑖 = E(𝑋2 ) – 2E(X)×E(X) + 𝜇2 = E(𝑋2) – 2{E(X)}2 + {E(X)}2 = E(𝑋2 ) – {E(X)}2 2.3.期待値/分散/共分散/標準偏差
35.
分散V(X) データ各々の期待値からのズレの平均とも考えれる 期待値(平均値)をμとして(μ
= E(X)) V(X) = E{ 𝑋 − μ 2 } = E(𝑋2 -2μX + 𝜇2) = E(𝑋2) -2μE(X) + 𝜇2E(1) = E(𝑋2) – 2E(X)E(X) + {E 𝑋 }2 = E(𝑋2) – {E 𝑋 }2 2.3.期待値/分散/共分散/標準偏差
36.
共分散Cov(X, Y)
2つのデータ系列の傾向の違い • 正の値を取れば似た傾向 • 負の値を取れば逆の傾向 • ゼロを取れば関係性に乏しい期待値 Cov(X, Y) = E{(X - μx)(Y − μy)} = E(XY - Xμy- μxY +μxμy) = E(XY) - E(X)μy - μxE(Y) + μxμy = E(XY) – E(X)E(Y) – E(X)E(Y) + E(X)E(Y) = E(XY) − E X E(Y) 2.3.期待値/分散/共分散
37.
ベルヌーイ試行 コインの裏表のような二面事象 P(X
= x) = 𝑝𝑥 1 − 𝑝 1−x x = 0, 1 • 期待値E(X) E(X) = 1・ 𝑝 + 0 (1 – p) = p • 分散V(X) V(X) = Σ 𝑥 − μ 2 p = 1 − μ 2 p + 0 − μ 2 (1 – p) μ = E(X) = pより p - 𝑝3 - 𝑝2 + 𝑝3 = p - 𝑝2 = p(1 – p) 2.4.ベルヌーイ試行/二項分布/カテゴリカル分布/多項分布
38.
二項分布 ベルヌーイ試行の多試行版 P(X)
= nCk 𝑝𝑘 1 − 𝑝 n−𝑘 • 期待値E(X) 1回1回は独立したベルヌーイ試行なので、1回の期待値はp それがn回であるから E(X) = np • 分散V(X) 分散も同様に V(X) = np(1 – p) 2.4.ベルヌーイ試行/二項分布/カテゴリカル分布/多項分布
39.
カテゴリカル分布 ベルヌーイ試行の多面版(コイン
→ サイコロ or ジャンケンなど) P(X = x) = 𝑘=1 𝑛 𝑝𝑘 2.4.ベルヌーイ試行/二項分布/カテゴリカル分布/多項分布
40.
多項分布 二項分布を多項に
or カテゴリカル分布をn回に。 講義では問われていないようなので割愛。 期待値、分散は二項分布と同様。 2.4.ベルヌーイ試行/二項分布/カテゴリカル分布/多項分布
41.
どんなものも正規分布に従うらしい(中心極限定理) 2.5.正規分布 μ σ
42.
3.情報理論 3.1.自己情報量 目次(3)
43.
情報の重要さは、そのレアリティ、確率にあり I(x) =
- log P(x) ビット 以降も公式のみの記載になるのでテキスト参照だが、基礎として重要なの で自己情報量については上記に記載。 3.1.自己情報量
44.
線形代数 https://www.youtube.com/watch?v=svm8hlhF8PA https://www.youtube.com/watch?v=CUtT2Pi3ITQ&t=1009s 確率統計 https://atarimae.biz/archives/15752 https://hiraocafe.com/note/kyoubunsan.html https://ai-trend.jp/basic-study/basic/expected-value/ https://kikaben.com/probs-stats/ https://www.youtube.com/watch?v=oUN_GhB00fU http://ryo-kida.blog.jp/archives/54884972.html APPENDIX
参考記事など
Download now