Recommended
More Related Content
What's hot
What's hot (20)
Similar to 詳解 ディープラーニング輪読＆勉強会 3章後半ニューラルネットワーク
Similar to 詳解 ディープラーニング輪読＆勉強会 3章後半ニューラルネットワーク (20)
詳解 ディープラーニング輪読＆勉強会 3章後半ニューラルネットワーク
- 2. Agenda • 環境、教材等の説明 • 3章前半の復習（補足） • 3.5. 多クラスロジスティック回帰 • p108-119 • 3.6. 多層パーセプトロン • p119-131 • 3.7. モデルの評価 • p132-140 2
- 3. 環境、教材等の説明 3
- 4. 実施方針 • 数式の解説はしない • なるべくJupyter Notebook（等）で動かしながら • Visualize 4
- 5. 環境構築 • Jupyter Notebook＋TensorFlow＋Matplotlib • Keras（任意） • Anacondaのターミナルで > pip install keras （参考） • Windows版Anaconda上でTensorFlow ＋Jupyter Notebook + Matplotlib の環境構築（2017年8月版） - Qiita http://qiita.com/isaac-otao/items/cecfb3efb7d9ccddf922 → http://bit.ly/JnbTf 5
- 6. 本日の教材 • Githubにjupyter notebookファイルがあります • https://github.com/isaac-otao/ai- study/blob/master/neural_network_2nd_part.ipynb →http://bit.ly/NN2nd • Gitが使える方 • https://github.com/isaac-otao/ai-study をclone • jupyter notebookを起動する作業ディレクトリでcloneす るとわかりやすいです • Gitが使えない方 • Jupyter Notebook Viewer(nbviewer) でDL（次頁） 6
- 7. Jupyter Notebook Viewer (nbviewer) • http://nbviewer.jupyter.org/ • GithubのnotebookページのURLを貼ってGO • .ipynbファイルをDLできる→作業ディレクトリへ配置 7
- 8. （参考）筆者のサポートページ • Githubに公開されています。 • https://github.com/yusugomori/deeplearning- tensorflow-keras • コードのファイル形式は.py 8
- 10. 3.3. 単純パーセプトロン p81 • モデル概略図（図3.9） • モデル式（3.14） 𝑦 = 𝑓 𝑤1𝑥1 + 𝑤2𝑥2 + ・・・ + 𝑤𝑛𝑥𝑛 − 𝜃 （3.14） 𝑏 = −𝜃と置き換え、ベクトル𝑥 = 𝑥1 𝑥2 : 𝑥𝑛 、𝑤 = 𝑤1 𝑤2 : 𝑤𝑛 とすると 𝑦 = 𝑓(𝑤 𝑇 𝑥 + 𝑏) （3.16） 10 𝑤1 𝑤𝑘 𝑤𝑛 𝑥𝑛 𝑥𝑘 𝑥1 𝑦 : :
- 11. 3.3.2. 実装 p82 • 入力のニューロン数＝2 （２次元） • 発火しないデータ： 座標（0,0）付近 • 発火するデータ： 座標（5,5）付近 • 座標の横軸が𝑥1、縦軸が𝑥2 を表す • モデル式：𝑦 = 𝑓(𝑤1𝑥1 + 𝑤2𝑥2 + 𝑏) 11 P83 図3.10
- 12. 3.3.2. 実装（続き） • p83のコード • ↑このx1、x2は モデル式 𝑦 = 𝑓(𝑤1𝑥1 + 𝑤2𝑥2 + 𝑏) の𝑥1, 𝑥2とは別物 • コードのx1＝座標(0,0)付近のグループ、x2＝座標 (5,5)付近のグループ →違う名前の方が分かりやすい 12 x1 = rng.randn(N, d) + np.array([0, 0]) x2 = rng.randn(N, d) + np.array([mean, mean]) x1 x2
- 13. 3.3.2. 実装（続き） • 変数名を分かりやすいものに変更 • X、W、ｂ各変数の初期値を出力して中身を確認 • Matplotlibでデータの散布図と分類境界線を描画 ↓ https://github.com/isaac-otao/ai- study/blob/master/neural_network_1st_part.ipynb 13 xg0 = rng.randn(N, d) + np.array([0, 0]) xg1 = rng.randn(N, d) + np.array([mean, mean])
- 14. 3.4. ロジスティック回帰 p88 • シグモイド関数（sigmoid）：確率を出力する関数 • 出力が０～１の実数 • ステップ関数のかわりにシグモイド関数を使ったモデル をロジスティック回帰（logisitic regression）という。 • 𝑦 = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑(𝑤 𝑇 𝑥 + 𝑏) 14
- 15. 3.4.3. 実装 • ORゲートの学習 • データ：[0,0]→0, [0,1]→1, [1,0]→1, [1,1]→1 • モデル： y = sigmoid( w1x1 + w2x2 + b) • 学習結果： • w [[ 3.61188436] [ 3.61188436]] • b [-1.24509501] 15 3.61 𝑥1 + 3.61 𝑥2 − 1.24 = 0 ↓ 𝑥2 = − 3.61 3.61 𝑥1 + 1.24 3.61
- 17. 3.5.1. ソフトマックス関数 p108 • ２値分類（２クラス分類） • ステップ関数 …出力：０か１ • シグモイド関数 …出力：０～１（確率） 実数（ス カラー） • 多クラス分類 • ソフトマックス関数 …出力：０～１（確率） ベクトル 17 （例）𝑠𝑖𝑔𝑚𝑜𝑖𝑑 𝑥 = 0.6532 （例）𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝑥 = 0.6532 0.2415 0.1053
- 18. 3.5.1. ソフトマックス関数（続き） p108 • クラス数＝𝑛 y𝑖 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝑥 𝑖 • (3.53) 𝑖=1 𝑛 𝑦𝑖 = 1 • (3.54) 0 ≤ 𝑦𝑖 ≤ 1 (𝑖 = 1,2, … , 𝑛) ↓ • softmax関数の結果は、各クラスの確率（0～1）を 表す（3.54） • 各クラスの確率の合計は1（3.53） 18
- 19. 3.5.1. ソフトマックス関数（続き） p109 例 • クラス数＝3 • 𝑦1 𝑦2 𝑦3 = 0.5761 0.2119 0.2119 • (3.54) 0 ≤ 𝑦𝑖 ≤ 1 (𝑖 = 1,2,3) • (3.53) 𝑖=1 𝑛 𝑦𝑖 = 1 → 𝑦1 + 𝑦2 + 𝑦3 = 0.9999 ≒ 1 19
- 20. 3.5.2. モデル化 p110 • 図3.18 モデル図示 • モデル式 𝑦 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝑊𝑥 + 𝑏 (3.63)改 • 𝑥：M次元ベクトル (M,1) • 𝑦：K次元ベクトル (K,1) • 𝑊：重み行列 (K,M) • 𝑏：バイアスベクトル (K,1) …多クラスロジスティック回帰 20 𝑤11 𝑤𝐾𝑀𝑥𝑀 𝑥𝑚 𝑥1 𝑦𝐾 : : 𝑦1 : 𝑦1 : 𝑦𝐾 = 𝑦 𝑥1 : : 𝑥𝑀 𝑤11 .. .. 𝑤1𝑀 : : : : 𝑤𝐾1 .. .. 𝑤𝐾𝑀 𝑏1 : 𝑏𝐾 𝑏𝑥𝑤 +・ 入力 出力 出力が複数
- 21. 3.5.2. モデル化（続き） p112 • 1-of-K表現 • N個の入力データ𝑥𝑛 (𝑛 = 1,2, … , 𝑁) • それに対応する正解データ（ベクトル）𝑡𝑛 • 𝑥𝑛がクラス𝑘に属するとき、𝑡𝑛の𝑗番目の成分は • 𝑡𝑛𝑗 = 1 (𝑗 = 𝑘) 0 (𝑗 ≠ 𝑘) （3.65） 21 𝑥1 𝑥2 𝑥𝑛 ： 𝑥𝑁 𝑡1（ ０ ０ １ ） 𝑡2（ １ ０ ０ ） 𝑡𝑛（ ０ １ ０ ） （ ： ： ： ） 𝑡𝑁（ １ ０ ０ ） ク ラ ス ３ ク ラ ス ２ ク ラ ス １ softmaxでは、 • 該当クラスが１ • それ以外が０ のベクトルを正解 データとして持たせる
- 22. 3.5.3. 実装 p114 • 入力：２次元、出力：３クラス • クラス１： 座標（0,10）付近 • クラス２： 座標（5,5）付近 • クラス３： 座標（10,0）付近 22 クラス１ クラス３ クラス２
- 23. 3.5.3. 実装（続き） p116 • 分類が正しいかを確認するには ～ • Softmaxの結果＝各クラスの確率を示したベクトル • 分類結果＝Softmaxで一番確率が高いクラス →Softmax結果ベクトルの最大値の要素(argmax) 23 0.1 0.3 0.6 クラス１ クラス２ クラス３ softmaxの 結果 0 0 1 実際の値（ｔ） クラス１ クラス２ クラス３ argmax →index=2 argmax →index=2 0 0 1 分類結果 比 較
- 24. 3.5.3. 実装（続き） P117 • ソフトマックス関数の中身が等しくなるところが境界となる ので、例えばクラス１とクラス２の分類直線は 𝑤11𝑥1 + 𝑤12𝑥2 + 𝑏1 = 𝑤21𝑥1 + 𝑤22𝑥2 + 𝑏2 （3.76) • 上記の式を 𝑥2 =.. の形で展開する。 • 𝑤12𝑥2 − 𝑤22𝑥2 = 𝑤21𝑥1 − 𝑤11𝑥1 + 𝑏2 − 𝑏1 • (𝑤12 − 𝑤22)𝑥2 = 𝑤21 − 𝑤11 𝑥1 + 𝑏2 − 𝑏1 • 𝑥2 = 𝑤21−𝑤11 (𝑤12−𝑤22) 𝑥1 + (𝑏2−𝑏1) (𝑤12−𝑤22) • 同様にクラス２とクラス３の分類直線は 𝑤31𝑥1 + 𝑤32𝑥2 + 𝑏3 = 𝑤21𝑥1 + 𝑤22𝑥2 + 𝑏2 24
- 26. 3.6.1. 非線形分類 p120 • Kクラス分類において、K-1本の直線で • データを分離できる …線形分離可能 • データを分離できない …線形分離不可能 • 線形分離不可能なシンプルな例：XORゲート • 少なくとも２本の直線が必要 26 0 1 0 1 𝒙𝟏 𝒙𝟐 𝒚 0 0 0 0 1 1 1 0 1 1 1 0 ２クラス分類の場 合、１本の直線 （図3.22）改 𝑥1 𝑥2 （表3.7）
- 27. 3.6.1. 非線形分類（続き） p121～122 • 線形分類器（linear classifier）：線形分類可能な問 題のみに対応したモデル • 単純パーセプトロン • ロジスティック回帰 • 基本ゲートを組み合わせることでXORゲートにも対 応可能 27 𝑊11 𝑊22𝑥2 𝑥1 𝑉2 𝑦 𝑊21 𝑊12 𝑉1 ℎ1 ℎ2 （図3.24）
- 28. 3.6.1. 非線形分類（続き） p123 • 多層パーセプトロン(MLP： Multi Layer Perceptron) …入力と出力以外のニューロンがつながったモデ ル • 入力層(input layer) • 出力層(output layer) • 隠れ層(hidden layer) …入力と出力の中間にある層 28
- 29. 3.6.2. モデル化 p124 • 入力層ー隠れ層 • 重み：𝑊、 バイアス：𝑏、 活性化関数：𝑓 • ℎ = 𝑓(𝑊𝑥 + 𝑏) （3.85） • 隠れ層ー出力層 • 重み：𝑉、 バイアス：𝑐、 活性化関数：𝑔 • y = 𝑔(𝑉ℎ + 𝑐) （3.86） 29 𝑤11 𝑤𝐽𝐼𝑥𝐼 𝑥1 𝑉𝐾𝐽 𝑦𝑘 𝑉11ℎ1 ℎ𝐽 𝑥𝑖 𝑦1 𝑦𝐾 : : : : : • 多クラス分類 →softmax • ２クラス分類 →sigmoid • sigmoidなど 入力層 隠れ層 出力層 （図3.25）
- 30. 3.6.2. モデル化（続き） p126-127 • 誤差逆伝播法（backpropagation） • 出力層でモデルの出力と正解値の誤差（error、 𝛿1, . . , 𝛿𝐾）を求め、その誤差を用いて各ニューロンにつ いて誤差を計算する • 誤差を最小化するために勾配を計算する • モデルの出力…入力層から出力層への順向きで計算 • 勾配計算…出力層から入力層への逆向きで計算 30𝑉𝐾𝑗 𝛿𝑘 𝑉1𝑗 𝛿𝑗 𝛿1 𝛿𝐾 : : : 隠れ層 出力層 : 𝑉𝑘𝑗 （図3.26）
- 31. 3.6.3. 実装 p128 • データ：XOR • X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) • Y = np.array([[0], [1], [1], [0]]) 31 （掲載なし）
- 33. 3.6.3. 実装（続き） （記載なし） • 学習結果 • 分類境界線 • ℎ1: −5.1900𝑥1 − 5.1902𝑥2 + 7.7254 = 0 • 𝑥2 = −0.99996𝑥1 + 1.4884 • ℎ2: −6.8839𝑥1 − 6.8854𝑥2 + 2.8705 = 0 • 𝑥2 = −0.99978𝑥1 + 0.4168 33 𝑥 𝑥1 𝑥2 ℎ W＝入力層の次元数×隠れ層の次元数 ℎ1 ℎ2
- 35. 3.7.1. 分類から予測へ p132 • 実社会で扱うデータ＝複雑、異常値、ノイズetc →100%分類できない。 最も「よい」分類とは？ • 「よい」分類＝データが持つ真のパターンを見つけ 出せている • やりたいこと：今あるデータを分類できる→新たな データが与えられたときに正しく分類できる • ニューラルネットワークにおける学習：データの分 類（だけ）でなく、データが持つ真のパターンを予測 することを表す。 35
- 36. 3.7.2. 予測の評価 P133 • ２つのデータセットを用意する • 訓練データ（training data） …モデルの学習に使う • テストデータ（test data） …モデルのよさを評価する • 実際には、与えられたデータを訓練データとテストデー タに（ランダム）分割して使用することが多い。 • 実施手順 ① 全データを訓練データとテストデータに分割 ② 訓練データで学習 ③ テストデータで評価 36
- 37. 3.7.2. 予測の評価（続き） p134 • 評価指標 • 正解率（accuracy） …全体で予測と実際が的中している率 • 適合率（precision） …発火と予測したうち的中している率 • 再現率（recall） …実際に発火したうち的中している率 • 混合行列 37 出力した値 （予測値）:y y=1 （発火する） y=0 （発火しない） 実際の値:t t=1 （発火する） TP True Positive FN False Negative t=0 （発火しない） FP False Positive TN True Negative positive accuracy = TP + TN TP + FN + FP + TN precision = TP TP + FP recall = TP TP + FN negative precision recall
- 38. 3.7.3. 簡単な実験 p135 • データセット：月形の２クラスデータ（scikit-learnで 提供されているサンプルデータセット） • 訓練データとテストデータに８：２で分割 38 （図3.29）
- 39. 3.7.3. 簡単な実験（続き） p138 • 隠れ層の次元数（ノード数）＝２の場合 • accuracy: 0.883333 • 隠れ層の次元数（ノード数）＝３の場合 • accuracy: 0.933333 39
- 40. 3.8. まとめ p140 • ニューラルネットワークのモデルの学習の流れ ① モデルの出力を式で表す ② 誤差関数を定義する ③ 誤差関数を最小化すべく、各パラメータに対する勾配 を求める ④ 確率的勾配降下法により最適なパラメータを探索す る 40