Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Casual learning machine learning with_excel_no6
Similar to Casual learning machine learning with_excel_no6 (20)
More from KazuhiroSato8
More from KazuhiroSato8 (12)
Recently uploaded
Recently uploaded (8)
Casual learning machine learning with_excel_no6
- 1. カジュアル勉強会 @仙台 Excelで機械学習入門 第6回 株式会社 エクテック データサイエンティスト
- 3. 前段
- 8. Excel 2013, 2016 Google Spreadsheets
- 14. 4 ✖ 3 画素の⽩⿊２値画像として読み取った 「0」,「1」の⼿書き⽂字画像を識別する ニューラルネットワークを作成します。 学習⽤画像データは55枚とします。
- 15. 前回のお話で
- 17. 訓練データは55枚あるので
- 18. … {t1, t2} … 正解ラベルtの組は55個ある (今回は”0”,”1”の数字データなので 学習の際にあらかじめ ”0” or “1”の ラベルがふられている) {t1, t2} {t1, t2} {t1, t2}
- 19. E = e1 + e2 + … + e55 ek = {(t1[k]-z1[k]) + (t2[k]-z2[k]) } Z1 Z2 t1 t2 z1 z2 出⼒層 k番⽬の 画像 計算 出⼒ 理想値 2 2
- 22. …… k番⽬ 1番⽬ 55番⽬ 学習データ ニューラルネット e1 = {(t1[1]-z1[1]) + (t2[1]-z2[1]) } 2 ek = {(t1[k]-z1[k]) + (t2[k]-z2[k]) } e55 = {(t1[55]-z1[55]) + (t2[55]-z2[55]) } 2 2 2 2 …… …… 誤差 2 予測値の算出
- 23. …… k番⽬ 1番⽬ 55番⽬ 学習データ ニューラルネット e1 = {(t1[1]-z1[1]) + (t2[1]-z2[1]) } 2 ek = {(t1[k]-z1[k]) + (t2[k]-z2[k]) } e55 = {(t1[55]-z1[55]) + (t2[55]-z2[55]) } 2 2 2 2 …… …… 誤差 2 0 0 1 …… 正解 t1[1]=1 t2[1]=0 t1[k]=1 t2[k]=0 t1[55]=0 t2[55]=1 …… 理想値 予測値の算出
- 24. …… k番⽬ 1番⽬ 55番⽬ e1 = {(t1[1]-z1[1]) + (t2[1]-z2[1]) } 2 2 ek = {(t1[k]-z1[k]) + (t2[k]-z2[k]) } e55 = {(t1[55]-z1[55]) + (t2[55]-z2[55]) } 2 2 2 2 …… …… 0 0 1 …… 学習データ 誤差 ニューラルネット 予測値の算出 正解 t1[1]=1 t2[1]=0 t1[k]=1 t2[k]=0 t1[55]=0 t2[55]=1 …… 理想値 E = e1 + e2 + … + e55 ⽬的関数
- 27. 勾配降下法の式を書き下すと
- 28. ⽬的関数Eにおいて、重み w11, …,w11, …と 閾値 θ1, … ,θ1, … を順に w11+Δw11, …, θ1+Δθ1, … H H H H w11+Δw11, …, θ1+Δθ1, … O O O O H O H O と変化させたときに⽬的関数Eが最も⼩さく なるのは次の関係が成り⽴つときである (w11, … , θ1, … , w11, …, θ1, …) = - η( H H O O δE δw11 δE δθ1 δE δw11 δE δθ1 H OH O,…, ,…, ,…, ,… )
- 30. そこで 誤差逆伝播法の登場
- 31. そもそも⽬的関数Eは 平⽅誤差の和 E = e1 + e2 + … + e55
- 32. そもそも⽬的関数Eは 平⽅誤差の和 E = e1 + e2 + … + e55 つまり⽬的関数Eの勾配は、 平⽅誤差の和の勾配
- 33. そもそも⽬的関数Eは 平⽅誤差の和 E = e1 + e2 + … + e55 つまり⽬的関数Eの勾配は、 平⽅誤差の和の勾配 さきにeの勾配を計算して、最後に それらの和を求めるとEの勾配となる
- 35. ここで 『ユニットの誤差』の導⼊
- 37. ⽬的関数Eにおいて、重み w11, …,w11, …と 閾値 θ1, … ,θ1, … を順に w11+Δw11, …, θ1+Δθ1, … H H H H w11+Δw11, …, θ1+Δθ1, … O O O O H O H O と変化させたときに⽬的関数Eが最も⼩さく なるのは次の関係が成り⽴つときである (w11, … , θ1, … , w11, …, θ1, …) = - η( H H O O δE δw11 δE δθ1 δE δw11 δE δθ1 H OH O,…, ,…, ,…, ,… ) ユニットごとに、ユニット間の 重みや閾値を計算しようとするから ⼤変なことになる
- 39. 1. ユニットの誤差ξの導⼊ 2. 勾配を、ユニットの誤差ξから算出 3. 出⼒層の『ユニットの誤差』を算出 4. 誤差逆伝播法から中間層の 『ユニット誤差』を求める
- 41. Xi Hj Zk 隠れ層 (Hidden layer) ⼊⼒層 (Input layer) 出⼒層 (Output layer) i は⼊⼒層の中の 上からの位置を ⽰すとする j は隠れ層の中の 上からの位置を ⽰すとする k は出⼒層の中の 上からの位置を ⽰すとする
- 42. Hj Zk Xi ユニットXi の出⼒xi ユニットHj の出⼒hj ユニットZkの出⼒zk ⼤⽂字は、ユニット名を ⼩⽂字は、ユニットの出⼒変数を表すことにします
- 43. sj 隠れ層 (Hidden layer) j番⽬のニューロン 出⼒層 (Output layer) k番⽬のニューロン ⼊⼒の 線形和 H θj H wji H ⼊⼒層 i番⽬の ニューロン sk ⼊⼒の 線形和 O θk O wkj O 隠れ層 j番⽬の ニューロン
- 44. 1. ユニットの誤差ξの導⼊ δe δsj ξj = (j=1,2,3) δe δsk , ξj = (k=1,2)OH
- 45. 1. ユニットの誤差ξの導⼊ δe δsj ξj = (j=1,2,3) δe δsk , ξk = (k=1,2)OH 2. 勾配を、ユニットの誤差ξから算出 δe δwji H = ξj xi , H δe δθj H = -ξj H (i=1,2, …, 12, j=1,2,3) δe δwkj O = ξk hj , O δe δθk O = -ξk O (j=1,2,3, k=1,2)
- 46. 3. 出⼒層の『ユニットの誤差』を算出 ξk = O δe δsk O = δe δzk δzk δsk O = δe δzk = a(sk) O
- 47. 3. 出⼒層の『ユニットの誤差』を算出 ξk = O δe δsk O = δe δzk δzk δsk O = δe δzk = a(sk) O ⼀⽅で、 e = 1/2{(t1-z1) + (t2-z2) }2 2 なので、※計算のしやすさから 1/2倍している δe δz1 = -(t1 - z1), δe δz2 = -(t2 - z2)
- 48. 3. 出⼒層の『ユニットの誤差』を算出 ξk = O δe δsk O = δe δzk δzk δsk O = δe δzk = a(sk) O より δe δz1 = -(t1 - z1), δe δz2 = -(t2 - z2) ξ1 = -(t1 - z1) a(s1), ξ2 = -(t2 - z2) a(s2), O OO O
- 49. 3. 出⼒層の『ユニットの誤差』を算出 ξk = O δe δsk O = δe δzk δzk δsk O = δe δzk = a(sk) O より δe δz1 = -(t1 - z1), δe δz2 = -(t2 - z2) ξ1 = -(t1 - z1) a(s1), ξ2 = -(t2 - z2) a(s2), O OO O 既知の値なので誤差 ξk O が求まる
- 50. 4. 誤差逆伝播法から中間層の 『ユニット誤差』を求める ※算出を実際にトライしてみてください ξj = (ξ1w1j + ξ2w2j ) a(sj) (i=1,2,3) H O O O O H
- 51. 4. 誤差逆伝播法から中間層の 『ユニット誤差』を求める ※算出を実際にトライしてみてください ξj = (ξ1w1j + ξ2w2j ) a(sj) (i=1,2,3) H O O O O H この仕組みによって、 ⾯倒な微分計算を⾏わず、 漸化式で解くことが可能となる
- 53. これが 誤差逆伝播法
- 54. 誤差逆伝播法をExcelで体験
- 56. 1. 訓練データの準備
- 58. 2. 重みと閾値の初期化
- 63. ユニットの 誤差を計算
- 64. 5.平⽅誤差e の勾配を計算
- 67. 55枚分を 横にコピペ
- 71. 8. 3.~7.を繰り返し計算
- 73. いざ、テスト
- 75. いかがでしたでしょうか？
- 78. EoF