Download as PDF, PPTX
![31
第 t-1 年
[Age, G, PA, AB, R, H, 2B, 3B, HR,
RBI, SB, BB, SO, OPS+, TB]
15 個 features
第 t 年
全壘打數
f](https://image.slidesharecdn.com/2018rnn-180304041325/85/Recurrent-Neural-Network-31-320.jpg)
![說明 資料內容
我們來看⼀筆輸⼊資料⻑像:
[1, 1230, 3765, 566, 97,
189, 102, 86, ...]
92
每個數字代表⼀個字, 這就是⼀則評論。](https://image.slidesharecdn.com/2018rnn-180304041325/85/Recurrent-Neural-Network-92-320.jpg)
![注意 資料⻑度
每⼀則評論⻑度顯然是不⼀樣的!
for i in range(10):
print(len(x_train[i]), end=', ')
93
輸出: 218, 189, 141, 550, 147, 43, 123, 562, 233,
130](https://image.slidesharecdn.com/2018rnn-180304041325/85/Recurrent-Neural-Network-93-320.jpg)
![重點 組裝
106
model.compile(loss='binary_crossentropy',
optimizer='adam',
metrics=['accuracy'])](https://image.slidesharecdn.com/2018rnn-180304041325/85/Recurrent-Neural-Network-106-320.jpg)
![重點 訓練成績
113
print('測試資料的 loss:', score[0])
print('測試資料正確率:', score[1])](https://image.slidesharecdn.com/2018rnn-180304041325/85/Recurrent-Neural-Network-113-320.jpg)
Uploaded byYen-lung Tsai
Recurrent Neural Network 遞迴式神經網路
此文档介绍了神经网络的基本概念，重点在于递归神经网络（RNN）及其变体如 LSTM 和 GRU 的结构和应用。文中探讨了模型的训练过程、调参技巧，以及实际案例，如情感分析和 MLB 球员全垒打数预测。最后，提供了利用 Keras 框架实施 RNN 的具体步骤和示例。
More Related Content
![[系列活動] 手把手打開Python資料分析大門](https://cdn.slidesharecdn.com/ss_thumbnails/python-171213042421-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DSC 2016] 系列活動：李宏毅 / 一天搞懂深度學習](https://cdn.slidesharecdn.com/ss_thumbnails/1-160521014039-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Recurrent Neural Network 遞迴式神經網路
![[students AI workshop] Pytorch](https://cdn.slidesharecdn.com/ss_thumbnails/pytorch1-170911183243-thumbnail.jpg?width=640&height=640&fit=bounds)
![[數學、邏輯與人生] 05 數，三聲數](https://cdn.slidesharecdn.com/ss_thumbnails/05-161102062443-thumbnail.jpg?width=640&height=640&fit=bounds)
![[數學軟體應用] 05 HTML+CSS](https://cdn.slidesharecdn.com/ss_thumbnails/05htmlcss-161024122309-thumbnail.jpg?width=640&height=640&fit=bounds)
![[數學、邏輯與人生] 03 集合和數學歸納法](https://cdn.slidesharecdn.com/ss_thumbnails/03-161019135315-thumbnail.jpg?width=640&height=640&fit=bounds)
![[數學、邏輯與人生] 01 基本邏輯和真值表](https://cdn.slidesharecdn.com/ss_thumbnails/01-161005134119-thumbnail.jpg?width=640&height=640&fit=bounds)
![[數學、邏輯與人生] 00 課程簡介](https://cdn.slidesharecdn.com/ss_thumbnails/00-160923023209-thumbnail.jpg?width=640&height=640&fit=bounds)
Recurrent Neural Network 遞迴式神經網路
- 1.
- 2.
- 3. 3 Deep Learning 三⼤天王 標準NN CNN RNN
- 4.
- 5.
- 6. 6 filter 1 filter 2 input 每個filter 看⼀一個特徵, 掃過每 ⼀一個點, 紀錄該點附近的「特 徵強度」。 Convolutional Neural Network (CNN)
- 7. 7 Recurrent Neural Network(RNN) ht 1 = σ (w1 xt 1 + w2 xt 2 + w3 h3 t−1 + w4 h4 t−1 + b1 ) 會加入上⼀一次的 outputs 當這次的 inputs。
- 8.
- 9.
- 10.
- 11. 準備訓練資料 ( , "台灣⿊熊")( , "蠎蛇"), , ... xk+1 , yk+1xk , yk x1 , y1 xn , yn 訓練資料 測試資料 3
- 12. 12 強化學習 ⽣成對抗模式 (GAN) VAE 膠囊 標準NN CNN RNN 架構我們的神經網路4
- 13. 13 我們架好了神經網路, 就剩⼀些參數要調。 θ ={wi, bj} 決定好這些參數的值, 就會出現⼀個函數。
- 14. 14 學習 5 學習都是⽤我們訓練資料送進我們的神經網路，調整 我們的參數, 然後⽤個 lossfunction 看我們和觀察值 差多少。
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. 22 實際上某⼀個 RNN Cell的作⽤是這樣 ht 1 = σ (w1 xt 1 + w2 xt 2 + w3 h3 t−1 + w4 h4 t−1 + b1 ) 注意每個 cell 輸出還是⼀個純量。
- 23.
- 24.
- 25. 25 字1 字2 回1 EOS 回1 回2 回k EOS 對話機器⼈應⽤ 注意這樣的模式,每次輸⼊和輸出都不是固定的⻑度!
- 26. 26 其實輸⼊不⼀定要⽂字, 是影 ⽚ (⼀張⼀張的圖)也是可以 的! 輸出還是可以為⽂字, 最常 ⾒的⼤概是讓電腦說影⽚中發 ⽣什麼事。
- 27.
- 28. 28 Andrej Karpathy ⽣出代數幾何介紹"Stacks" 的⽂字 http://karpathy.github.io/2015/05/21/rnn- effectiveness/
- 29.
- 30.
- 31. 31 第 t-1 年 [Age,G, PA, AB, R, H, 2B, 3B, HR, RBI, SB, BB, SO, OPS+, TB] 15 個 features 第 t 年 全壘打數 f
- 32. 32 運⽤ LSTM, 輸⼊10 年的資料猜下⼀年 只有⼀層 LSTM 層!
- 33. 33 不要猜精確數⽬, 猜區 間即可! 分五段: 0-9,10-19, 20-29, 30-39, 40+
- 34.
- 35. 35 Mike Trout (LAA) 預測30-39 實際 33 Mookie Betts (BOS) 預測 20-29 實際 24 Jose Altuve (HOU) 預測 20-29 實際 24 Kris Bryant (CHC) 預測 30-39 (第⼆⾼ 20-29) 實際 29 Daniel Murphy (WSH) 預測 20-29 實際 23 Corey Seager (LAD) 預測 20-29 實際 22 2017 預測結果 (2016 年 6 ⽉預測)
- 36.
- 37. 37 注意 為了讓⼤家更容易瞭解, 我們會⽤較簡 單的圖⽰。請注意輸⼊都是個向量、會 有權重; 輸出都是純量。 xt= ⎡ ⎢ ⎢ ⎢ ⎣ xt,1 xt,2 ... xt,n ⎤ ⎥ ⎥ ⎥ ⎦ 可能⻑這樣
- 38.
- 39.
- 40. 40 對同⼀層第 k 個cell, 就⼀個輸出。 輸⼊可能是向量。 第 k 號 RNN Cell
- 41. 41 真正連結的樣⼦, 注意 RNN Cell會把記憶傳給同⼀層其 他 RNN Cells。
- 42.
- 43.
- 44. 44 我們來做標準 RNN 應⽤,預測⼀句話下⼀個字。 RNN 預測下⼀個字問題 ⽤到 RNN 的 Neural Networks 字 字 (下⼀個)
- 45. 45 我們考慮的字集只有三個字。字集 好 ⼀ 點“” “ ” “ ”, , 可以產⽣如 “好⼀點”, “好好”, “⼀點⼀點點”, 等等 的「句⼦」。
- 46. 46 ⽤⾼級的 one hot編碼。字集 好 ⼀ 點“ ” “ ” “ ”, ,
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66. 66 LSTM Long Short TermMemory RNN 系的王牌救援
- 67.
- 68.
- 69. 重點 Gate 69 輸出 0到 1 間的⼀個數 sigmoid 只是決定「閥」要開多⼤
- 70.
- 71.
- 72.
- 73.
- 74.
- 75. 75 編號 k 的 LSTM LSTM再⼀次 多出來的 cell state 是屬於這個 cell 的 ⼀個 cell 的 output 還是會 和同⼀層分享
- 76.
- 77.
- 78.
- 79.
- 80.
- 81.
- 82.
- 83.
- 84.
- 85. 重點 RNN 的名字 現在說到RNN, 其實包括原始 RNN, LSTM, GRU 等各種變形。 特別要叫原始的 RNN, 我們習慣叫它 Vanilla RNN, 在 Keras 中是 SimpleRNN。 85
- 86.
- 87.
- 88.
- 89. 技巧 指定 Backend 在Jupyter Notebook 中, 我們可以指定 Keras 使 ⽤的 Backend。 %env KERAS_BACKEND=tensorflow 89
- 90. 技巧 讀⼊ IMDB資料庫 在 Jupyter Notebook 中, 我們可以指定 Keras 使 ⽤的 Backend。 from keras.datasets import imdb 90
- 91. 重點 讀⼊資料 Keras 轉備好的資料都⽤load_data 讀⼊。 (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=10000) 91 這裡限制只選最常⽤ 10,000 字。訓練資料和測試資 料都是很豪氣的 25,000 筆。
- 92. 說明 資料內容 我們來看⼀筆輸⼊資料⻑像: [1, 1230,3765, 566, 97, 189, 102, 86, ...] 92 每個數字代表⼀個字, 這就是⼀則評論。
- 93. 注意 資料⻑度 每⼀則評論⻑度顯然是不⼀樣的! for iin range(10): print(len(x_train[i]), end=', ') 93 輸出: 218, 189, 141, 550, 147, 43, 123, 562, 233, 130
- 94.
- 95. 重點 輸⼊處理 from keras.preprocessingimport sequence 95
- 96. 重點 輸⼊處理 x_train =sequence.pad_sequences(x_train, maxlen=100) x_test = sequence.pad_sequences(x_test, maxlen=100) 96
- 97.
- 98.
- 99. 99 決定架構 先將 10000 維的⽂字壓到128 維 然後⽤ 128 個 LSTM 最後⼀個 output, 直接⽤ sigmoid 送出
- 100. 重點 讀⼊函數 100 from keras.modelsimport Sequential from keras.layers import Dense, Embedding from keras.layers import LSTM
- 101. 重點 打開新的神經網路 101 model =Sequential()
- 102.
- 103.
- 104. 重點 Dense 層(output) 104 model.add(Dense(1, activation='sigmoid'))
- 105.
- 106.
- 107.
- 108.
- 109.
- 110. 重點 訓練 110 score =model.evaluate(x_test, y_test)
- 111. 重點 訓練 111 model_json =model.to_json() open('imdb_model_architecture.json', 'w').write(model_json) model.save_weights('imdb_model_weight s.h5')
- 112.
- 113. 重點 訓練成績 113 print('測試資料的 loss:',score[0]) print('測試資料正確率:', score[1])
- 114. 重點 儲存結果 114 model_json =model.to_json() open('imdb_model_architecture.json', 'w').write(model_json) model.save_weights('imdb_model_weights.h5')
- 115.
- 116.
- 117. 117 學習都是⽤我們訓練資料送進我們的神經網路，調整 我們的參數。 θ = {wi,bj} 然後⽤個 loss function 看我們和觀察值差多少。
- 118. 為了簡化, 我們先把 L想成 只有⼀個變數 w。 118
- 119.
- 120. 120 w ⽬前的值 我知道, a點要 向右移動!
- 121.
- 122.
- 123.
- 124.
- 125.
- 126.
- 127.
- 128.
- 129.
- 130. 130 往 (局部) 極⼩值移動重點 我們想調整w 的值, 往極⼩值移動, 應該讓新的 w 變成:
- 131. 131 往 (局部) 極⼩值移動重點 ⽐如現在在w=a, 要調整為
- 132.
- 133.
- 134. 134 往 (局部) 極⼩值移動重點 為了不要⼀次調太⼤,我們會乘上⼀個⼩⼩的數, 叫 Leraning Rate:
- 135. 135 偏微分定義 我們有 L(w1, w2,b1) 這三個變數的函數, 當我們 只把 w1 當變數, 其他 w2, b1 當常數的微分。
- 136.
- 137. 137 梯度 (gradient)符號 函數 L的 gradient 就變成:
- 138.
- 139. 139 我們調整 w1, w2,b1 的⽅法就變成: 梯度 (gradient)符號
- 140.
- 141. 141 基本上, 把 learningrate 調⼩, 你 是可以預期你的學習是會收斂的 -- 在你時間多的狀況下...
- 142.
- 143.
- 144. 例⼦ 平均值的計算 144 µ =4 · 1 5 + 4 · 1 5 + 8 · 1 5 + 5 · 1 5 + 9 · 1 5
- 145. 例⼦ 平均值的計算 145 µ =4 · 2 5 + 8 · 1 5 + 5 · 1 5 + 9 · 1 5 數字出現的機率
- 146. 例⼦ 平均值的計算 146 我們可以把 X想成⼀個隨機變數, 所有可能的值為
- 147.
- 148. 重點 變異數的計算 相信⼤家也還記得變異數是和平均值差多遠 (平⽅ 差)的平均值。 148 n i=1(xi − µ)2 n
- 149.
- 150. 重點 變異數的重要性質 如果 X和 Y 是兩個獨⽴的隨機變數。 150
- 151. 重點 變異數的重要性質 如果 X,Y 不但獨⽴, 再加上平均值為 0, 我們有更炫的: 151
- 152.
- 153. 153 標準常態分布 平均值是 0, 變異數為1 的常態分布。如果隨機變數 X 是標準常態分布, 我們記為:
- 154. 重點 ⽤ NumPy 在NumPy 有個指令會從標準常態分布隨機抽個 數字出來。 randn() 154 這在 np.random 之下。
- 155. 重點 ⽤ NumPy 取n 個 samples。 randn(n) 155
- 156. 重點 ⽤ NumPy 平均值改為µ, 標準差改為 𝜎 randn(n)*𝜎 + µ 156
- 157. 重點 ⽤ NumPy 相反的,X 是⼀個平均值為 µ, 標準差為 𝜎 的常態 分布, 我們要改成標準常態分布。 (randn(n) - µ)/𝜎 157
- 158.
- 159.
- 160.
- 161.
- 162.
- 163. 重點 權重等參數選取原則 163 不要全部設成 0(原因⽤腳想就知道) 取⼩⼀點的值 這叫有學問!?
- 164. 重點 權重等參數選取原則 164 activation initializer sigmoid,tanh Xavier ReLU He SELU LeCun
- 165.
- 166. 166 假設我們神經網路的某⼀層有 n=nin 個輸⼊,權重我 們記為: 輸⼊我們記為
- 167.
- 168. 168 如果該獨⽴的都獨⽴, 平均值⼜都是 0,我們有: 如果每個 Wi, Xi 基本上⼀樣的話, 例如
- 169. 169 如果該獨⽴的都獨⽴, 平均值⼜都是 0,我們有: 如果每個 Wi, Xi 基本上⼀樣的話, 例如
- 170. 170 也就是 n 越⼤,變異數越⼤... Var(Y ) = n Var(W) Var(X)
- 171. 171 所以我們可以由平均值 0, 變異數為的分布中取值 Xavier Initialization http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
- 172. 172 所以我們可以由平均值 0, 變異數為的分布中取值 Xavier Initialization 原始 論⽂
- 173.
- 174.
- 175.
- 176.
- 177.
- 178.
- 179. 重點 設 regularizer 在Keras 可在每層中設 regularizer, 例如我們先 import 了 keras.regularizer 中的 l2, 那在 某層可加⼊以下參數。 179 W_regularizer=l2(0.01)
- 180. 180 通常 dropout, L2regularization 選⼀個就好。
- 181.
- 182. 182 為了簡化我們的符號, 我們設定: gt =∇θL(θt) ⽬前參數值所成向量
- 183.
- 184.
- 185. 概念 Momentum 想像你在 lossfunction ⾼⼭上某⼀點, 負的梯度指 的是那⼀點你看到最陡的下坡⽅向。 185
- 186. 概念 Momentum 問題是你順著那個⽅向到了另⼀點, 你 可能會發現那個⽅向⼜變了!於是你⼜ 向另⼀個⽅向... 但其實你好好⾛原來⽅向, 也許⼀路也 就下⼭了! 186
- 187. 概念 Momentum 187 vt =vt 1 + gt t+1 = t vt 如果 𝛾=0, 我們⽤的就是原本的 gradient descent。
- 188. 概念 Learning Rate變速器 188 ⼀個很⾃然的想法: learning rate 在接近⽬標時 可能要⼩⼀點。於是有了各種「減速法」。
- 189. 概念 Momentum 189 vt =vt 1 + gt t+1 = t vt
- 190. 重點 Adam 不想尋找哪個⽅法最好, 通常可以交給Adam。這是兼 具 momentum 和減速的⽅法。 190 mt = 1mt 1 + (1 1)gt vt = 2vt 1 + (1 2)g2 t
- 191. 重點 Adam 191 ˆmt = mt 1t 1 ˆvt = vt 1 t 2
- 192. 重點 Adam 192 θt+1 =θt − η √ ˆvt + ε ˆmt 原始論⽂設定: 1 = 0.9 2 = 0.999 = 10 8
- 193.
- 194.
- 195.
- 196.
- 197.
- 198.
- 199.
- 200.
- 201.
- 202.
- 203. 203 selu(x) = λ· x if x > 0 αex − α if x ≤ 0 最炫的是參數其實是常數: 𝛼 = 1.6732632423543772848170429916717 𝜆 = 1.0507009873554804934193349852946
- 204. 重點 使⽤注意事項 204 起始⽤ LeCunNormal (權重平均 0, 變異數 1) 輸⼊資料也要平均 0, 變異數 1
- 205.