More Related Content
What's hot
Similar to 2017 9-12 Deep Learning / Tensorflow
Similar to 2017 9-12 Deep Learning / Tensorflow (20)
2017 9-12 Deep Learning / Tensorflow
- 2. 目錄 前言----------------------------------------------------------------------------------------P.3 Introduction of Deep Learning I ----------------------------------------------P.6 Step 1--------------------------------------------------------------------------------P.8 Step 2--------------------------------------------------------------------------------P.13 Step 3--------------------------------------------------------------------------------P.17 Introduction of Deep Learning II -----------------------------------------------P.20 Introduction of Deep Learning III ----------------------------------------------P.25 類神經網路建立 ------------------------------------------------------------------------ P.32 CNN ---------------------------------------------------------------------------------P.33 RNN ----------------------------------------------------------------------------------P.63 Keras實做手寫辨識-------------------------------------------------------------------P.85
- 3. 什麼是Deep learning ? TensorFlow是deep learning重要套件。 所以在開始之前，我們要先了解一下何謂Deep learning(深度學習)。 「簡單說，深度學習就是一個函數集，如此而已。」 ─專攻語音辨識領域深度學習的台大電機系教授李宏毅
- 4. 機器在學習，那人類要做什麼？ 深度學習架構裡，人類要擔心的重點只有一個：「Gradient Descent」。 我們可以把深度學習想像成有一百萬個學生同時在寫答案，他 們每個人都有不同的思考方式，最後每個人都交出一個不同的 數字。 將所有的答案跟標準答案相減之後（技術上稱為 loss），畫成 一條折線圖（或是複雜一點的 3D 圖），離標準答案最接近的 那個答案，就會在這張圖的最低點，深度學習的目標就是要找 到這個最低點。
- 6. Introduction of Deep Learning I
- 7. Framework解釋
- 8. 第一步:
- 9. Deep learning NN model的建立範例 手寫影像辨識 MNIST資料庫 (Mixed National Institute of Standards and Technology database) 是一個歷史悠久的手寫數字(handwritten digits)資料集。
- 13. 第二步:
- 14. Training Data
- 15. Learning Target
- 16. Loss
- 17. 第三步:
- 18. How to pick the best function
- 20. Introduction of Deep Learning II
- 21. 為什麼是“Deep”?
- 25. Introduction of Deep Learning III
- 28. 程式的第二個部份 建置完成後，只要呼叫compiler函式進行編譯，再接著呼叫fit函 式並傳入mini batch的數量等參數，就可以開始訓練了。 第一 個模型將使用到一個卷積層、一個池化層(Pooling layer)、一個 內部的完全連接層(Fully connected layer)、和一個以softmax輸 出結果的完全連接層。
- 32. 建立神經網路
- 33. CNN
- 34. CNN卷積神經網路 卷積神經網路(CNN)是常見的深度學習網路架構之一，因為網路架構中 的: 卷積層(Convolutional layer) 及 池化層(Pooling layer) ， 強化了模式辨識(Pattern recognition)及相鄰資料間的關係，使卷積神 經網路應用在影像、聲音等訊號類型的資料型態能得到很好的效果。
- 35. CNN的結構 主要分為: ○卷積層(Convolutional layer) ○線性整流層(Rectified Linear Units layer, ReLU layer) ○池化層(Pooling Layer)
- 40. 卷積層(Convolutional layer) 要計算特徵和圖片局部的相符程度，只要將兩者各個像素上的 值相乘、再將總和除以像素的數量。如果兩個像素都是白色 （ 1），乘積就是 1 * 1 = 1；如果都是黑色（ -1），乘積就 是 (-1) * (-1) = 1。也就是說像素相符的乘積為 1，像素相異的 乘積為 -1。
- 43. 池化(pooling)
- 45. 深度學習
- 46. CNNs 還有一項技術——全連結層（fully connected layers）。此技 術會集合高階層中篩選過的圖片，並將這些特徵資訊轉化為票數。在 我們的例子裡有兩個選項：圈或叉。在傳統的神經網路架構中，全連 結層所扮演的角色是主要建構單元（primary building block）。 當我們對這個單元輸入圖片時，它會將所有像素的值當成一個一維清 單，而不是前面的二維矩陣。清單裡的每個值都可以決定圖片中的符 號是圈還是叉，不過這場選舉並不全然民主。由於某些值可以更好地 判別叉，有些則更適合用來判斷圈，這些值可以投的票數會比其他值 還多。所有值對不同選項所投下的票數，將會以權重（weight）或連 結強度（connection strength）的方式來表示。 所以每當 CNN 判斷一張新的圖片時，這張圖片會先經過許多低階層， 再抵達全連結層。在投票表決之後，擁有最高票數的選項將成為這張 圖片的類別。 換句話說，即是再加權後，投票決定最後的判斷為何
- 47. CNNs完整過程
- 48. CNN實作練習
- 50. CNN實作練習 建置一個CNN網路分辨手寫辨識字 引用函數並且從網路下載mnist 手寫數據庫 Code[ part 1]: from __future__ import print_function import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # number 1 to 10 data mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
- 51. CNN實作練習 建置一個CNN網路分辨手寫辨識字 定義準確度函數 Code[ part 2]: def compute_accuracy(v_xs, v_ys): global prediction y_pre = sess.run(prediction, feed_dict={xs: v_xs, keep_prob: 1}) correct_prediction = tf.equal(tf.argmax(y_pre,1), tf.argmax(v_ys,1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) result = sess.run(accuracy, feed_dict={xs: v_xs, ys: v_ys, keep_prob: 1}) return result
- 52. CNN實作練習 建置一個CNN網路分辨手寫辨識字 定義初始化變數 定義初始化變數 採用normal distribution , 標準差為0.1 採用常數 , 皆為為0.1 Code[ part 3]: def weight_variable(shape): initial = tf.truncated_normal(shape, stddev=0.1) return tf.Variable(initial) Code[ part 4]: def bias_variable(shape): initial = tf.constant(0.1, shape=shape) return tf.Variable(initial)
- 53. CNN實作練習 建置一個CNN網路分辨手寫辨識字 定義conv 層 layer padding 方法採用"一樣“ movement代表移動的步數 Code[ part 5]: def conv2d(x, W): # stride [1, x_movement, y_movement, 1] # Must have strides[0] = strides[3] = 1 return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME') def max_pool_2x2(x): # stride [1, x_movement, y_movement, 1] return tf.nn.max_pool(x, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')
- 54. CNN實作練習 建置一個CNN網路分辨手寫辨識字 定義placeholder 將圖片reshape， -1表示會自動算幾組 28,28,1 分別代表寬 高 channel數(像RGB的話就要改3) Code[ part 6]: # define placeholder for inputs to network xs = tf.placeholder(tf.float32, [None, 784]) # 28x28 ys = tf.placeholder(tf.float32, [None, 10]) keep_prob = tf.placeholder(tf.float32) x_image = tf.reshape(xs, [-1, 28, 28, 1]) # print(x_image.shape) # [n_samples, 28,28,1]
- 55. CNN實作練習 建置一個CNN網路分辨手寫辨識字 開始組裝神經網路 1:表示 input_size ， 32:表示output_size ，所以這裡表示一張圖總共訓練出32個filter max_pooling 就是2*2的矩陣中 挑出一個最大的數字 所以大小會變一半 Code[ part 7]: ## conv1 layer ## W_conv1 = weight_variable([5,5,1,32]) # patch 5x5, in size 1, out size 32 b_conv1 = bias_variable([32]) h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1) # output size 28x28x32 h_pool1 = max_pool_2x2(h_conv1) # output size 14x14x32
- 56. CNN實作練習 建置一個CNN網路分辨手寫辨識字 這裡表示 一張圖訓練出2個filter Code[ part 8]: ## conv2 layer ## W_conv2 = weight_variable([5,5, 32, 64]) # patch 5x5, in size 32, out size 64 b_conv2 = bias_variable([64]) h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) # output size 14x14x64 h_pool2 = max_pool_2x2(h_conv2) # output size 7x7x64
- 57. CNN實作練習 建置一個CNN網路分辨手寫辨識字 這裡將第2層max_pool 過後的神經元 全部攤平 Code[ part 9]: ## func1 layer ## W_fc1 = weight_variable([7*7*64, 1024]) b_fc1 = bias_variable([1024]) # [n_samples, 7, 7, 64] ->> [n_samples, 7*7*64] h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64]) h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1) h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
- 58. CNN實作練習 建置一個CNN網路分辨手寫辨識字 倒數第二層為1024個神經元 最後一層為10個神經元 採用softmax當成最後一層的激活函數 Code[ part 10]: ## fc2 layer ## W_fc2 = weight_variable([1024, 10]) b_fc2 = bias_variable([10]) prediction = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
- 59. CNN實作練習 建置一個CNN網路分辨手寫辨識字 定義loss function 以及 優化函數 Code[ part 11]: cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys * tf.log(prediction), reduction_indices=[1])) # loss train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
- 60. CNN實作練習 建置一個CNN網路分辨手寫辨識字 定義Sess 以及初始化 Code[ part 12]: sess = tf.Session() if int((tf.__version__).split('.')[1]) < 12 and int((tf.__version__).split('.')[0]) < 1: init = tf.initialize_all_variables() else: init = tf.global_variables_initializer() sess.run(tf.initialize_all_variables())
- 61. CNN實作練習 建置一個CNN網路分辨手寫辨識字 開始訓練，dropout 0.5代表隨機隱藏掉一半神經元的資訊 科學家們發現這樣可以有效的減少過適(overfitting) Code[ part 12]: for i in range(10000): batch_xs, batch_ys = mnist.train.next_batch(100) sess.run(train_step, feed_dict={xs: batch_xs, ys: batch_ys, keep_prob: 0.5}) if i % 50 == 0: print(compute_accuracy( mnist.test.images[:1000], mnist.test.labels[:1000])) 完成! 按下綠色編譯按鈕，或是Shift + Enter
- 62. 結果 準確率高達99%
- 63. RNN
- 66. 資料順序會影響結果
- 67. 長短期記憶（Long Short-TermMemory, LSTM） LSTM是一種含有LSTM區塊(blocks)或其他的一種類神經網路，它可以 記憶不定時間長度的數值，區塊中有一個gate能夠決定input是否重要到 能被記住及能不能被輸出output。 下圖可以看到 右邊的forget gate，當這產生值近似於零，將把區塊裡記住的值忘掉。 左上的output gate，他可以決定在區塊記憶中的output是否能輸出 。 左下的input，經過gate決定input是否能傳入區塊
- 69. RNN實作練習
- 70. RNN實作練習 利用LSTM建置一個RNN網路分辨手寫辨識字 引用函數並且從網路下載mnist 手寫數據庫 Code[ part 1]: import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
- 71. RNN實作練習 利用LSTM建置一個RNN網路分辨手寫辨識字 參數設置 Code[ part 2]: BATCH_SIZE = 100 # BATCH的大小，相當於一次處理50個image TIME_STEP = 28 # 一個LSTM中，輸入序列的長度，image有28行 INPUT_SIZE = 28 # x_i 的向量長度，image有28列 LR = 0.01 # 學習率 NUM_UNITS = 100 # 多少個LTSM單元 ITERATIONS=8000 # 反覆運算次數 N_CLASSES=10 # 輸出大小，0-9十個數位的概率
- 72. RNN實作練習 利用LSTM建置一個RNN網路分辨手寫辨識字 定義 placeholders 以便接收x,y Code[ part 3]: train_x = tf.placeholder(tf.float32, [None, TIME_STEP * INPUT_SIZE]) # 維度是[BATCH_SIZE，TIME_STEP * INPUT_SIZE] image = tf.reshape(train_x, [-1, TIME_STEP, INPUT_SIZE]) # 輸入的是二維資料，將其還原為三維，維度是[BATCH_SIZE, TIME_STEP, INPUT_SIZE] train_y = tf.placeholder(tf.int32, [None, N_CLASSES])
- 73. RNN實作練習 利用LSTM建置一個RNN網路分辨手寫辨識字 定義RNN（LSTM）結構 Code[ part 4]: rnn_cell = tf.contrib.rnn.BasicLSTMCell(num_units=NUM_UNITS) outputs,final_state = tf.nn.dynamic_rnn( cell=rnn_cell, # 選擇傳入的cell inputs=image, # 傳入的數據 initial_state=None, # 初始狀態 dtype=tf.float32, # 資料類型 time_major=False, # False: (batch, time step, input); True: (time step, batch, input)，這裡根據image結構選擇False ) output = tf.layers.dense(inputs=outputs[:, -1, :], units=N_CLASSES)
- 74. RNN實作練習 利用LSTM建置一個RNN網路分辨手寫辨識字 計算loss、選擇優化方法、計算正確率、初始化計算圖中的變數 Code[ part 5]: loss = tf.losses.softmax_cross_entropy(onehot_labels=train_y, logits=output) # 計算loss train_op = tf.train.AdamOptimizer(LR).minimize(loss) #選擇優化方法 correct_prediction = tf.equal(tf.argmax(train_y, axis=1),tf.argmax(output, axis=1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction,‘float’)) #計算正確率 sess = tf.Session() sess.run(tf.global_variables_initializer()) # 初始化計算圖中的變數
- 75. RNN實作練習 利用LSTM建置一個RNN網路分辨手寫辨識字 開始訓練 Code[ part 6]: for step in range(ITERATIONS): x, y = mnist.train.next_batch(BATCH_SIZE) test_x, test_y = mnist.test.next_batch(5000) _, loss_ = sess.run([train_op, loss], {train_x: x, train_y: y}) if step % 500 == 0: # test（validation） accuracy_ = sess.run(accuracy, {train_x: test_x, train_y: test_y}) print('train loss: %.4f' % loss_, '| test accuracy: %.2f' % accuracy_)
- 77. 結果
- 79. 出現了錯誤: 為什麼呢?
- 85. 使用Keras做手寫辨識
- 87. Keras實作練習 建置一個手寫辨識 首先匯入 Keras 及相關模組: Code[ part 1]: import numpy as np import pandas as pd import sys, os from keras.utils import np_utils from keras.datasets import mnist np.random.seed(10)
- 88. Keras實作練習 建置一個手寫辨識 讀取與查看 mnist 資料 可知道 training data 共有 60,000 筆; testing data 共有 10,000 筆 Code[ part 2]: (X_train_image, y_train_label), (X_test_image, y_test_label) = mnist.load_data() print("t[Info] train data={:7,}".format(len(X_train_image))) print("t[Info] test data={:7,}".format(len(X_test_image))) print("t[Info] Shape of train data=%s" % (str(X_train_image.shape))) print("t[Info] Shape of train label=%s" % (str(y_train_label.shape)))
- 89. Keras實作練習 建置一個手寫辨識 定應 plot_image 函數顯示數字影像 Code[ part 3]: def isDisplayAvl(): return 'DISPLAY' in os.environ.keys() import matplotlib.pyplot as plt def plot_image(image): fig = plt.gcf() fig.set_size_inches(2,2) plt.imshow(image, cmap='binary') plt.show()
- 90. 建立 plot_images_labels_predict() 函數 後續我們希望能很方便查看數字圖形, 所以我們建立了以下函數: Code[ part 4]: def plot_images_labels_predict(images, labels, prediction, idx, num=10): fig = plt.gcf() fig.set_size_inches(12, 14) if num > 25: num = 25 for i in range(0, num): ax=plt.subplot(5,5, 1+i) ax.imshow(images[idx], cmap='binary') title = "l=" + str(labels[idx]) if len(prediction) > 0: title = "l={},p={}".format(str(labels[idx]), str(prediction[idx])) else: title = "l={}".format(str(labels[idx])) ax.set_title(title, fontsize=10) ax.set_xticks([]); ax.set_yticks([]) idx+=1 plt.show()
- 91. Keras實作練習 建置一個手寫辨識 顯示訓練結果 Code[ part 5]: def show_train_history(train_history, train, validation): plt.plot(train_history.history[train]) plt.plot(train_history.history[validation]) plt.title('Train History') plt.ylabel(train) plt.xlabel('Epoch') plt.legend(['train', 'validation'], loc='upper left') plt.show()
- 92. Keras實作練習 建置一個手寫辨識 首先將 image 以 reshape轉換為二維 ndarray並進行 normalization Code[ part 6]: x_Train = X_train_image.reshape(60000, 28*28).astype('float32') x_Test = X_test_image.reshape(10000, 28*28).astype('float32') print("t[Info] xTrain: %s" % (str(x_Train.shape))) print("t[Info] xTest: %s" % (str(x_Test.shape))) x_Train_norm = x_Train/255 x_Test_norm = x_Test/255
- 93. Keras實作練習 建置一個手寫辨識 建立模型 Code[ part 7]: from keras.models import Sequential from keras.layers import Dense model = Sequential() # Build Linear Model model.add(Dense(units=256, input_dim=784, kernel_initializer='normal', activation='relu')) # Add Input/hidden layer model.add(Dense(units=10, kernel_initializer='normal', activation='softmax')) # Add Hidden/output layer print("t[Info] Model summary:") model.summary() print("")
- 94. Keras實作練習 建置一個手寫辨識 定義訓練方式(compile)、開始訓練 、顯示出對與錯 Code[ part 8]: model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) train_history = model.fit(x=x_Train_norm, y=y_TrainOneHot, validation_split=0.2, epochs=10, batch_size=200, verbose=2) if isDisplayAvl(): print("t[Info] Display accuracy pic") show_train_history(train_history, 'acc', 'val_acc') print("t[Info] Display loss pic") show_train_history(train_history, 'loss', 'val_loss')
- 95. Keras實作練習 建置一個手寫辨識 評估模型準確率 Code[ part 9]: scores = model.evaluate(x_Test_norm, y_TestOneHot) print() print("t[Info] Accuracy of testing data = {:2.1f}%".format(scores[1]*100.0))
- 96. Keras實作練習 建置一個手寫辨識 評估模型準確率 、進行預測 Code[ part 10]: print("t[Info] Making prediction to x_Test_norm") prediction = model.predict_classes(x_Test_norm) # Making prediction and save result to prediction print() print("t[Info] Show 10 prediction result (From 240):") print("%sn" % (prediction[240:250])) if isDisplayAvl(): plot_images_labels_predict(X_test_image, y_test_label, prediction, idx=240) print("t[Info] Error analysis:") for i in range(len(prediction)): if prediction[i] != y_test_label[i]: print("tAt %d'th: %d is with wrong prediction as %d!" % (i, y_test_label[i], prediction[i])) print()
- 97. Keras實作練習 建置一個手寫辨識 使用 pandas crosstab 建立混淆矩陣 (Confusion matrix) Code[ part 11]: print("t[Info] Display Confusion Matrix:") print("%sn" % pd.crosstab(y_test_label, prediction, rownames=['label'], colnames=['predict'])) 開始編譯!開始訓練!
- 99. 準確率持續提高
- 100. 參考資料： http://ial.eecs.ucf.edu/Reading/Papers/TensorFlow_Tutorial.pdf ——UNIVERSITY OF CENTRAL FLORIDA https://morvanzhou.github.io ——莫煩Python http://www.cc.ntu.edu.tw/chinese/epaper/0041/20170620_4105.html ——NTU計算機及網路運算中心 https://brohrer.mcknote.com/zh- Hant/how_machine_learning_works/how_convolutional_neural_networks_work.html ——卷積神經網路的運作原理 http://darren1231.pixnet.net/blog/post/332753859- tensorflow%E6%95%99%E5%AD%B8---- %E5%BB%BA%E7%BD%AE%E4%B8%80%E5%80%8Bcnn%E7%B6%B2%E8% B7%AF%E5%88%86%E8%BE%A8%E6%89%8B%E5%AF%AB%E8%BE%A8%E 8%AD%98 ——建置一個CNN網路分辨手寫辨識字
- 101. https://zh.wikipedia.org/wiki/%E9%95%B7%E7%9F%AD%E6%9C%9F%E8%A8%9 8%E6%86%B6 ——維基百科 https://www.youtube.com/watch?v=xCGidAeyS4M ——ML Lecture 25: Recurrent Neural Network http://www.cnblogs.com/sandy-t/p/6930608.html ——用tensorflow搭建RNN(LSTM)進行MNIST手寫數字辨識 https://puremonkey2010.blogspot.tw/2017/06/toolkit-keras-mnist.html