2020_04_08_專題進度報告_第五週 線性回歸 SGD 簡單說明

1. 日期：2020/04/08
專題進度報告－第五週
指導教授 : 林志學
專題生 : 邱楷能、謝佾明、林知瑩
Linear Regression

2. Linear Regression
DataSet NNModule Optimizers

3. Linear Regression
DataSet NNModule Optimizers

4. Linear Regression
DataSet NNModule Optimizers
建立一個簡單的NN模型
其中包含三層：
• 1. 輸入層 (1)
• 2. 隱藏層 (10)
• 3. 輸出層 (1)

5. Linear Regression
DataSet NNModule Optimizers
優化器的選用和設定：
• SGD ：Stochastic Gradient Descent
• Lr ：Learning Rate

6. Linear Regression
DataSet NNModule Optimizers
Gradient Descent
(梯度下降)：
• 目的：尋找最大梯度
• 方法：往梯度大的方向
移動

7. Linear Regression
DataSet NNModule Optimizers
Gradient Descent：
• 公式說明：
利用微分的方法找出參數
的梯度，往梯度的方向去更新
參數(weight)
參數 次數（迭代）
W 權重(weight)
L L 為損失函數
(loss function)
η η 是學習率(learning
rate)
∂L/∂W 是損失函數對參數的梯度(微分)

8. Linear Regression
DataSet NNModule Optimizers
Gradient Descent：
• η：Learning Rate
• Vt 參數：
會跟上一次的更新有關
如果方向相同，Vt會越來越大
W的更新也會越來越快。
學習率 次數
（迭代）
結果
大 少 可能越過最優解
小 多 可能無法收斂
（找到最優）

9. Linear Regression
DataSet NNModule Optimizers
• Momentum (動量)：
未加入動量：每次移動的距離是固定的
當加入動量：每次移動的距離取決於過去的速度（物理）

10. Linear Regression
DataSet NNModule Optimizers

11. Linear Regression
DataSet NNModule Optimizers
30.
70.
100.
200.

12. 姓名 事項 完成度 時程
邱楷能 Linear Regression 100% 4/4
林知瑩 SGD 參數與公式關係 100% 4/6
謝佾明 SGD 參數與公式關係 100% 4/6
Linear Regression
線性回歸介紹、隨機梯度下降
參數說明、學習率、動量
SGD 參數與公式關係
公式推倒和摻數意義
SGD 參數與公式關係
公式推倒和摻數意義
100
%
80%
20
80%
Document
總結和時程規劃