pytorch tutorial 02

1. Pytorch入門（2）

2. Autograd
- ニューラルネットワークの中心となる機能
- tensorの計算過程を記憶
- 自動微分により勾配を算出することができる

3. Train
- 以下の値にてx=4,y=?を予測したい
x: 予測に使う値（説明変数）、y: 予測したい値（目的変数）、w: 重み
x y w
1 2 2
2 4 2
3 6 2
4
??
2

4. Train
- y = x * w
- 学習開始時はwの値を1とする
- 誤差(loss)は以下の通り
x y w loss
1 2 1 1
2 4 1 2
3 6 1 3

5. Train
- 誤差から勾配を算出しwに反映させる
- w = w - 学習率 * grad
- 勾配が正しければwの値が1->2へ近似していく
epoch: 学習回数、
epoch grad w
1 ?? 1
2 ?? 1.5
i ?? 2

6. grad
def loss_fn(x, y, w):
return (x * w - y) ** 2
- 損失関数を以下の関数とした場合
- 勾配は以下の式で求められる

7. requires_grad
x, y = [1,2,3], [2,4,6]
w = torch.tensor([1.], requires_grad=True)
loss = loss_fn(x[0], y[0], w)
loss.backward()
print(w.grad)
=> tensor([-2.])
- torch作成時にrequires_grad=Trueで追跡開始
- 損失関数の戻り値をbackwardすると勾配を算出
- 2*1*(1*1-2) = -2なので微分は合ってた(良かった)

8. train
x, y = [1,2,3], [2,4,6]
w = torch.tensor([1.], requires_grad=True)
for _x, _y in zip(x, y):
loss = loss_fn(_x, _y, w)
loss.backward()
w.data = w.item() - 0.01 * w.grad.data
# 勾配を0に初期化する
w.grad.data.zero_()
print( w.item() )
=> 1.260688066482544
- 上記を踏まえた実装は以下の通り
- 何回か学習させればOKっぽい

9. train
x, y = [1,2,3], [2,4,6]
w = torch.tensor([1.], requires_grad=True)
for epoch in range(1, 20):
for _x, _y in zip(x, y):
loss = loss_fn(_x, _y, w)
loss.backward()
w.data = w.item() - 0.01 * w.grad.data
# 勾配を0に初期化する
w.grad.data.zero_()
print( w.item() )
=> 1.9967811107635498
- 学習回数を20回にして見たところいい感じに

10. 1
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
2
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57
train graph
- y軸がwのグラフは以下の通り
- いい感じに2に収束しているのがわかる

11. 終わり