[DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
•
2 likes•6,585 views
[DSO] Machine Learning Seminar Vol.1 SKUE
![[DSO] Machine Learning Seminar Vol.1[DSO] Machine Learning Seminar Vol.1
2020-02-13
SKUE](https://image.slidesharecdn.com/chapter12slides-200211153032/85/DSO-Machine-Learning-Seminar-Vol-1-Chapter-1-and-2-1-320.jpg)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to [DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
Similar to [DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2 (20)
More from Teruyuki Sakaue
More from Teruyuki Sakaue (14)
[DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
- 1. [DSO] Machine Learning Seminar Vol.1[DSO] Machine Learning Seminar Vol.1 2020-02-13 SKUE
- 10. 教師なし学習教師なし学習 ラベル付けされていないデータをもとにデータの構造を抽出するための機械学習。 クラスタリング：階層クラスタリング、⾮階層クラスタリング（k-means） 次元圧縮：PCA
- 21. ⼈⼯ニューロン⼈⼯ニューロン zを総⼊⼒、xを⼊⼒値、wを重みベクトルとする。 以下の単位ステップ関数を定義する。 これを決定関数と呼ぶ。 まら、閾値を左辺に移動し、インデックス0の重みを として改めてパーセプトロンを定義すると。 で表すことができる。この負の閾値、 のことをバイアスユニットと呼ぶ。 z = x = + ⋯ +w T w1 x1 wm xm ϕ(z) = { 1 z ≧ θ −1 z < θ なお、θ は閾値となっている。 = −θw0 = 1x0 z = x = + + ⋯ +w T w0 x0 w1 x1 wm xm ϕ(z) = { 1 z ≧ 0 −1 z < 0 = −θw0
- 22. パーセプトロンの学習規則パーセプトロンの学習規則 1.重みを0または値の⼩さい乱数で初期化する。 2.トレーニングサンプルごとに以下の⼿順を実⾏する。 2-1.出⼒値を計算する（単位ステップ関数による予測） 2-2.重みを更新する における重みの更新は に従って⾏われる。ηは学習率で0.0〜1.0以下の定数がおかれる。yの真の値と予測値 との間で差異があれば重みを更新するという仕組みになっている。 これらはベクトルなので、各々の要素がこの更新式によって同時に更新されることと なる。 z = x = + ⋯ +w T w1 x1 wm xm := + Δwj wj wj Δ = η( − )wj y (i) ŷ (i) x (i) j
- 23. パーセプトロンの学習規則の思考実験パーセプトロンの学習規則の思考実験 正しくラベルを予測した場合 予測が間違っていた場合（その1）：xが⼩さいケース（η=1） 予測が間違っていた場合（その2）：xが⼤きいケース（η=1） このように誤分類したとして、xの値や学習率によって⼤きく重みの更新がなされるこ とになる。なお、パーセプトロンが収束するケースは、2つのクラスが線形分離可能 で学習率が⼗分に⼩さいときに限られる。 線形分離が不能な場合は、トレーニングの最⼤回数（エポック）や誤分類の最⼤数を 設定することで重み付けの更新を終了させる。 Δ = η(−1 − (−1)) = 0wj x (i) j Δ = η(1 − 1)) = 0wj x (i) j Δ = η(1 − (−1)) = η2 = 1 × 2 × 0.5 = 1wj x (i) j x (i) j Δ = η(−1 − 1)) = −η2 = −1 × 2 × 0.5 = −1wj x (i) j x (i) j Δ = η(1 − (−1)) = η2 = 1 × 2 × 2 = 4wj x (i) j x (i) j Δ = η(−1 − 1)) = −η2 = −1 × 2 × 2 = −4wj x (i) j x (i) j
- 27. 定義 生成 際 自動的 呼 出 関数 再利用 際 必要 指定 以下 見 様 値 持 関数間 利用 学習率 反復回数 乱数
- 28. 乱数 生成 分布 中心 平均 分布 標準偏差 出力 際 最初 意味 変数 数 返 誤差 空箱 反復回数 繰 返 場合 意味 繰 返 処理 形 変換 関数 数 繰 返 前述 更新式 重 更新 設定 別 更新 誤差 整数 足 反復 誤差 誤差 重 伴 値 返 内積 計算 単位 関数
- 30. 0 1 2 3 4 145 6.7 3.0 5.2 2.3 Iris-virginica 146 6.3 2.5 5.0 1.9 Iris-virginica 147 6.5 3.0 5.2 2.0 Iris-virginica 148 6.2 3.4 5.4 2.3 Iris-virginica 149 5.9 3.0 5.1 1.8 Iris-virginica
- 31. 目的変数 抽出 正例 負例 指定 行目 列目 抽出
- 32. 値
- 33. 決定領域
- 36. 勾配降下法勾配降下法 機械学習の学習過程において⽬的関数を最適化するための⼿法の⼀つ。 今回のADALINEの場合は重みの学習に以下のコスト関数（誤差平⽅和）を⽤いる。 この関数は凸関数であり、微分可能であることから、勾配降下法を⽤いて最⼩化する ことができる。 この⽬的関数における重みの更新は で⾏われる。勾配の負値、つまり反対向きにパラメータを更新することに注⽬された い。∇J(w)の各要素については よって、更新式は以下のように表される。 J(W ) = ( − ϕ( ) 1 2 ∑ i y (i) z (i) ) 2 w := w + Δw Δw = −η∇J(w) = − ( − ϕ( )) ∂J ∂wj ∑ i y (i) z (i) x (i) j Δ = −η = η ( − ϕ( ))wj ∂J ∂wj ∑ i y (i) z (i) x (i) j
- 39. 活性化関数 誤差 重 更新 更新式 従 別 重 更新 誤差二乗和 割 収束 判 断 使 内積 計算 線形活性化関数 今回 何 意味 持 次章以降 回帰 説明 比較 単位 関数
- 45. 確率的勾配降下法確率的勾配降下法 勾配降下法の問題点 バッチ勾配降下法においては数百万のトレーニングサンプルがあっ たとして、そのすべてを同時に扱って重みの更新を⾏うため計算コ ストが⾼くついてしまう可能性がある。 勾配降下法を再掲する。 このsummationが問題となる。 そこで、確率的勾配降下法ではトレーニングサンプルごとに段階的に重みを更新す る。 トレーニングサンプルごとに重み更新するに際して、トレーニングサンプルをランダ ムな順序に並べ替えることが重要となる。偏りがある場合、段階的にやったとしても 重みベクトルが更新前と更新後で同じ値になる可能性がある。 Δ = −η = η ( − ϕ( ))wj ∂J ∂wj ∑ i y (i) z (i) x (i) j η( − ϕ( ))y (i) z (i) x (i)
- 47. 重 初期化 空箱 関 空箱 一 更新式 従 更新 際 値 返 平均 計算 平均
- 48. 重 初期化 数 大 場合 繰 返 重 更新 個 場合 回 重 更新 並 替 重 初期化
- 49. 活性化関数 誤差 更新式 従 重 更新 別 更新 誤差二乗和 計算 割