Download as PDF, PPTX
![Irisの識別を行う例
11
中間層
（隠れ層）
出力層
入力層
がくの長さ
がくの幅
花弁の長さ
花弁の幅
セトサ
バーシクル
バージニカ
*入力層に入れる値はN(0, 1)に正規化しておく
0.0~1.0
0.0~1.0
0.0~1.0
正解がセトサなら、上から
[1,0,0]の出力が理想的](https://image.slidesharecdn.com/ml-04-170811054546/85/ML-05-11-320.jpg)
シリーズML-05 ニューラルネットワーク
- 1.
- 2. 更新履歴 • 2017-08-11 Ver.1.0 release • 2017-08-19 シリーズ番号振り直し 2
- 3. Series Index ML-01 機械学習の概要 ML-02機械学習におけるデータの前処理 ML-03 ランダムフォレストによる自動識別 ML-04 機械学習の性能の定義と一般的な性能向上策 ML-05 ニューラルネットワーク ML-06 ニューラルネットワークによる線形回帰 ML-07 ニューラルネットワークによる非線形回帰 ML-08 ニューラルネットワークを用いた識別・分類 ーシングルラベルー ML-09 ニューラルネットワークを用いた識別・分類 ーマルチラベルー ML-10 ニューラルネットワークで画像識別 ML-11 ニューラルネットワークのチューニングの基本 3
- 4. ニューロン • 人の認知性能はニューロンのネットワークが実現している • ニューロンはシナプスで信号を伝える •シナプスの刺激量が一定を超えると、ニューロンは発火（電気的 に励起）し、刺激を伝達する • 刺激の強さはシナプスによる（受容体の数や神経伝達物質の量） 4 http://www.gifu- nct.ac.jp/elec/deguchi/sots uron/ieiri/img9.gif 神経細胞同士の結合
- 5.
- 6. 𝑦をどう与えるか？→活性化関数 𝑦を求める関数を活性化関数（Activation）という。活性化関 数は複数提案されており、ここではその代表例としてシグモ イド関数（sigmoid）を示す。 6 ቊ 𝑦 ≈ 1,𝑧 > threshold:𝜃 𝑦 ≈ 0, 𝑒𝑙𝑠𝑒 𝑧 = 𝑘 𝑤 𝑘 𝑥 𝑘 𝑦 = ℎ(𝑧) = 1 1 + exp(−𝑧 + 𝜃) y = 1 1 + exp(−𝑧) , (𝜃 = 0) バイアス項 発火
- 7.
- 8.
- 9. バイアス項のためのユニット 9 入 力 デ ー タ 出 力 デ ー タ 中間層 （隠れ層） 出力層 入力層 1 1 𝑤0,1 0 𝑦1 𝑦2 𝑦3 𝑥1 𝑥2 𝑥3 𝑥4 ＊𝜃を常に1を出力する ユニットで置き換える。 Layer 𝑖 +1のユニット𝑗に 対するバイアス項からの 入力は𝑤0,𝑗 𝑖 となる。 𝑤0,2 0 𝑤0,1 1 𝑤0,2 1 𝑤0,3 1 Layer 0 Layer 2 Layer 1 Unit 1 Unit 2 Unit 1 Unit 3 Unit 2 Unit 1 Unit 2 Unit 3 Unit 4 Unit 0 Unit 0 𝑤 𝑘,𝑗 𝑖 Layer 𝑖のUnit 𝑘から Unit 𝑗への結合係数
- 10. 値の入出力を数式で表してみた 10 𝑿 = (1,𝑥1, ⋯ , 𝑥 𝑛) 𝑇 = ( 𝑋0, ⋯ , 𝑋 𝑛) 𝑇 𝑧𝑗 𝑖 = 𝑾𝑗 𝑖 ∙ 𝒀𝑖−1z of unit 𝑗 at Layer 𝑖 𝑾𝑗 𝑖 = (𝑤0,𝑗 𝑖−1 , ⋯ , 𝑤 𝑢 𝑖−1,𝑗 𝑖−1 ) 𝑇Weight vector of unit 𝑗 at Layer 𝑖 Layer 𝑖のユニット数は𝑢 𝑖 output of unit 𝑗 at Layer 𝑖 𝒀𝑖 = (𝑦0 𝑖 , ⋯ , 𝑦 𝑢 𝑖 𝑖 ) 𝑇output vector at Layer 𝑖 input vector Layer 𝑖 Unit 𝑗 ・・・ 𝑤0,𝑗 𝑖−1 𝑤 𝑢 𝑖−1,𝑗 𝑖−1 内積 𝑦𝑗 𝑖 重み係数 活性化関数 output vector at Layer 0 𝒀0 = 𝑿 Relationship of 𝑛 and 𝑢 𝑖 𝑛 + 1 = 𝑢0 ここで、𝑛は特徴ベクトルの次元数である。 𝑖は添え字。指数で はないので注意 𝑦𝑗 𝑖 = ൞ 1.0 (𝑗 = 0) ℎ 𝑧𝑗 𝑖 (𝑗 ≥ 1, 𝑖 ≥ 1) 𝑋𝑗 (𝑛 ≥ 𝑗 ≥ 0, 𝑖 = 0) ℎ𝑧𝑗 𝑖
- 11.
- 12.
- 13.
- 14.
- 15. Deep Learning 15 多層（20層とか100層）のニューラルネットワークをDeep Neural Network、一般的にDeepLearningと呼んでいる。 層の数が増えると調整項目が減ったり、表現力が増えたりと 良いことが起こるのだが、標準的なニューラルネットワークだと 勾配消失問題により実用上4〜5層程度が限界だった。 Deep Learningでは最適化アルゴリズムや活性化関数やAuto Encoderやプーリング層や畳み込み層やDropout層などの工夫 によってこれをクリアした。
- 16.