Extreme Learning Machine

8,674 views

Published on

0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
8,674
On SlideShare
0
From Embeds
0
Number of Embeds
4,793
Actions
Shares
0
Downloads
90
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

Extreme Learning Machine

  1. 1. Extreme Learning Machine Yoshiaki Sakakura (@a2ki) 2013.04.17.社内教育資料 1DENSO IT Laboratory, INC.
  2. 2. Extreme Learning Machine(ELM)とは • 学習が早く、ロバストなNeural Network – SinC関数 2DENSO IT Laboratory, INC. http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/Fariselli2/ELM‐Workshop‐NUS.pdfより抜粋
  3. 3. Extreme Learning Machine(ELM)とは • 学習が早く、ロバストなNeural Network – Real World Regression Problem 学習時間[sec] RMSE 3DENSO IT Laboratory, INC. http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/Fariselli2/ELM‐Workshop‐NUS.pdfより抜粋 C実装より早い 著者は些末な問題だと言っている…。
  4. 4. Extreme Learning Machine(ELM)とは • 学習が早く、ロバストなNeural Network – Real World Very Large Complex Application 4DENSO IT Laboratory, INC. http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/Fariselli2/ELM‐Workshop‐NUS.pdfより抜粋
  5. 5. 目次 • NN と ELM の比較 – Single Layer Feed‐forward Networks(SLFNs)を例に説明 • ELM の利点 – 学習速度とロバスト性以外にも 5DENSO IT Laboratory, INC.
  6. 6. NN : モデル構成 1 d・・・ L1 i ・・・・・・ 出力層 隠れ層 入力層 出力層 Output , , 隠れ層 Output , ∈ ∈ , , 隠れ層 Output 活性化 関数 6DENSO IT Laboratory, INC.
  7. 7. NN : 学習 , , argmax , , , ∈ 1, … , 入力 コスト関数 出力 (学習データ) 最適パラメータ 1 d・・・ L1 i ・・・・・・ 出力層 隠れ層 入力層 , ∈ ∈ 7DENSO IT Laboratory, INC.
  8. 8. ELM : モデル構成 出力層 Output , , 隠れ層 Output , , 隠れ層 Output 活性化 関数1 d・・・ L1 i ・・・・・・ 出力層 隠れ層 入力層 , ∈ ∈ 8DENSO IT Laboratory, INC.
  9. 9. ELM : 学習 , ∈ 1, … ,学習データ 活性化関数 隠れノード数 Given STEP : 1 , 1, … , をランダムに生成 STEP : 2 隠れ層の出力行列 を生成 , , ⋯ , , ⋮ ⋱ ⋮ , , ⋯ , , STEP : 3 β の解 β を求める β , : 疑似逆行列 β ⋮⋮ 1 d・・・ L1 i ・・・・・・ 出力層 隠れ層 入力層 , ∈ ∈ 9DENSO IT Laboratory, INC. STEP : 4 STEP1,3で得られた , , 1, … , を 最適パラメータとする
  10. 10. 理論的後ろだて 【NN(SLFNs)による関数近似の性質】 十分大きなLをとれば、任意の関数を近似可能 【ELM(SLNFs)による関数近似の性質】 十分大きなL、有界・非定数・区分連続な活性化関をとれば、 ランダムに生成された(a,b)によって任意の関数を近似可能 (βは学習) 10DENSO IT Laboratory, INC. http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/Fariselli2/ELM‐Workshop‐NUS.pdfより抜粋
  11. 11. ELMの利点 • 学習がはやい – 疑似逆行列1発(イテレートがない) • ロバストな解が求まる – 求めるパラメータが少ない • 最適解が求まる – だって、疑似逆行列1発 • 初期値に依存しない、Local Minimumが無い • 多様な活性化関数が利用できる – 有界、非定数、区分連続 • 微分できなくてもよい • 決定するパラメータが少ない – 隠れノード数Lだけ • 普通のNNは、隠れノード数Lに加え、学習率η、収束判定値ε – その後の研究では、0~Lの間で”最適な”ノード数を決定 11DENSO IT Laboratory, INC.
  12. 12. ちなみに • v.s.Deep Learning(たぶんConvolutionなし?) DENSO IT Laboratory, INC. 12 http://www.ntu.edu.sg/home/egbhuang/pdf/ELM‐General.pdfより抜粋
  13. 13. というわけで • みなさん、おためしあれ 13DENSO IT Laboratory, INC.
  14. 14. 参考資料 • Extreme Learning Machine ポータルサイト – http://www.ntu.edu.sg/home/egbhuang/ – 各論文、ソースコードあります • Workshop on Machine Learning for BioMedical Infomatics での講演資料 – http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/ Fariselli2/ELM‐Workshop‐NUS.pdf • MS Researchでの講演資料 – http://research.microsoft.com/apps/video/dl.aspx?id=144113 – ビデオもあるよ • G.‐B. Huang, et al., “Universal Approximation Using Incremental Networks with Random Hidden  Computational Nodes”, IEEE Transactions on Neural Networks, vol. 17, no. 4, pp. 879‐892, 2006. • G.‐B. Huang, et al., “Extreme Learning Machine: Theory and Applications,” Neurocomputing, vol. 70, pp.  489‐501, 2006. 14DENSO IT Laboratory, INC.

×