[初心者向け] Extreme Learning Machineをさらっと概要だけ説明したスライド

1. Extreme Learning Machine

2. ELM : Extreme Learning Machine
• Feedforward Neural Network
• 隠れ層 : 1層
• 学習が高速で，ロバストなNeural Network
Input Output
Hidden
𝑤 𝛽
𝑖=1
𝑙
𝛽𝑖 𝑔 𝑤𝑖, 𝑏𝑖, 𝑥𝑗 = 𝑡𝑗, 𝑗 = 1, 2, … , 𝑁.
𝑵 : サンプル数
𝒈(・) : 中間層の活性化関数
𝒘 : 重み(入力層 → 中間層)
𝜷 : 重み(中間層 → 出力層)
𝒙 : 学習データ
𝒕 : 学習ラベル
𝒃 : 中間層のバイアス

3. Optimization of ELM
• ELM は学習前に 𝒘, 𝒃をランダムに生成する
• 学習ステップ
1. 隠れ層の個数を定義，隠れ層のバイアス𝒃，入力層・隠れ層間の重み𝒘をランダムに設定
2. 活性化関数として無限に微分可能な関数を選択し，隠れ層出力行列𝑯を計算
3. 内部重み(隠れ層・出力層)決定するために，隠れ層と出力層の重み𝜷を以下の式で計算
𝜷 = 𝑯−
𝑻 (𝑯−
は擬似逆行列)
𝑻 = [ 𝒕 𝟏
𝑻
⋯ 𝒕 𝑳
𝑻] : 教師ラベル
𝑯 =
𝑮(𝒘 𝟏, 𝒃 𝟏, 𝒙 𝟏) ⋯ 𝑮(𝒘 𝑳, 𝒃 𝑳, 𝒙 𝟏)
⋮ ⋱ ⋮
𝑮(𝒘 𝟏, 𝒃 𝟏, 𝒙 𝑵) ⋯ 𝑮(𝒘 𝑳, 𝒃 𝑳, 𝒙 𝑵)
: 隠れ層の出力行列

4. Performance of ELM
• SinC関数の学習 “Extreme learning machine: Theory and application”[Guang-Bin Huang et al.]
ELM BP SVR

5. Theory
• 数学モデル(SLFN)
ー 任意の連続目標関数𝒇(𝒙)は，SLFNによって近似可能．
ー 任意の正で小さな値𝝐を与えた場合，多くの隠れノード𝑳を持つSLFNでは
ー つまり，真の目標関数とほとんど差のない関数がSLFNで構築可能
𝒇 𝑳 𝒙 − 𝒇(𝒙) < 𝝐
𝒇 𝑳(𝒙) : 学習で算出された関数
𝒇(𝒙) : 求める目標関数
※ SLFN(Single-Hidden Layer Feedforward Network) : 隠れ層が1層のNeural Network

6. Theory
• 数学モデル(ELM)
“Universal Approximation Using Incremental Networks with Random Hidden Nodes”
[Guang-Bin Huang et al.]
ー 大きな隠れ層を持ち，任意の一定でない任意の不定数の区分的に連続な活性化関数を取れ
ば，ランダムに生成された(𝒘 𝑳, 𝒃 𝑳)でのモデルと真の目標関数の差は，収束する．
ー ランダムに生成されたパラメータで任意の関数を近似できる
𝐥𝐢𝐦
𝑳→∞
𝒇 𝒙 − 𝒇 𝑳(𝒙) = 𝟎
𝒇 𝑳(𝒙) : 学習で算出された関数
𝒇(𝒙) : 求める目標関数

7. Library & Reference
• Library
ー hpelm https://pypi.python.org/pypi/hpelm
• Python用 Extreme Learning Machine ライブラリ
ー Python-ELM https://github.com/dclambert/Python-ELM
• PythonのELMを実装した GitHub Repository
• Reference
ー Extreme Learning Machine [http://www.ntu.edu.sg/home/egbhuang/elm_codes.html]
ー Denso IT Laboratory researcher’s blog sites [https://tech.d-itlab.co.jp/ml/229/]