Introduction of Back Propagation(BP). My understanding is far from perfect, how to use, what's for, what can be? doubts are remained. However i get more interest through this approach. I'll make effort more about this.

1. Back Propagation
(2014/12/15)
情報系学部3年
T2C_ ( TwitterID： @T2C_ )

2. 本日の流れ
1. 前回までの流れ
2. 誤差逆伝播法
1. 誤差逆伝播法とは
2. 簡単な例
3. 詳細
1. シグモイド関数
2. チェインルール
3. 出来る事
4. 問題点
5. 所見
1

3. 対象：誤差逆伝播法
Back Propagation
2

4. 前回までの流れ
• 深層学習（Deep Learning）、ＳＵＧＯＩ
• パーセプトロン→誤差逆伝搬（多層パーセプトロン）
→DL
• 単純パーセプトロンを構成（前回）、ＮＮの基礎へ
3
流れを追うために
誤差逆伝播をやってみよう（今回）

5. 誤差逆伝播法とは
• 1986年ラメルハート教授らにより発表される
• 3層以上のニューラルネットワークである必要
• 教師あり学習
• 局所解（求めるものを完全に求められる保証なし）
• やりたい事…入力→（何らかの判別・分類）→出力
• （何らかの判別・分類）を自動化し未知の入力に対しても望む処理が出来る
4

6. 簡単な例（概要）
• 以前紹介したもの
→これを分けてみる
5
x2
x1
(0 , 1) (1 , 1)
(0 , 0) (1 , 0)
表１．２次元上のXOR
ワケラレナイヨー
x2 = x2 = －x 1 +1.5 －x 1 +0.5

7. 簡単な例（分類ネットワーク）
• 中数字は閾値(それを超えると発火)
• OR→ x1 + x2 －0.5 > 0 の時発火
• NAND→－x1 － x2+1.5 > 0 の時発火
• AND→OR＋NAND – 1.5 > 0の時発火
• (先ほどの直線2本と対応）
6
• →下の斜線より上の領域かつ
上の斜線より下の領域を指す
図１．XORのネットワーク実装

8. 簡単な例（真偽表）
7
入力層中間層出力層
x1(入力) x2(入力) a1(OR) a2(NAND) y(AND)
0 0 0 1 0
0 1 1 1 1
1 0 1 1 1
1 1 1 0 0
表２．XORネットワークの真偽表
• 中間層の素子一つは、一つの線形判別関数に相当する
• パーセプトロン（先週）がXORを解けないのは入力層から
中間層に至る結合係数（重み）を変更する手段がないため

9. 誤差逆伝播法（詳細）
• 先ほどまでの話を一般化する
• 総数m層のネットワークを考える
• k層のi 番目の素子への総入力を푥푖
푘 ,出力を푦푖
푘 とする
• K-1層のi 番目からk層のj 番目の素子への結合係数を
푤푘−1 ,푘と表記する
푖푗
푘 = 푓 푥푖
• 푦푖
푘 =
1
푘)
1+exp(푥푖
푘 = 푖 푤푖푗
1 , 푥푗
푘−1 ,푘 ∗ 푦푖
푘−1 [2]
8

10. シグモイド関数
• [1]式の1
푘)
1+exp(푥푖
のような関数をシグモイド関数と呼ぶ
• Xの値や係数により閾値を付随させたり、勾配を変更出来る
• 活性化関数とも言い、発火を２値でなくアナログ値でも表示
図２．Sigmoid関数のプロット（Python） 9

11. 誤差逆伝播法
• あるデータｘと教師信号ｔが与えられたときの2乗誤差Eは
E =
푗
푚 − 푡푗 )2 =
(푦푗
푗
푚)2 3
(δ푗
• このEを減少させる方向に結合係数wを以下の式で更新してゆく
푘−1 ,푘 = −휀
Δ푤푖푗
휕퐸
푘−1 ,푘 [4]
휕푤푖푗
• [4]式右辺の微分はチェーンルールを用いて
휕퐸
푘−1 ,푘 =
휕푤푖푗
휕퐸
휕푦푗
푚
푚
휕푦푗
푚−1 ,푚 = 푗 δ푗
휕푤푖푗
푚
푚 휕푦푗
푚−1 ,푚 [5] と書ける
휕푤푖푗
10

12. チェーンルール（復習？）
• 푦 = 푦( 푧 푥 )の様な合成関数の微分を
展開無しに푑푦
푑푥
=
푑푦
푑푧
푑푧
푑푥
と表す事が出来る
• 例えばy = (x+1) 2を微分する時푥2 + 2푥 + 1から微分
→x+1=zと置いて푑푦
푑푧
푑푧
푑푥
= 2z * 1 =2x+2 と求める
• y = (x+1) 999などでもすぐ出来る事が利点
• 繋がりがある事が条件（例だとyはxの関数、xはzの関数）
11

13. 誤差逆伝播法
푚 휕푦푗
• 同様にして 푗 δ푗
푚
푚−1 ,푚 の微分箇所は
휕푤푖푗
푚
휕푦푗
푚−1 ,푚 =
휕푤푖푗
푚
휕푦푗
푚
휕푥푗
푚
휕푥푗
푚−1 ,푚 [6]と表せる
휕푤푖푗
•
휕푦
휕푥
はsigmoid関数なので휕푦
휕푥
= 푦 1 − 푦 [7]
•
푚
휕푥푗
푚−1 ,푚 = 휕푦푖
휕푤푖푗
푚−1 [8]
• まとめると[4]式は
푚−1 ,푚 = −휀
Δ푤푖푗
푗
푚 푦푗
δ푗
푚 1 − 푦푗
푚 푦푖
푚−1 9
• これが最上位層とその一つ下の層の結合係数の更新式
12

14. 誤差逆伝播法（中間層以下）
• 次に中間層以下第n層(n≠m）の素子푦푗
푛 の結合係数の更新
푛 で微分していく([9]式の導出と似ているので省略)
• 誤差Eを素子푦푗
휕퐸
휕푦푗
푛 =
푘
푛+1 푦푘
δ푘
푛+1 1 − 푦푘
푛 ,푛+1 [10]
푛+1 푤푘푗
• ゆえに結合係数の更新式は
푘−1 ,푘 = −휀훿푗
Δ푤푖푗
푘푦푗
푘 1 − 푦푗
푘 푦푖
푘−1 11
푘 =
• また、훿푗
푘 − 푡푗 （푘 = 푚）
푦푗
푘+1 푤푗푖
푖 δ푙
푘 ,푘+1（その他）
[12] である
• [12]式の下部は1つ先の層の誤差と重みの総和＝BP！
13

15. 出来る事（一例／推測）
• 画像処理（認識、加工等）
• 音声処理（同）
• 自然言語処理（認識、理解、情報抽出等）
→データ処理（マイニング、リスク・需要予測、センサー、
セキュリティ（暗号や最適化）、意思決定、情報幾何等）
14

16. 問題点
• 局所解に陥る可能性
• 本当に求めたい物でなく近傍の解があればそこに落ち着いてしまう
• 過学習
• 学習を繰り返す→教師信号に依存し過ぎて未知データに対して弱化
• ネットワークの構造決定法が無い
• 各層の個数、最適な重み他
Deep Learning 15

17. 所見
• 応用法は知ったがその具体的な方法がわからない、ムズカシイ
• 完全理解までは程遠い
• 入出力の対応関係が直感的でない
• 数式アレルギー、克服出来るのでは
• やたらと勉強に時間がかかるが大変に面白い
• 神の言語Python
16

18. 参考資料
• 熊沢逸夫(1998) 『学習とニューラルネットワーク』森北出版
• 浅川伸一『バックプロパゲーション』
http://www.cis.twcu.ac.jp/~asakawa/waseda2002/
bp.pdf
• David Adler(2012)『Simple Back-propagation Neural
Network in Python source code (Python recipe)』
http://code.activestate.com/recipes/578148-
simple-back-propagation-neural-network-in-python-s/
(Webサイトは全て2014/12/14 閲覧)
17

19. ありがとうございました
18