「はじめてのディープラーニング」https://www.amazon.co.jp/%E5%88%9D%E3%82%81%E3%81%A6%E3%81%AE%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0-%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%82%BD%E3%83%BC%E3%82%B9-Caffe-%E3%81%AB%E3%82%88%E3%82%8B%E6%BC%94%E7%BF%92%E4%BB%98%E3%81%8D-%E6%AD%A6%E4%BA%95/dp/4865940227 をもとにCNNをまとめました。

1. about CNN
Iwate Prefecture Univ. basabi LAB
M1 Yoshida Takayuki

2. Deep Learning
“階層の深いNeural Networkを用いたalgorithm”
3 main types of technique
AutoEncoder
Recurrent Neural Network(RNN)
Convolution Neural Network(CNN)

3. AutoEncoder
input layerとoutput layerが同一のサイズのnodeを持つ層となるNNを利用

4. AutoEncoder
stacked AutoEncoder
hidden layerが１層に限定されない
左右対称になるようhidden layerが構成されることがある

5. AutoEncoderの役割
input layerとoutput layerがなるべく同じ値を出力するよう最適化
hidden layerのnode数はinput layerより少ない
hidden layerは情報をなるべく欠損しないよう圧縮
Encoderとは情報を別の情報に変換する仕組み
入力された情報をなるべく欠損しないように変換する役割のNN

6. Recurrent Neural Network
可変長データ（それぞれの長さが異なる）variable lengthを扱えるNN
文章 sentence
音声 voice
hidden layerが再帰的接続 recusion connect
input layer及び直前のhidden layerのnode値を用いて計算

7. RNN’s structure
v1にinput layerを入れ,hidden layerのnode値h1算出し,output layerのnode値o1算出
(各viの次元とinput layerのnode数は同じ前提)
O1 O2 O3
h1 h3h2
v3v2v1
variable length: v , hidden layer node: h , output layer node: o

8. CNN’s history
ネオコグニトロン Neocognitron
Gradient-based learning applied to document recognition
現在のdeep learning研究の起源となった代表的なものが以上の２つ.

9. CNN’s history
“Neocognitron”
福島邦彦氏(Hukushima Kunio)が脳の仕組みやHubel-Wiesel仮説を基にmodel作
成,simulationを行った研究. ”Hubel-Wiesel仮説”は,T.WieselとD.Hubelが「視覚野
では種類の異なる細胞が階層的に結合した神経回路により,視覚情報処理が行われ
る」という仮説を提唱.特徴的な形を抽出する「S細胞」,位置のわずかな違いを吸
収する「C細胞」の組みで構成されるalgorithm.
U0
Us1 Uc2Uc1 Us2 Uc3Us3

10. CNN’s history
Y. Lecun L. Bottou Y. Bengio P. Haffner,”Gradient-based learning applied to
document recognition”,1998
CNNを利用した手書き文字認識の研究.
7層のNNを用いて文字の判定を行った. ０〜９の数字を32×32pxごとに入力層に入
れ、10次元の確率ベクトルとして出力層から得られる. 各ベクトルの要素が各数
字の存在確率となっている. 手書きから生じるクセ(毎回同じ形ではない)を吸収し
て正しい文字を認識する仕組みについての研究.

11. Convolution Neural Network
1. 畳み込み層 convolution layer
2. プーリング層 pooling layer
3. 全結合層 binding layer
input layer
hidden layer
output layer
1 2 3 3

12. convolution layer
”前の層の中で近くにあるnode同士の集合が、次の層のnodeと接続するような構
造を持つ層を指す”
→ある画像の局所的な部分を抽象化する役割 abstract some images
近隣にある
nodeの集合
抽象化結果を
次の層の
nodeに入力
(characteristic of a particular locality)

13. convolution layer
ここでいう抽象化 what’s abstaract?
特徴を浮き立たせるような効果を指す. 前の層が複数の次の層それぞれと接続し
ているとき,それぞれが違った方法で特徴を抽象化する.
畳み込みが進むにつれ,以下のように特徴量が抽象化されいく.
1. 単純なエッジや色の塊
2. それらの組み合わせパターン
3. 複雑な模様や対象

14. pooling layer
前の層のnodeの局所的な部分をまとめあげる処理
また、”最大プーリング max pooling”とは局所的な部分の最大化をとる処理
→位置変更への感度を下げることにより,小さな平行移動に対する不変性を待た
せる役割
最大値を
次に入力

15. The way of calculation of the node value
Neural Network
input layerとhidden layerはbias nodeを持つ
bias nodeは１に固定されinput edgeを持たない
input layerから次の層の値を決める
node値は前のnodeと結ばれるedgeの重み,活性化関数activation func.から決
まる
bias node
hidden
output

16. The way of calculation of the node value
対象となるnode値
前の層の各node値
各edgeの重み
活性化関数hとすると,node値は前の層のnode値と対応するedge
の重みの積の和に活性化関数を施した値となる. 以下の式.
→ このようにinputからoutput layerでそれぞれ計算していく
・
・
・

17. Kind of the activation function
活性化関数は脳の神経networkであるsynapseに相当
閾値 thresholdを超えると発火し伝送する動きを模倣
neuronを伝わりsyanapseを経由する電気信号が,前node値とedgeの重みの積の
総和
hidden layerでよく利用されるactivation func.は以下.
tanh関数
Hyperbolic tangent func.
シグモイド関数
sigmoid func.
ReLU関数
Rectified Linear Unit

18. Kind of the activation function
tanh関数
Hyperbolic tangent func.
シグモイド関数
sigmoid func.
ReLU関数
Rectified Linear Unit
name formula
tanh関数やsigmoid関数が多く使われるが値が大きくなると関数の勾配が0に近づき,学習がすすま
なくなる. ReLU関数は学習速度が他２つに比べ早く学習が止まることも少ない. 0より小さい小さ
い値でも勾配が０になるため,この部分に小さな傾きを入れたwekly ReLU関数もある.
CNNでは以下の構成をとる.
1. Convolution
2. ReLU
3. Pooling
4. Affine
5. ReLU
6. Affine
7. Softmax

19. Kind of the activation function
softmax関数 softmax func.
output layerから確率ベクトルを得たい場合に利用
活性化関数を施す前の各node値 O1,....,On
上式はi番目のnode値viを算出
式よりV1,...,Vnをすべて足すと１
output valueから定るベクトル(V1,...,Vn)は確率ベクトル