45. Normalize Layer
Local contrast normalization
Convolutional layer
Normalize layer
同一特徴マップにおける局所領域内で正規化する
vj,k = xj,k − wp,q xj+p,k+q∑
wp,q =1∑
yj,k =
vj,k
max(C,σ jk )
σ jk = wpqvj+p,k+q
2
∑
K. Jarrett, K. Kavukcuoglu, M. Ranzato and Y.LeCun ,“What is the Best Multi-Stage Architecture for
Object Recognition?”, ICCV2009
45
46. Normalize Layer
Local response normalization
Convolutional layer
Normalize layer
同一位置における異なる特徴マップ間で正規化する
yi
j,k = (1+α (yl
j,k )2
)β
l=i−N/2
i+N/2
∑
46
G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov ,“Improving neural
networks by preventing co-adaptation of feature detectors ”, arxiv2012
47. 学習時間について
CPU V.S. GPU(1回の更新にかかる時間)
Layer
CPU
(Core2
2.6GHz)
GPU
(GeForce
GT690)
比率
畳み込み層
カーネル:1
27.3ms
11.6ms
2.35倍
畳み込み層
カーネル:20
451.5ms
29.2ms
15.46倍
全結合層
ノード数:100
486ms
14.8ms
32.84倍
学習率
Pre training :0.5
Fine tuning :0.01
Mini-batch :10
47
69. 物体検出
R. Girshick, J. Donahue, T. Darrell, J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation”
, Conference on Computer Vision and Pattern Recognition, pp. 580–587, 2014.
Caffeをもとに,物体のLocalizationに応用
CNNで抽出した特徴量をSVMでクラス識別
Pascal VOCでトップの物体検出
69
CNNを特徴量の生成として使用
96. カリキュラムラーニング(1)
学習過程で難しいサンプルを追加する
(= similar with Bootstrap, but different…)
Y. Bengio, J. Louradour, R. Collobert, J. Weston, “Curriculum Learning”, ICML2009.
x1
x2
x3
xi
y1
y2
yj
y1
y2
y3
h1
h2
hj
初期の学習(単純なパターン)
学習の後期(複雑なパターン)
96