ResNetのアイデア
元論⽂： [1512.03385] Deep Residual Learning for Image Recognition
⼊⼒値と出⼒値の差分(残差)を学習する
Deepになると⼊⼒xと出⼒x*Wは極めて近い値
ならばxをそのまま残して差分を計算した⽅が効率的
残差ブロックの提案
畳み込み層＋Skip Connection(恒等写像)を組み合わせた
Skip Connectionによって誤差逆伝搬をしやすい
変換不要ならば畳み込み層のWeightを０にすればよい
既にいい感じになっているｘに余計なことをしなくてすむ
Skip Connectionが無い場合、⾮線形写像なのでｘが理想値から遠ざかることがある
残差ブロックのアーキテクチャ
Plainアーキテクチャ
3x3のconv層が2つ
Bottleneckアーキテクチャ
1x1のconv層でdimを⼩さくして、、、
3x3のconv層にかけて、、、
1x1のconv層で元々のdimに戻す

『DenseNet』CVPR2017 BEST PAPER
元論⽂： [1608.06993] Densely Connected Convolutional Networks

アイデア：層の間で情報伝達を最⼤化する

上の図は１つのDenseBlockを表す
ℓ番⽬の層への⼊⼒は、0〜ℓ-1番⽬の層の全出⼒となる

このようなDenseBlockを4つ含むネットワーク構造を提案
ダウンサンプリングなどのためにDenseBlock間にPooling層も挿⼊

ちょっと、やりすぎだろ・・・・

Skip Connectionとよく似たContracting Path構造（U-Net）
[q505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation

Image-ClassiﬁcationではなくImage-Segmentationのタスクで⽣まれた⼿法
Semantic Segmentationにおいて位置は保存したい重要情報
CNNではPoolingや畳み込みをするほど位置情報が曖昧になることが課題
局所的特徴と全体的位置情報の両⽅を把握したい
形がU字なのでU-Net
左側がEncoder
右側がDecoder
Up-Sampling後にEncoder部の同次元数の特徴を連結する
あまり畳み込みされていないEncoder部では位置情報が保たれているという仮定
concatenation with the correspondingly cropped
feature map
従来どおり特徴を抽出しつつ、位置情報を保存する

Skip Connectionの有効性を解明
[1712.09913] Visualizing the Loss Landscape of Neural Nets

LOSS関数を可視化することで近年のNeural Networkのアーキテクチャの有効性を検証した論⽂
Skip Connectionを利⽤した場合（右図）は、non-convexからconvexに近づいているように⾒える

Skip Connectionを含む新しいネットワーク構造〜Deep
Layer Aggregation (CVPR2018)〜

[1707.06484] Deep Layer Aggregation

疲れたのでまた今度・・・

資料作成：ロードローラーブログ: r2d.info、 Twitter: RoadRoller_DESU

Skip Connection まとめ（Neural Network）