SlideShare a Scribd company logo

Skip Connection まとめ（Neural Network）

•
•
Yamato OKAMOTO
Yamato OKAMOTO

ResNetに代表されるSkip Connectionについて理論と有効性をまとめました。

Technology
1 of 6
Download to read offline
Deep Learning における Skip Connection の研 究まとめ   背景と課題 〜Deepすぎると学習が進まない〜 CNNでは層を深くすることが重要 層を重ねることで⾼度で複雑な特徴を抽出できる 2012年に画像認識の⾸位となったAlexNetは14層 2014年に画像認識の⾸位となったVGGNetは19層 同じく2014年に⾸位となったGoogleNetは22層 2015年に画像認識の⾸位となったResNetは152層 このとき、層を深くすると思い通りに学習が進まない課題があった 勾配消失 勾配発散 引⽤：Deep Residual Learning MSRA @ ILSVRC & COCO 2015 competitions        
ResNetのアイデア 元論⽂： [1512.03385] Deep Residual Learning for Image Recognition ⼊⼒値と出⼒値の差分(残差)を学習する Deepになると⼊⼒xと出⼒x*Wは極めて近い値 ならばxをそのまま残して差分を計算した⽅が効率的 残差ブロックの提案 畳み込み層＋Skip Connection(恒等写像)を組み合わせた Skip Connectionによって誤差逆伝搬をしやすい 変換不要ならば畳み込み層のWeightを０にすればよい 既にいい感じになっているｘに余計なことをしなくてすむ Skip Connectionが無い場合、⾮線形写像なのでｘが理想値から遠ざかることがある 残差ブロックのアーキテクチャ Plainアーキテクチャ 3x3のconv層が2つ Bottleneckアーキテクチャ 1x1のconv層でdimを⼩さくして、、、 3x3のconv層にかけて、、、 1x1のconv層で元々のdimに戻す  
  『DenseNet』CVPR2017 BEST PAPER 元論⽂： [1608.06993] Densely Connected Convolutional Networks   アイデア：層の間で情報伝達を最⼤化する   上の図は１つのDenseBlockを表す ℓ番⽬の層への⼊⼒は、0〜ℓ-1番⽬の層の全出⼒となる        
  このようなDenseBlockを4つ含むネットワーク構造を提案 ダウンサンプリングなどのためにDenseBlock間にPooling層も挿⼊   ちょっと、やりすぎだろ・・・・                                
Skip Connectionとよく似たContracting Path構造（U-Net） [q505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation   Image-ClassificationではなくImage-Segmentationのタスクで⽣まれた⼿法 Semantic Segmentationにおいて位置は保存したい重要情報 CNNではPoolingや畳み込みをするほど位置情報が曖昧になることが課題 局所的特徴と全体的位置情報の両⽅を把握したい 形がU字なのでU-Net 左側がEncoder 右側がDecoder Up-Sampling後にEncoder部の同次元数の特徴を連結する あまり畳み込みされていないEncoder部では位置情報が保たれているという仮定 concatenation with the correspondingly cropped feature map 従来どおり特徴を抽出しつつ、位置情報を保存する        
  Skip Connectionの有効性を解明 [1712.09913] Visualizing the Loss Landscape of Neural Nets   LOSS関数を可視化することで近年のNeural Networkのアーキテクチャの有効性を検証した論⽂ Skip Connectionを利⽤した場合（右図）は、non-convexからconvexに近づいているように⾒える       Skip Connectionを含む新しいネットワーク構造 〜Deep Layer Aggregation (CVPR2018)〜   [1707.06484] Deep Layer Aggregation   疲れたのでまた今度・・・     資料作成：ロードローラー ブログ: r2d.info、 Twitter: RoadRoller_DESU  

Recommended

実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAEぱんいち すみもと
 
強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験克海 納谷
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
全力解説！Transformer
全力解説！Transformer全力解説！Transformer
全力解説！TransformerArithmer Inc.
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State SpacesDeep Learning JP
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 

Recommended

実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAEぱんいち すみもと
 
強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験克海 納谷
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
全力解説！Transformer
全力解説！Transformer全力解説！Transformer
全力解説！TransformerArithmer Inc.
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State SpacesDeep Learning JP
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法Deep Learning JP
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習Deep Learning JP
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門tmtm otm
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep LearningSeiya Tokui
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで強化学習 DQNからPPOまで
強化学習 DQNからPPOまでharmonylab
 
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明Satoshi Hara
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデルMasahiro Suzuki
 
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion ModelsDeep Learning JP
 
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）Shota Imai
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object DetectionDeep Learning JP
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理Taiji Suzuki
 
ResNetを倒したい
ResNetを倒したいResNetを倒したい
ResNetを倒したいimenurok
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Daiki Shimada
 

More Related Content

What's hot

backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法Deep Learning JP
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習Deep Learning JP
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門tmtm otm
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep LearningSeiya Tokui
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで強化学習 DQNからPPOまで
強化学習 DQNからPPOまでharmonylab
 
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明Satoshi Hara
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデルMasahiro Suzuki
 
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion ModelsDeep Learning JP
 
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）Shota Imai
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object DetectionDeep Learning JP
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理Taiji Suzuki
 

What's hot (20)

backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep Learning
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
 
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
 
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデル
 
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
 
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
 
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理
 

Similar to Skip Connection まとめ（Neural Network）

ResNetを倒したい
ResNetを倒したいResNetを倒したい
ResNetを倒したいimenurok
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Daiki Shimada
 
（2021年8月版）深層学習によるImage Classificaitonの発展
（2021年8月版）深層学習によるImage Classificaitonの発展（2021年8月版）深層学習によるImage Classificaitonの発展
（2021年8月版）深層学習によるImage Classificaitonの発展Takumi Ohkuma
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsTakuya Akiba
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsTakuya Akiba
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用Kazuki Fujikawa
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜Jun Okumura
 
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会S_aiueo32
 
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?cvpaper. challenge
 

Similar to Skip Connection まとめ（Neural Network） (9)

ResNetを倒したい
ResNetを倒したいResNetを倒したい
ResNetを倒したい
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
 
（2021年8月版）深層学習によるImage Classificaitonの発展
（2021年8月版）深層学習によるImage Classificaitonの発展（2021年8月版）深層学習によるImage Classificaitonの発展
（2021年8月版）深層学習によるImage Classificaitonの発展
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
 
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
 
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?
 

More from Yamato OKAMOTO

第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCRYamato OKAMOTO
 
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べYamato OKAMOTO
 
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly DetectionICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly DetectionYamato OKAMOTO
 
ICLR'2020 参加速報
ICLR'2020 参加速報ICLR'2020 参加速報
ICLR'2020 参加速報Yamato OKAMOTO
 
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic FeaturesDomain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic FeaturesYamato OKAMOTO
 
(SURVEY) Active Learning
(SURVEY) Active Learning(SURVEY) Active Learning
(SURVEY) Active LearningYamato OKAMOTO
 
(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised LearningYamato OKAMOTO
 
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...Yamato OKAMOTO
 
[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated Learning[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated LearningYamato OKAMOTO
 
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）Yamato OKAMOTO
 
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（5~6日目 Workshop）
ICML2019@Long Beach 参加速報（5~6日目 Workshop）ICML2019@Long Beach 参加速報（5~6日目 Workshop）
ICML2019@Long Beach 参加速報（5~6日目 Workshop）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（最終日 Workshop）
ICML2019@Long Beach 参加速報（最終日 Workshop）ICML2019@Long Beach 参加速報（最終日 Workshop）
ICML2019@Long Beach 参加速報（最終日 Workshop）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（４日目）
ICML2019@Long Beach 参加速報（４日目）ICML2019@Long Beach 参加速報（４日目）
ICML2019@Long Beach 参加速報（４日目）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（３日目）
ICML2019@Long Beach 参加速報（３日目）ICML2019@Long Beach 参加速報（３日目）
ICML2019@Long Beach 参加速報（３日目）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（２日目）
ICML2019@Long Beach 参加速報（２日目） ICML2019@Long Beach 参加速報（２日目）
ICML2019@Long Beach 参加速報（２日目） Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（１日目）
ICML2019@Long Beach 参加速報（１日目）ICML2019@Long Beach 参加速報（１日目）
ICML2019@Long Beach 参加速報（１日目）Yamato OKAMOTO
 
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向Yamato OKAMOTO
 
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向Yamato OKAMOTO
 
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationCVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationYamato OKAMOTO
 

More from Yamato OKAMOTO (20)

第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
 
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ
 
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly DetectionICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
 
ICLR'2020 参加速報
ICLR'2020 参加速報ICLR'2020 参加速報
ICLR'2020 参加速報
 
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic FeaturesDomain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
 
(SURVEY) Active Learning
(SURVEY) Active Learning(SURVEY) Active Learning
(SURVEY) Active Learning
 
(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning
 
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
 
[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated Learning[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated Learning
 
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
 
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
 
ICML2019@Long Beach 参加速報（5~6日目 Workshop）
ICML2019@Long Beach 参加速報（5~6日目 Workshop）ICML2019@Long Beach 参加速報（5~6日目 Workshop）
ICML2019@Long Beach 参加速報（5~6日目 Workshop）
 
ICML2019@Long Beach 参加速報（最終日 Workshop）
ICML2019@Long Beach 参加速報（最終日 Workshop）ICML2019@Long Beach 参加速報（最終日 Workshop）
ICML2019@Long Beach 参加速報（最終日 Workshop）
 
ICML2019@Long Beach 参加速報（４日目）
ICML2019@Long Beach 参加速報（４日目）ICML2019@Long Beach 参加速報（４日目）
ICML2019@Long Beach 参加速報（４日目）
 
ICML2019@Long Beach 参加速報（３日目）
ICML2019@Long Beach 参加速報（３日目）ICML2019@Long Beach 参加速報（３日目）
ICML2019@Long Beach 参加速報（３日目）
 
ICML2019@Long Beach 参加速報（２日目）
ICML2019@Long Beach 参加速報（２日目） ICML2019@Long Beach 参加速報（２日目）
ICML2019@Long Beach 参加速報（２日目）
 
ICML2019@Long Beach 参加速報（１日目）
ICML2019@Long Beach 参加速報（１日目）ICML2019@Long Beach 参加速報（１日目）
ICML2019@Long Beach 参加速報（１日目）
 
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
 
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
 
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationCVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic Segmentation
 

Recently uploaded

2024年5月25日Serverless Meetup大阪　アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪　アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪　アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪　アプリケーションをどこで動かすべきなのか.pptxssuserbefd24
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一瑛一 西口
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptxyassun7010
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルCRI Japan, Inc.
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...atsushi061452
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。iPride Co., Ltd.
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdfAyachika Kitazaki
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)NTT DATA Technology & Innovation
 
Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）
Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）
Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）keikoitakurag
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizesatsushi061452
 

Recently uploaded (11)

2024年5月25日Serverless Meetup大阪　アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪　アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪　アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪　アプリケーションをどこで動かすべきなのか.pptx
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
 
Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）
Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）
Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
 

Skip Connection まとめ（Neural Network）

  • 1. Deep Learning における Skip Connection の研 究まとめ   背景と課題 〜Deepすぎると学習が進まない〜 CNNでは層を深くすることが重要 層を重ねることで⾼度で複雑な特徴を抽出できる 2012年に画像認識の⾸位となったAlexNetは14層 2014年に画像認識の⾸位となったVGGNetは19層 同じく2014年に⾸位となったGoogleNetは22層 2015年に画像認識の⾸位となったResNetは152層 このとき、層を深くすると思い通りに学習が進まない課題があった 勾配消失 勾配発散 引⽤：Deep Residual Learning MSRA @ ILSVRC & COCO 2015 competitions        
  • 2. ResNetのアイデア 元論⽂： [1512.03385] Deep Residual Learning for Image Recognition ⼊⼒値と出⼒値の差分(残差)を学習する Deepになると⼊⼒xと出⼒x*Wは極めて近い値 ならばxをそのまま残して差分を計算した⽅が効率的 残差ブロックの提案 畳み込み層＋Skip Connection(恒等写像)を組み合わせた Skip Connectionによって誤差逆伝搬をしやすい 変換不要ならば畳み込み層のWeightを０にすればよい 既にいい感じになっているｘに余計なことをしなくてすむ Skip Connectionが無い場合、⾮線形写像なのでｘが理想値から遠ざかることがある 残差ブロックのアーキテクチャ Plainアーキテクチャ 3x3のconv層が2つ Bottleneckアーキテクチャ 1x1のconv層でdimを⼩さくして、、、 3x3のconv層にかけて、、、 1x1のconv層で元々のdimに戻す  
  • 3.   『DenseNet』CVPR2017 BEST PAPER 元論⽂： [1608.06993] Densely Connected Convolutional Networks   アイデア：層の間で情報伝達を最⼤化する   上の図は１つのDenseBlockを表す ℓ番⽬の層への⼊⼒は、0〜ℓ-1番⽬の層の全出⼒となる        
  • 5. Skip Connectionとよく似たContracting Path構造（U-Net） [q505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation   Image-ClassificationではなくImage-Segmentationのタスクで⽣まれた⼿法 Semantic Segmentationにおいて位置は保存したい重要情報 CNNではPoolingや畳み込みをするほど位置情報が曖昧になることが課題 局所的特徴と全体的位置情報の両⽅を把握したい 形がU字なのでU-Net 左側がEncoder 右側がDecoder Up-Sampling後にEncoder部の同次元数の特徴を連結する あまり畳み込みされていないEncoder部では位置情報が保たれているという仮定 concatenation with the correspondingly cropped feature map 従来どおり特徴を抽出しつつ、位置情報を保存する        
  • 6.   Skip Connectionの有効性を解明 [1712.09913] Visualizing the Loss Landscape of Neural Nets   LOSS関数を可視化することで近年のNeural Networkのアーキテクチャの有効性を検証した論⽂ Skip Connectionを利⽤した場合（右図）は、non-convexからconvexに近づいているように⾒える       Skip Connectionを含む新しいネットワーク構造 〜Deep Layer Aggregation (CVPR2018)〜   [1707.06484] Deep Layer Aggregation   疲れたのでまた今度・・・     資料作成：ロードローラー ブログ: r2d.info、 Twitter: RoadRoller_DESU