Recommended
More Related Content
What's hot
What's hot (20)
Similar to Semantic Segmentation Review
Similar to Semantic Segmentation Review (12)
Recently uploaded
Recently uploaded (10)
Semantic Segmentation Review
- 3. 深層学習の対象 機械学習 深層学習（Deep Neural Network, DNN） ①画像 ⇒ 行列 ⇒ Convolutional NN(CNN) ②自然言語（時系列データ） ⇒ ベクトル ⇒ Long Short-Term Memory(LSTM) ③強化学習 ⇒ Deep Reiforcement Learning(RL) 画像認識 70% 自然言語 処理 20% その他 10%
- 4. 画像CNN 画像をCNNで特徴量にencode。 情報量圧縮・特徴量抽出・画像サイズ縮小。 ①画像分類（Image Classification） 画像単位でクラスを推定。encodeした特徴量を線形結合。 ②物体検出（Object Detection） bounding boxを推定。encodeした特徴量から様々な形状のbounding boxで推 定。 ③領域分割（Semantic Segmentation） 画素単位でクラスを推定。encodeした特徴量をdecodeで同じ画像サイズに戻 す。 ④インスタンス分割（Instance Segmentation） 画素単位でクラスおよびインスタンスを推定。物体検出⇒領域分割、等。 画像分 類 50% 物体検 出 30% 領域分 割 10% その他 10% https://www.slideshare.net/nlab_utokyo/deep-learning-49182466 http://host.robots.ox.ac.uk/pascal/VOC/voc2012/segexamples/index.html
- 6. Decoder - Upsampling Decoder upsamplingとconvolutionで構成。 ①unpooling 計算量・メモリ使用量を節約できる。高解像 度化によるアーチファクトが生じる ⇒convolutionで解消。 ②indexに合わせてunpooling。 位置情報を保証できる。 ③deconvolution 高解像度化によるアーチファクトが軽減され る。計算量・メモリ使用量を消費する。 unpooling deconvolution https://github.com/vdumoulin/conv_arithmetic
- 7. NNの構造 ①Encoder-Decoder。 境界の精度向上。 ②Pyramid Module。 多重解像度の特徴量が取得。 ※更に細分化した考え方の論文も見かけます。 Segnet PSPNet
- 9. 代表的なモデル FCN(2014) Encoder-Decoder構造。 Segnet(2015)、U-Net(2015)、U-Net++(2018), HRNet(2019) Pyramid Module DeepLab v2(2016)、PSPNet(2016)、DeepLab v3(2017)、DeepLab v3++(2018)、Fast FCN(2019)
- 10. FCN(2014) 最終層を全結合層からconvolution層に置き換 え、領域分割問題に適用。 upsamplingを追加し、Encoder-Decoder構造を 提案。 deconvolutionでupsampling。 skip接続（shortcut）を提案。 低解像度の特徴量をupsamplingし、高解像 度の特徴量と加算。 高解像度の特徴量が保持される。アンサン ブル効果が得られる。 Fully Convolutional Networks for Semantic Segmentation, Jonathan Long, Evan Shelhamer, Trevor Darrell , 2014. https://arxiv.org/abs/1411.4038
- 11. 代表的なモデル FCN(2014) Encoder-Decoder構造。 Segnet(2015)、U-Net(2015)、U-Net++(2018), HRNet(2019) Pyramid Module DeepLab v2(2016)、PSPNet(2016)、DeepLab v3(2017)、DeepLab v3++(2018)、Fast FCN(2019)
- 12. Segnet(2015) downsamplingとupsamplingが対称なEncoder-Decoder構造を提案。 upsampling時にdownsampling時のMax Poolingのindexに合わせてunpooling。 位置情報を保証させる。 SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation, V.Badrinarayanan, A.Kendall and R.Cipolla, 2 Nov 2015. https://arxiv.org/abs/1511.00561
- 13. U-Net(2015) skip接続（shortcut）時に低解像度の特徴量を （deconvolutionで）upsamplingし、高解像度の 特徴量と連結。 高解像度の特徴量を保持。 downsamplingとupsamplingが対称なEncoder- Decoder構造。 U-net: Convolutional networks for biomedical image segmentation, O.Ronneberger, P.Fischer and T.Brox, 2015. https://arxiv.org/abs/1505.04597
- 14. U-Net++(2018) downsamplingとupsamplingが対称なEncoder- Decoder構造を改良し、各解像度の特徴量を それぞれupsamplingし、1つ上の高解像度の 特徴量と連結。 EncoderとDecoder間の各解像度の特徴量の ギャップが減少する。 アンサンブル効果が得られる。 Encoder-Decoder構造。 UNet++: A Nested U-Net Architecture for Medical Image Segmentation, Z.Zhou, M.M.R.Siddiquee, N.Tajbakhsh, J.Liang, 2018. https://arxiv.org/abs/1807.10165
- 15. HRNet(2019) 高解像度～低解像度を並列実行。高解像度 を維持。 各解像度の特徴量のギャップを減少。 また、異なる解像度間で特徴量を交換。 Deep High-Resolution Representation Learning for Human Pose Estimation, K.Sun, B.Xiao, D.Liu, J.Wang, 2019. https://arxiv.org/abs/1902.09212 Microsoft Research Asia
- 16. 代表的なモデル FCN(2014) Encoder-Decoder構造。 Segnet(2015)、U-Net(2015)、U-Net++(2018), HRNet(2019) Pyramid Module DeepLab v2(2016)、PSPNet(2016)、DeepLab v3(2017)、DeepLab v3++(2018)、Fast FCN(2019)
- 17. PSPNet(2016) Pyramid Pooling Moduleを提案。 複数の解像度でそれぞれMax Poolingを行い、 複数の解像度の特徴量を算出し、バイリニア 補間でupsamplingし、元の特徴量に連結。 複数の解像度の特徴量が得られる。 EncoderにResidual Network（ResNet、ブロック 内のskip接続）を適用。 補助的ロスを用いる。 Pyramid Scene Parsing Network, H.Zhao, J.Shi, X.Qi, X.Wang and J.Jia, 2016. https://arxiv.org/abs/1612.01105 SenseTime
- 18. DeepLab v2(2016) Dilated(Atrous) Convolutionを用いる。 Atrous Spatial Pyramid Pooloing（ASPP）を提案。 Dilated(Atrous) Convolutionを適用。 DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs, L.Chen, G.Papandreou, I.Kokkinos, K.Murphy, A.L.Yuille, 2016. https://arxiv.org/abs/1606.00915 Google, Inc
- 19. 参考）Dilated Convolution（2015年） Dilated Convolutionを用いたContext Moduleを提案。 パラメータを増やさず、解像度を下げずに、受容野を拡大。 計算量が多く、メモリ使用量が大きい。 Multi-Scale Context Aggregation by Dilated Convolutions, F.Yu, V.Koltun, 2015. https://arxiv.org/abs/1511.07122 https://github.com/vdumoulin/conv_arithmetic Intel Labs
- 20. DeepLab v3(2017) ResNetにDilated(Atrous) Convolutionを適用。 Atrous Spatial Pyramid Pooloing（ASPP）にImage Pooling（Global Average Pooling＋Pixel-wise Separable Convolution）を追加。 Rethinking Atrous Convolution for Semantic Image Segmentation, L.Chen, G.Papandreou, F.Schroff and H.Adam, 2017. https://arxiv.org/abs/1706.05587 Google, Inc
- 21. DeepLab v3+(2018) Encoder-Decoder構造とPyramid Pooling Moduleを併用。 EncoderとDecoderの中間にPyramid Pooling Moduleを配置。 計算量を削減しつつ、低解像度の特徴量が 得られる。 ResNetをXceptionに変更。 計算量とメモリ使用量を削減。 Decoder、Atrous Spatial Pyramid Pooloing （ASPP）にDepthwise Separable Convolutionを 適用。 Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation, L.Chen, Y.Zhu, G.Papandreou, F.Schroff, H.Adam, 2018. https://arxiv.org/abs/1802.02611 Google, Inc
- 22. 参考）Separabl Convolution（2016年） Xception: Deep Learning with Depthwise Separable Convolutions, F.Chollet, 2016. https://arxiv.org/abs/1610.02357 https://towardsdatascience.com/review- xception-with-depthwise-separable-convolution- better-than-inception-v3-image-dc967dd42568Google, Inc
- 23. Fast FCN(2019) Joint Pyramid Upsampling（JPU） 効率的に多重解像度特徴量を取得。 Dilated(Atrous) ConvolutionをJPUに変更することで、計 算量とメモリ使用量を1/3に削減しつつ、高解像度の特徴量を取得。 FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation, H.Wu, J.Zhang, K.Huang, K.Liang and Y.Yu, 2019. https://arxiv.org/abs/1903.11816