Downloaded 36 times
![PSPNet (Pyramid Scene Parsing Network)
● Pyramid Pooling Module
○ 処理の流れ
■ → SPPのプーリング
■ → 各スケールごとに1x1のConvフィルタに通すことでチャネル方向を圧縮
■ → プーリング前のサイズにupsample
○ 各スケールの内包関係などの階層的情報を伝達
11
- [1612.01105] Pyramid Scene Parsing Network : https://arxiv.org/abs/1612.01105](https://image.slidesharecdn.com/2019-05-31psmnetpyramidstereomatchingnetwork-hiroakisugisaki-190531000258/75/DL-Pyramid-Stereo-Matching-Network-11-2048.jpg)
![Stacked Hourglass Networks
● Hourglassデザイン
○ 様々なスケールにおける情報を取得するモチベーション
○ Human Pose Estimationで体の部位の関係を取得するのに利用
12- [1603.06937] Stacked Hourglass Networks for Human Pose Estimation : https://arxiv.org/abs/1603.06937](https://image.slidesharecdn.com/2019-05-31psmnetpyramidstereomatchingnetwork-hiroakisugisaki-190531000258/75/DL-Pyramid-Stereo-Matching-Network-12-2048.jpg)
![Disparity Regression
● regressionに渡される出力 は各disparity(d)に対するコストを表す
● σはソフトマックス関数
● 以下のような重み積で表すことで連続的な出力が得られる
● クラス分類で表すよりロバスト性があるらしい (※)
19
- ※ [1703.04309] End-to-End Learning of Geometry and Context for Deep Stereo Regression : https://arxiv.org/abs/1703.04309](https://image.slidesharecdn.com/2019-05-31psmnetpyramidstereomatchingnetwork-hiroakisugisaki-190531000258/75/DL-Pyramid-Stereo-Matching-Network-19-2048.jpg)
Uploaded byDeep Learning JP
[DL輪読会]Pyramid Stereo Matching Network
2019/05/31 Deep Learning JP: http://deeplearning.jp/seminar-2/
More Related Content
![SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation](https://cdn.slidesharecdn.com/ss_thumbnails/20220121gudalin-220121050547-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](https://cdn.slidesharecdn.com/ss_thumbnails/nerfdlseminar1-200327021512-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DLHacks]StyleGANとBigGANのStyle mixing, morphing](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks0805-190815052222-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...](https://cdn.slidesharecdn.com/ss_thumbnails/ss1-01-210607043349-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]画像を使ったSim2Realの現況](https://cdn.slidesharecdn.com/ss_thumbnails/imagesim2real-201030025320-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation](https://cdn.slidesharecdn.com/ss_thumbnails/20190517hrnet-190517005504-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to [DL輪読会]Pyramid Stereo Matching Network
![[DL輪読会]Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Te...](https://cdn.slidesharecdn.com/ss_thumbnails/20201023deeplearningjpyokota3-201023031708-thumbnail.jpg?width=640&height=640&fit=bounds)
[DL輪読会]Pyramid Stereo Matching Network
- 1. PSMNet: Pyramid Stereo MatchingNetwork (CVPR 2018) Hiroaki Sugisaki, 上智大学 B4(休) 1
- 2. スライドについて ● Google Slideで公開 ○誤り等のご指摘があれば修正しますので最新版は以下のURLよりお願いします。 ○ https://docs.google.com/presentation/d/1lcTaWmU4ZIBO91cuyJWK-rHbevgwcUFBH--he- F7DKI/edit?usp=sharing 2
- 3. 論文情報 ● 書誌情報 ○ PyramidStereo Matching Network (CVPR 2018) ○ https://arxiv.org/abs/1803.08669 ○ Jia-Ren Chang, Yong-Sheng Chen ● 要約 ○ END-to-ENDなステレオマッチングモデル ○ END-to-ENDが苦手とするill-posedな領域の精度をあげた (occulusion/繰り返しパターン) ■ SPPM (Spatial Pyramid Pooling Module) によって画像全体の中での文脈を把握(Global Context) ■ downsampleとupsampleを繰り返す3D CNNに通すことで出力を調整 ○ 個人的にはSemantic Segmentationに用いられている手法をStereo Matchingに適応している 印象がある 3
- 4. 内容 ● ステレオマッチングについて ● 関連研究 ●PSMNet ● 実験と結果 ● 結論 4
- 5. ● ステレオマッチングについて ○ ステレオマッチング ○Disparity Map 5
- 6. ステレオマッチング ● ステレオカメラ ○ 対象物を複数の異なる方向から同時に撮影することのできるカメラ ●ステレオマッチング ○ ステレオカメラによって撮影された画像の視差(disparity)を求めること ○ また求めた視差から三角測量を用いて被写体の深度を求めること. 6 右左 - ステレオカメラ - Wikipedia : https://ja.wikipedia.org/wiki/%E3%82%B9%E3%83%86%E3%83%AC%E3%82%AA%E3%82%AB%E3%83%A1%E3%83%A9 - 2003 Stereo Datasets : http://vision.middlebury.edu/stereo/data/scenes2003/
- 7. Disparity Map ● Disparity ○被写体の対応点の左右画像におけるピクセル差. ○ 対称点の視差が大きいほど手前にある. ● Disparity Map ○ 各ピクセルにおける視差の大きさを２次元画像とし て表したもの. 7 右 左 Disparity Disparity Map - 2003 Stereo Datasets : http://vision.middlebury.edu/stereo/data/scenes2003/
- 8. ● 関連研究 ○ DilatedConvolution ○ SPP (Spatial Pyramid Pooling) ○ PSPNet (Pyramid Scene Parsing Network) 8
- 9. Dilated Convolution ● 以前までの受容野を広げる方法 ○層の数を増やす => 解像度が大きいと限界 ○ フィルターを大きくする => 解像度が大きいと限界 ○ プーリング層を使う => 解像度が落ちる ● メリット ○ 簡単にかつ解像度を失わずに受容野(Receptive Field)を広げることができる ○ 線形増加するパラメータ数に対して受容野は指数関数的に広がる ■ の受容野は 9 - Dilated Convolution - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ : http://joisino.hatenablog.com/ - arXiv : Multi-Scale Context Aggregation by Dilated Convolutions : https://arxiv.org/abs/1511.07122 - https://towardsdatascience.com/review-dilated-convolution-semantic-segmentation-9d5a5bd768f5 2-dilated 1-dilated = 普通のConv
- 10. SPP (Spatial PyramidPooling) ● プーリングサイズではなく,プーリング を行う領域数を固定 ○ 当初は様々な解像度の画像に対 して一様に処理する目的で考案 された ● 四分木のようなスケール構造に分けた 各層に対してプーリングを行う ○ 各スケールごとの情報を得る ○ Global Context 10 - Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition : https://arxiv.org/abs/1406.4729
- 11. PSPNet (Pyramid SceneParsing Network) ● Pyramid Pooling Module ○ 処理の流れ ■ → SPPのプーリング ■ → 各スケールごとに1x1のConvフィルタに通すことでチャネル方向を圧縮 ■ → プーリング前のサイズにupsample ○ 各スケールの内包関係などの階層的情報を伝達 11 - [1612.01105] Pyramid Scene Parsing Network : https://arxiv.org/abs/1612.01105
- 12. Stacked Hourglass Networks ●Hourglassデザイン ○ 様々なスケールにおける情報を取得するモチベーション ○ Human Pose Estimationで体の部位の関係を取得するのに利用 12- [1603.06937] Stacked Hourglass Networks for Human Pose Estimation : https://arxiv.org/abs/1603.06937
- 13. ● PSMNet ○ 全体構造 ○CNNによる特徴抽出 ○ SPP Module ○ Cost Volume ○ 3D CNN ○ Loss 13
- 14.
- 15. CNNによる特徴抽出 ● conv0 ○ 3つの3x3フィルタで7x7のreceptivefieldを カバー ● conv1_x, conv2_x, conv3_x, conv4_x ○ ResNet ● conv3_x, conv4_x ○ Dilated Convolution ● 受容野を広くとりたいモチベーション - https://towardsdatascience.com/review-dilated-convolution-semantic-segmentation-9d5a5bd768f5 15 Dilated Convolution
- 16. SPP Module ● SpatialPyramid Pooling Module ○ PSPNetのPyramid Pooling Moduleを取り入れている 16
- 17. Cost Volume ● shiftedright ○ 左の画像に対して右の画像をwidth方 向に1ピクセルずつずらして Max Disparity までずらした各画像とを ConcatすることでD x H x W x Cの４ 次元の出力になる ○ ここではHとWがそれぞれ1/4されて いるのでD方向も1/4 17
- 18. 3D CNN ● BasicとStackedHourglassの２種類を 提案して実験 ● Basic ○ 単純にResBlockの配置し最後に 元のサイズにupsample ● Stacked Hourglass ○ Stacked Hourglass Networksの ブロックを少し変えて適用 ○ 様々なスケールの情報の獲得に 期待 ○ ３つの出力 ■ ロス計算に利用 ■ 推論時は最後の出力のみ 利用 18
- 19. Disparity Regression ● regressionに渡される出力は各disparity(d)に対するコストを表す ● σはソフトマックス関数 ● 以下のような重み積で表すことで連続的な出力が得られる ● クラス分類で表すよりロバスト性があるらしい (※) 19 - ※ [1703.04309] End-to-End Learning of Geometry and Context for Deep Stereo Regression : https://arxiv.org/abs/1703.04309
- 20. Loss ● Smooth L1 ○外れ値に対してロバスト性があり,物体検出のBoundingBoxのLossでも使われている 20
- 21. ● 実験と結果 ○ データセット ○学習 ○ Stacked Hourglassの実験 ○ Lossの比重を変えた実験 ○ KITTIの結果 21
- 22. データセット ● Scene Flow… シミュレーションから生成されたデータセット ○ H = 540, W = 960 の画像 ○ train : 35,454枚, test: 4370枚 ○ 密なDensity MapのGT (Ground Truth) ● KITTI 2015 … 自動車ビジョンデータセット ○ H = 376, W = 1240 の画像 ○ train : 200枚 → 80% (train), 20% (validation) ○ LiDARによって取得した疎なDensity MapのGT ● KITTI 2012 ○ H = 376, W = 1240 の画像 ○ train : 194枚 → 160枚 (train), 34枚 (validation) ○ LiDARによって取得した疎なDensity MapのGT 22
- 23. 学習 ● 画像中からランダムに H=256,W=512 を切り出して学習 ● OptimizerにAdamを使用 ● maximum disparity (D) を 192 と指定 ● Scene Flowに対して10エポック学習. (そのままScene Flowの評価に使用) ● Scene Flowで学習したものをKITTIデータセットを用いてfine-tuning (100エポック) 23
- 24.
- 25.
- 26.
- 27.
- 28. 結論 ● SPPとDilated convolutionを用いることでピクセルレベルから異なるスケール の領域ごとの情報を取得 ●Stacked Hourglass 3D CNNにおけるtop-down/bottom-up方式でglobal context の獲得に寄与 28