SlideShare a Scribd company logo
1 of 7
Download to read offline
セマンティックセグメンテーションと
DEEP CLUSTERINGについて
宮西 聖加
セマンティックセグメンテーションとは
ENCODER-DECODER WITH ATROUS SEPARABLE CONVOLUTION FOR SEMANTIC IMAGE SEGMENTATION
HTTPS://ARXIV.ORG/PDF/1802.02611V3.PDF
22 AUG 2018
LIANG-CHIEH CHEN,YUKUN ZHU, GEORGE PAPANDREOU, FLORIAN SCHROFF,AND HARTWIG ADAM
 画像セグメンテーション手法の一種「DeepLab v3+」
 TensorFlowのライブラリ
 PASCAL VOC 2012セマンティック画像
セグメンテーションデータセットでのIoU(89%)
 空間ピラミッドプーリング(SPP)とエンコード・
デコード構造のいいとこどりをした
どんなもの?
どうやって有効だと検証した? 次に読むべき論文は?
先行研究と比べて何がすごい?
技術の手法の肝は?
 エンコーダ部分Atrous畳み込みを採用したことで、畳み
こんでも解像度が落ちない(プーリングしないから)
 フィルタがすきっぱだから、特徴抽出が早い。
 ResNet
 U-Net
DEEP RESIDUAL LEARNING FOR IMAGE RECOGNITION
HTTPS://ARXIV.ORG/PDF/1802.02611V3.PDF
10 DEC 2015
KAIMING HE, XIANGYU ZHANG , SHAOQING REN, JIAN SUN , MICROSOFT RESEARCH
 ニューラルネットワークの一種で、CNNを発展させたもの
「ResNet」
 画像セグメンテーションでは、特徴抽出に使われる
 ImageNetデータセットで、エラーが3.57%
 COCOオブジェクト検出データセットで28%の相対的な改善
 層を深くしても勾配消失が消えないように、「shortcut
connection」という新たなルートを加えている
 ↑では残差を学習している
どんなもの?
どうやって有効だと検証した?
議論はある?
先行研究と比べて何がすごい?
技術の手法の肝は?
 それまでのImageNet優勝アルゴリズムの層の深さが22そ
うだったのに対して、152層とめちゃめちゃ層が深くでき
た(精度が上がった)
 層が深いので、学習時間が極端に長い
 https://www.slideshare.net/KotaNagasato/resnet-
82940994
U-NET: CONVOLUTIONAL NETWORKS FOR BIOMEDICAL IMAGE SEGMENTATION
HTTPS://ARXIV.ORG/PDF/1505.04597.PDF
18 MAY 2015
OLAF RONNEBERGER, PHILIPP FISCHER,AND THOMAS BROX
 画像セグメンテーションのためのアルゴリズム
 電子顕微鏡スタック内のニューロン構造のセグメンテー
ションのためのISBIチャレンジに関する従来の最良の方
法(スライディングウィンドウ畳み込みネットワーク)
よりもいい結果だった。
 特徴抽出のEncoderで、縮小段階の途中の特徴量マップ
を、Decoder段階の学習で再度使用する
どんなもの?
どうやって有効だと検証した?
先行研究と比べて何がすごい?
技術の手法の肝は?
 学習に使う画像の数が少なくていい。
 全結合層がないため、学習が早い
TERNAUSNET: U-NET WITH VGG11 ENCODER PRE-TRAINED ON IMAGENET FOR IMAGE SEGMENTATION
HTTPS://ARXIV.ORG/PDF/1801.05746V1.PDF
17 JAN 2018
 KaggleのCarvana Image Masking Challengeで1位を取った
セグメンテーションモデル
 https://www.kaggle.com/c/carvana-image-masking-
challenge/overview
 Inria Aerial Image Labeling DatasetでのIoU 0.686(ヨー
ロッパとアメリカの都市居住地の航空写真180枚で構成され、
建物クラスではなく建物としてラベル付けされたデータ)
 U-Netはランダムに初期化された重みで、ゼロから学習してい
たが、エンコーダ部分をImageNetで学習したVGG-11でファイ
ンチューニングした。
どんなもの?
どうやって有効だと検証した? 議論はある?
先行研究と比べて何がすごい?
技術の手法の肝は?
 画像分類タスクでファインチューニングはすでに広く使用され
ていたが、U-Netに使用したこと。
 学習時間が短縮したこと
 今回はVGG11の転移学習だったが、これをVGG16やResNetに
すると、さらに精度が上がるのではないか?
DEEP CLUSTERING FOR UNSUPERVISED LEARNING OF VISUAL FEATURES
HTTPS://ARXIV.ORG/PDF/1807.05520.PDF
17 JAN 2018
MATHILDE CARON, PIOTR BOJANOWSKI, ARMAND JOULIN, MATTHIJS DOUZE
 画像を教師なしでクラスタリングする手法
 ニューラルネットワークを使って特徴抽出からその特徴のクラ
スタリングまでをEnd to Endで行う
 Inria Aerial Image Labeling DatasetでのIoU 0.686(ヨー
ロッパとアメリカの都市居住地の航空写真180枚で構成され、
建物クラスではなく建物としてラベル付けされたデータ)
どんなもの?
どうやって有効だと検証した?
次に読むべき論文は?
議論はある?
先行研究と比べて何がすごい?
技術の手法の肝は?
 正解ラベルのデータを用意しなくてよい。(教師データにアノ
テーションしなくてよい。)
 まだ精度がでない、っぽい。
 画像を一様分布に従ってサンプリングしないと、どの画像も同じ
クラスタに分けてしまうことがある。
 https://www.slideshare.net/ARISEanalytics/deep-
clustering-for-unsupervised-learning-of-visual-features
 http://pesuchin.hatenablog.com/entry/2018/12/18/09215
0
 http://pesuchin.hatenablog.com/entry/2018/12/18/09215
0

More Related Content

What's hot

【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識Hirokatsu Kataoka
 
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知画像処理AIを用いた異常検知
画像処理AIを用いた異常検知Hideo Terada
 
Pred net使ってみた
Pred net使ってみたPred net使ってみた
Pred net使ってみたkoji ochiai
 
ディープラーニングの車載応用に向けて
ディープラーニングの車載応用に向けてディープラーニングの車載応用に向けて
ディープラーニングの車載応用に向けてIkuro Sato
 
非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料Takuya Minagawa
 
SSII2014 詳細画像識別 (FGVC) @OS2
SSII2014 詳細画像識別 (FGVC) @OS2SSII2014 詳細画像識別 (FGVC) @OS2
SSII2014 詳細画像識別 (FGVC) @OS2nlab_utokyo
 
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までーDeep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までーnlab_utokyo
 
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向Yusuke Uchida
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Daiki Shimada
 
先端技術とメディア表現 第1回レポートまとめ
先端技術とメディア表現 第1回レポートまとめ先端技術とメディア表現 第1回レポートまとめ
先端技術とメディア表現 第1回レポートまとめDigital Nature Group
 
物体検出コンペティションOpen Imagesに挑む
物体検出コンペティションOpen Imagesに挑む物体検出コンペティションOpen Imagesに挑む
物体検出コンペティションOpen Imagesに挑むHiroto Honda
 
2020 08 05_dl_DETR
2020 08 05_dl_DETR2020 08 05_dl_DETR
2020 08 05_dl_DETRharmonylab
 
Deformable Part Modelとその発展
Deformable Part Modelとその発展Deformable Part Modelとその発展
Deformable Part Modelとその発展Takao Yamanaka
 
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19Tatsuya Shirakawa
 
PredCNN: Predictive Learning with Cascade Convolutions
PredCNN: Predictive Learning with Cascade ConvolutionsPredCNN: Predictive Learning with Cascade Convolutions
PredCNN: Predictive Learning with Cascade Convolutionsharmonylab
 
Deep Learningを用いたロボット制御
Deep Learningを用いたロボット制御Deep Learningを用いたロボット制御
Deep Learningを用いたロボット制御Ryosuke Okuta
 
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)Hirokatsu Kataoka
 
【SSII2015】人を観る技術の先端的研究
【SSII2015】人を観る技術の先端的研究【SSII2015】人を観る技術の先端的研究
【SSII2015】人を観る技術の先端的研究Hirokatsu Kataoka
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...cvpaper. challenge
 

What's hot (20)

【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
 
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知画像処理AIを用いた異常検知
画像処理AIを用いた異常検知
 
Pred net使ってみた
Pred net使ってみたPred net使ってみた
Pred net使ってみた
 
MIRU_Preview_JSAI2019
MIRU_Preview_JSAI2019MIRU_Preview_JSAI2019
MIRU_Preview_JSAI2019
 
ディープラーニングの車載応用に向けて
ディープラーニングの車載応用に向けてディープラーニングの車載応用に向けて
ディープラーニングの車載応用に向けて
 
非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料
 
SSII2014 詳細画像識別 (FGVC) @OS2
SSII2014 詳細画像識別 (FGVC) @OS2SSII2014 詳細画像識別 (FGVC) @OS2
SSII2014 詳細画像識別 (FGVC) @OS2
 
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までーDeep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
 
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
 
先端技術とメディア表現 第1回レポートまとめ
先端技術とメディア表現 第1回レポートまとめ先端技術とメディア表現 第1回レポートまとめ
先端技術とメディア表現 第1回レポートまとめ
 
物体検出コンペティションOpen Imagesに挑む
物体検出コンペティションOpen Imagesに挑む物体検出コンペティションOpen Imagesに挑む
物体検出コンペティションOpen Imagesに挑む
 
2020 08 05_dl_DETR
2020 08 05_dl_DETR2020 08 05_dl_DETR
2020 08 05_dl_DETR
 
Deformable Part Modelとその発展
Deformable Part Modelとその発展Deformable Part Modelとその発展
Deformable Part Modelとその発展
 
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
 
PredCNN: Predictive Learning with Cascade Convolutions
PredCNN: Predictive Learning with Cascade ConvolutionsPredCNN: Predictive Learning with Cascade Convolutions
PredCNN: Predictive Learning with Cascade Convolutions
 
Deep Learningを用いたロボット制御
Deep Learningを用いたロボット制御Deep Learningを用いたロボット制御
Deep Learningを用いたロボット制御
 
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
 
【SSII2015】人を観る技術の先端的研究
【SSII2015】人を観る技術の先端的研究【SSII2015】人を観る技術の先端的研究
【SSII2015】人を観る技術の先端的研究
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
 

Similar to Semantic Segmentation and DeepClustering

DSF2018講演スライド
DSF2018講演スライドDSF2018講演スライド
DSF2018講演スライドHiroki Nakahara
 
2022/02 情報基盤システム学(NAIST)の研究室紹介
2022/02 情報基盤システム学(NAIST)の研究室紹介2022/02 情報基盤システム学(NAIST)の研究室紹介
2022/02 情報基盤システム学(NAIST)の研究室紹介inet-lab
 
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)cvpaper. challenge
 
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東Yukiyoshi Sasao
 
Deep Learningと画像認識   ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識   ~歴史・理論・実践~nlab_utokyo
 

Similar to Semantic Segmentation and DeepClustering (7)

ICCV2019 report
ICCV2019 reportICCV2019 report
ICCV2019 report
 
20150414seminar
20150414seminar20150414seminar
20150414seminar
 
DSF2018講演スライド
DSF2018講演スライドDSF2018講演スライド
DSF2018講演スライド
 
2022/02 情報基盤システム学(NAIST)の研究室紹介
2022/02 情報基盤システム学(NAIST)の研究室紹介2022/02 情報基盤システム学(NAIST)の研究室紹介
2022/02 情報基盤システム学(NAIST)の研究室紹介
 
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
 
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
 
Deep Learningと画像認識   ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識   ~歴史・理論・実践~
 

Semantic Segmentation and DeepClustering

  • 3. ENCODER-DECODER WITH ATROUS SEPARABLE CONVOLUTION FOR SEMANTIC IMAGE SEGMENTATION HTTPS://ARXIV.ORG/PDF/1802.02611V3.PDF 22 AUG 2018 LIANG-CHIEH CHEN,YUKUN ZHU, GEORGE PAPANDREOU, FLORIAN SCHROFF,AND HARTWIG ADAM  画像セグメンテーション手法の一種「DeepLab v3+」  TensorFlowのライブラリ  PASCAL VOC 2012セマンティック画像 セグメンテーションデータセットでのIoU(89%)  空間ピラミッドプーリング(SPP)とエンコード・ デコード構造のいいとこどりをした どんなもの? どうやって有効だと検証した? 次に読むべき論文は? 先行研究と比べて何がすごい? 技術の手法の肝は?  エンコーダ部分Atrous畳み込みを採用したことで、畳み こんでも解像度が落ちない(プーリングしないから)  フィルタがすきっぱだから、特徴抽出が早い。  ResNet  U-Net
  • 4. DEEP RESIDUAL LEARNING FOR IMAGE RECOGNITION HTTPS://ARXIV.ORG/PDF/1802.02611V3.PDF 10 DEC 2015 KAIMING HE, XIANGYU ZHANG , SHAOQING REN, JIAN SUN , MICROSOFT RESEARCH  ニューラルネットワークの一種で、CNNを発展させたもの 「ResNet」  画像セグメンテーションでは、特徴抽出に使われる  ImageNetデータセットで、エラーが3.57%  COCOオブジェクト検出データセットで28%の相対的な改善  層を深くしても勾配消失が消えないように、「shortcut connection」という新たなルートを加えている  ↑では残差を学習している どんなもの? どうやって有効だと検証した? 議論はある? 先行研究と比べて何がすごい? 技術の手法の肝は?  それまでのImageNet優勝アルゴリズムの層の深さが22そ うだったのに対して、152層とめちゃめちゃ層が深くでき た(精度が上がった)  層が深いので、学習時間が極端に長い  https://www.slideshare.net/KotaNagasato/resnet- 82940994
  • 5. U-NET: CONVOLUTIONAL NETWORKS FOR BIOMEDICAL IMAGE SEGMENTATION HTTPS://ARXIV.ORG/PDF/1505.04597.PDF 18 MAY 2015 OLAF RONNEBERGER, PHILIPP FISCHER,AND THOMAS BROX  画像セグメンテーションのためのアルゴリズム  電子顕微鏡スタック内のニューロン構造のセグメンテー ションのためのISBIチャレンジに関する従来の最良の方 法(スライディングウィンドウ畳み込みネットワーク) よりもいい結果だった。  特徴抽出のEncoderで、縮小段階の途中の特徴量マップ を、Decoder段階の学習で再度使用する どんなもの? どうやって有効だと検証した? 先行研究と比べて何がすごい? 技術の手法の肝は?  学習に使う画像の数が少なくていい。  全結合層がないため、学習が早い
  • 6. TERNAUSNET: U-NET WITH VGG11 ENCODER PRE-TRAINED ON IMAGENET FOR IMAGE SEGMENTATION HTTPS://ARXIV.ORG/PDF/1801.05746V1.PDF 17 JAN 2018  KaggleのCarvana Image Masking Challengeで1位を取った セグメンテーションモデル  https://www.kaggle.com/c/carvana-image-masking- challenge/overview  Inria Aerial Image Labeling DatasetでのIoU 0.686(ヨー ロッパとアメリカの都市居住地の航空写真180枚で構成され、 建物クラスではなく建物としてラベル付けされたデータ)  U-Netはランダムに初期化された重みで、ゼロから学習してい たが、エンコーダ部分をImageNetで学習したVGG-11でファイ ンチューニングした。 どんなもの? どうやって有効だと検証した? 議論はある? 先行研究と比べて何がすごい? 技術の手法の肝は?  画像分類タスクでファインチューニングはすでに広く使用され ていたが、U-Netに使用したこと。  学習時間が短縮したこと  今回はVGG11の転移学習だったが、これをVGG16やResNetに すると、さらに精度が上がるのではないか?
  • 7. DEEP CLUSTERING FOR UNSUPERVISED LEARNING OF VISUAL FEATURES HTTPS://ARXIV.ORG/PDF/1807.05520.PDF 17 JAN 2018 MATHILDE CARON, PIOTR BOJANOWSKI, ARMAND JOULIN, MATTHIJS DOUZE  画像を教師なしでクラスタリングする手法  ニューラルネットワークを使って特徴抽出からその特徴のクラ スタリングまでをEnd to Endで行う  Inria Aerial Image Labeling DatasetでのIoU 0.686(ヨー ロッパとアメリカの都市居住地の航空写真180枚で構成され、 建物クラスではなく建物としてラベル付けされたデータ) どんなもの? どうやって有効だと検証した? 次に読むべき論文は? 議論はある? 先行研究と比べて何がすごい? 技術の手法の肝は?  正解ラベルのデータを用意しなくてよい。(教師データにアノ テーションしなくてよい。)  まだ精度がでない、っぽい。  画像を一様分布に従ってサンプリングしないと、どの画像も同じ クラスタに分けてしまうことがある。  https://www.slideshare.net/ARISEanalytics/deep- clustering-for-unsupervised-learning-of-visual-features  http://pesuchin.hatenablog.com/entry/2018/12/18/09215 0  http://pesuchin.hatenablog.com/entry/2018/12/18/09215 0