SlideShare a Scribd company logo

ICCV2019 report

Tatsuya Shirakawa
Tatsuya Shirakawa
Tatsuya ShirakawaResearcher, Deep Learning - ABEJA, Inc. at ABEJA, Inc.

ICCV2019読み会@ABEJAでの講演資料です。 https://abeja-innovation-meetup.connpass.com/event/153181 ICCV2019で興味をもった内容のうち、 - Face Normalization - Internal Learning - Distillation について紹介しています。

ICCV2019 report

1 of 68
Download to read offline
Nov. 14th, 2019
Tatsuya Shirakawa
ICCV2019参加報告
Tatsuya Shirakawa
2
ABEJA, Inc. (Researcher)
- Deep Learning (CV, Graph, NLP, )
- Machine Learning
Github https://github.com/TatsuyaShirakawa
NTT Data Mathematical Systems Inc.
- Mathematical Optimization
- Machine Learning / Deep Learning
Math.
Tech blog http://tech-blog.abeja.asia/
- 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開
- 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介
- 双曲空間でのMachine Learningの最近の進展
- より良い機械学習のためのアノテーションの機械学習
Now
LabsのResearcherの仕事
1. イケててヤバい新規事業の創出
2. 新しい技術や領域にたいするチャレンジ
3. 深い理解にもとづくコアモデル・アルゴリズムの開発
4. 社内外相談役
…
3
最近のお仕事
顔認識エンジンの精度・速度の抜本的改善
4
https://www.slideshare.net/daynap1204/retail-face-analysis-insideout
顔認識の運⽤中に現れる課題を機械学習課題に読み替えて、抽象的かつシンプル
に解けるようにがんばる。
ICCV2019
5http://iccv2019.thecvf.com/files/opening_slides.pdf
以下、スライドは下記から転載
ICCV (International Conference on Computer Vision)
CVPRとならぶCV系トップ会議。隔年開催。今年はソウルのCOEXが会場。
6
地下は⼤型商業施設でおしゃれな本屋もある(売らない本屋?)

Recommended

医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19Tatsuya Shirakawa
 
NeurIPS2021読み会 Fairness in Ranking under Uncertainty
NeurIPS2021読み会 Fairness in Ranking under UncertaintyNeurIPS2021読み会 Fairness in Ranking under Uncertainty
NeurIPS2021読み会 Fairness in Ranking under UncertaintyTatsuya Shirakawa
 
データに内在する構造をみるための埋め込み手法
データに内在する構造をみるための埋め込み手法データに内在する構造をみるための埋め込み手法
データに内在する構造をみるための埋め込み手法Tatsuya Shirakawa
 
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太Preferred Networks
 
2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phrase2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phraseTatsuya Shirakawa
 
ECCV2020 オーラル論文完全読破 (2/2)
ECCV2020 オーラル論文完全読破 (2/2) ECCV2020 オーラル論文完全読破 (2/2)
ECCV2020 オーラル論文完全読破 (2/2) cvpaper. challenge
 
【CVPR 2020 メタサーベイ】Neural Generative Models
【CVPR 2020 メタサーベイ】Neural Generative Models【CVPR 2020 メタサーベイ】Neural Generative Models
【CVPR 2020 メタサーベイ】Neural Generative Modelscvpaper. challenge
 

More Related Content

What's hot

Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...Kazuyuki Miyazawa
 
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習Tatsuya Shirakawa
 
日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝
日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝
日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝Preferred Networks
 
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)cvpaper. challenge
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用Kazuki Fujikawa
 
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔Preferred Networks
 
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~Preferred Networks
 
NIPS2015概要資料
NIPS2015概要資料NIPS2015概要資料
NIPS2015概要資料Shohei Hido
 
ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617Jun Okumura
 
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]DeNA
 
Devil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
Devil is in the Edges: Learning Semantic Boundaries from Noisy AnnotationsDevil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
Devil is in the Edges: Learning Semantic Boundaries from Noisy AnnotationsKazuyuki Miyazawa
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
ECCV2020 Oral論文 完全読破(1/2)
ECCV2020 Oral論文 完全読破(1/2)ECCV2020 Oral論文 完全読破(1/2)
ECCV2020 Oral論文 完全読破(1/2)cvpaper. challenge
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔Preferred Networks
 
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video GenerationDeep Learning JP
 
ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術Shohei Hido
 
R-tech BDGにおける自然言語処理活動
R-tech BDGにおける自然言語処理活動R-tech BDGにおける自然言語処理活動
R-tech BDGにおける自然言語処理活動Recruit Technologies
 

What's hot (20)

Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
 
CVPR 2018 速報
CVPR 2018 速報CVPR 2018 速報
CVPR 2018 速報
 
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
 
日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝
日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝
日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝
 
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
 
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
 
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
 
NIPS2015概要資料
NIPS2015概要資料NIPS2015概要資料
NIPS2015概要資料
 
ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617
 
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
 
SIGGRAPH 2019 Report
SIGGRAPH 2019 ReportSIGGRAPH 2019 Report
SIGGRAPH 2019 Report
 
Devil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
Devil is in the Edges: Learning Semantic Boundaries from Noisy AnnotationsDevil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
Devil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
 
ECCV2020 Oral論文 完全読破(1/2)
ECCV2020 Oral論文 完全読破(1/2)ECCV2020 Oral論文 完全読破(1/2)
ECCV2020 Oral論文 完全読破(1/2)
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
 
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
 
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
 
ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術
 
R-tech BDGにおける自然言語処理活動
R-tech BDGにおける自然言語処理活動R-tech BDGにおける自然言語処理活動
R-tech BDGにおける自然言語処理活動
 

Similar to ICCV2019 report

Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Taiga Nomi
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Daiki Shimada
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...cvpaper. challenge
 
先端技術とメディア表現 第4回レポートまとめ
先端技術とメディア表現 第4回レポートまとめ先端技術とメディア表現 第4回レポートまとめ
先端技術とメディア表現 第4回レポートまとめDigital Nature Group
 
【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2Hirokatsu Kataoka
 
Deep Learningと画像認識   ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識   ~歴史・理論・実践~nlab_utokyo
 
実社会・実環境におけるロボットの機械学習 ver. 2
実社会・実環境におけるロボットの機械学習 ver. 2実社会・実環境におけるロボットの機械学習 ver. 2
実社会・実環境におけるロボットの機械学習 ver. 2Kuniyuki Takahashi
 
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)cvpaper. challenge
 
20160601画像電子学会
20160601画像電子学会20160601画像電子学会
20160601画像電子学会nlab_utokyo
 
GTC 2016 ディープラーニング最新情報
GTC 2016 ディープラーニング最新情報GTC 2016 ディープラーニング最新情報
GTC 2016 ディープラーニング最新情報NVIDIA Japan
 
ICLR2019参加報告後半@テキストアナリティクスシンポジウム
ICLR2019参加報告後半@テキストアナリティクスシンポジウムICLR2019参加報告後半@テキストアナリティクスシンポジウム
ICLR2019参加報告後半@テキストアナリティクスシンポジウムTomoya Mizumoto
 
非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料Takuya Minagawa
 
cvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakicvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakikanejaki
 
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)Akisato Kimura
 
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Preferred Networks
 

Similar to ICCV2019 report (20)

20150414seminar
20150414seminar20150414seminar
20150414seminar
 
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
 
先端技術とメディア表現 第4回レポートまとめ
先端技術とメディア表現 第4回レポートまとめ先端技術とメディア表現 第4回レポートまとめ
先端技術とメディア表現 第4回レポートまとめ
 
【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2
 
20150930
2015093020150930
20150930
 
Deep Learningと画像認識   ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識   ~歴史・理論・実践~
 
実社会・実環境におけるロボットの機械学習 ver. 2
実社会・実環境におけるロボットの機械学習 ver. 2実社会・実環境におけるロボットの機械学習 ver. 2
実社会・実環境におけるロボットの機械学習 ver. 2
 
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
 
20201010 personreid
20201010 personreid20201010 personreid
20201010 personreid
 
ACCV2014参加報告
ACCV2014参加報告ACCV2014参加報告
ACCV2014参加報告
 
20160601画像電子学会
20160601画像電子学会20160601画像電子学会
20160601画像電子学会
 
GTC 2016 ディープラーニング最新情報
GTC 2016 ディープラーニング最新情報GTC 2016 ディープラーニング最新情報
GTC 2016 ディープラーニング最新情報
 
ICLR2019参加報告後半@テキストアナリティクスシンポジウム
ICLR2019参加報告後半@テキストアナリティクスシンポジウムICLR2019参加報告後半@テキストアナリティクスシンポジウム
ICLR2019参加報告後半@テキストアナリティクスシンポジウム
 
非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料
 
cvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakicvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezaki
 
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
 
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
 
Visual slam
Visual slamVisual slam
Visual slam
 

More from Tatsuya Shirakawa

Retail Face Analysis Inside-Out
Retail Face Analysis Inside-OutRetail Face Analysis Inside-Out
Retail Face Analysis Inside-OutTatsuya Shirakawa
 
Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
 Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ... Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...Tatsuya Shirakawa
 
Learning to Compose Domain-Specific Transformations for Data Augmentation
Learning to Compose Domain-Specific Transformations for Data AugmentationLearning to Compose Domain-Specific Transformations for Data Augmentation
Learning to Compose Domain-Specific Transformations for Data AugmentationTatsuya Shirakawa
 
Poincare embeddings for Learning Hierarchical Representations
Poincare embeddings for Learning Hierarchical RepresentationsPoincare embeddings for Learning Hierarchical Representations
Poincare embeddings for Learning Hierarchical RepresentationsTatsuya Shirakawa
 
Improving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive FlowImproving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive FlowTatsuya Shirakawa
 

More from Tatsuya Shirakawa (8)

Retail Face Analysis Inside-Out
Retail Face Analysis Inside-OutRetail Face Analysis Inside-Out
Retail Face Analysis Inside-Out
 
Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
 Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ... Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
 
Hyperbolic Neural Networks
Hyperbolic Neural NetworksHyperbolic Neural Networks
Hyperbolic Neural Networks
 
Learning to Compose Domain-Specific Transformations for Data Augmentation
Learning to Compose Domain-Specific Transformations for Data AugmentationLearning to Compose Domain-Specific Transformations for Data Augmentation
Learning to Compose Domain-Specific Transformations for Data Augmentation
 
Icml2017 overview
Icml2017 overviewIcml2017 overview
Icml2017 overview
 
Poincare embeddings for Learning Hierarchical Representations
Poincare embeddings for Learning Hierarchical RepresentationsPoincare embeddings for Learning Hierarchical Representations
Poincare embeddings for Learning Hierarchical Representations
 
Dynamic filter networks
Dynamic filter networksDynamic filter networks
Dynamic filter networks
 
Improving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive FlowImproving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive Flow
 

ICCV2019 report

  • 1. Nov. 14th, 2019 Tatsuya Shirakawa ICCV2019参加報告
  • 2. Tatsuya Shirakawa 2 ABEJA, Inc. (Researcher) - Deep Learning (CV, Graph, NLP, ) - Machine Learning Github https://github.com/TatsuyaShirakawa NTT Data Mathematical Systems Inc. - Mathematical Optimization - Machine Learning / Deep Learning Math. Tech blog http://tech-blog.abeja.asia/ - 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開 - 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - 双曲空間でのMachine Learningの最近の進展 - より良い機械学習のためのアノテーションの機械学習 Now
  • 3. LabsのResearcherの仕事 1. イケててヤバい新規事業の創出 2. 新しい技術や領域にたいするチャレンジ 3. 深い理解にもとづくコアモデル・アルゴリズムの開発 4. 社内外相談役 … 3
  • 6. ICCV (International Conference on Computer Vision) CVPRとならぶCV系トップ会議。隔年開催。今年はソウルのCOEXが会場。 6 地下は⼤型商業施設でおしゃれな本屋もある(売らない本屋?)
  • 8. 8
  • 9. 9 Numbers of ICCV2019 • 7,501 attendees • 4,303 submissions • 1,075 accepted papers • 56 sponsors • 72 exhibitors • 60 workshops • 12 tutorials
  • 10. 10 Attendance History (32 years of ICCV) 350 417 270 500 250 475 650 696 742 1402 1100 1320 1460 3107 7501 0 1000 2000 3000 4000 5000 6000 7000 8000 1987 1988 1990 1993 1995 1998 1999 2001 2003 2005 2007 2009 2011 2013 2015 2017 2019 × . Growth! × .
  • 11. 11 7,500+ attendees from 59 countries/regions Korea 2964 China 1264 Japan 260 Singapore 87 Taiwan 80 Vietnam 10 Thailand 4 Philippines 3 Malaysia 2 Indonesia 1 Germany 253 UK 185 France 128 Switzerland 103 Spain 54 Netherlands 54 Italy 44 Sweden 31 Belgium 25 Austria 23 Finland 21 Denmark 12 Estonia 7 Ireland 6 Norway 6 Luxembourg 3 Portugal 2 USA 1199 Canada 167 Mexico 2 Australia 77 New Zealand 2 Israel 106 India 72 Saudi Arabia 21 UAE 14 Pakistan 2 Iran 2 Kazakhstan 1 Oman 1 Russia 103 Czech Rep 19 Turkey 12 Slovenia 9 Croatia 8 Poland 8 Hungary 6 Serbia 6 Armenia 5 Greece 5 Belarus 4 Ukraine 4 BiH 1 Cyprus 1 Lithuania 1 Romania 1 Brazil 7 Algeria 1 Ivory Coast 1
  • 12. 12 Thanks to our 56 sponsors and 72 exhibitors! PLATINUM GOLD SILVER NON-PROFIT
  • 13. 13 ICCV Program by the Numbers • Submissions: 4303 • Up 100% from ICCV 2017! • Over 10K authors! • Accepted papers: 1075 • Acceptance rate: 25% • Orals: 200 • Acceptance rate: 4.6% • All short orals, like CVPR 2019
  • 14. 14 Title Keywords of Accepted Papers
  • 15. 15 Countries/Regions of Accepted Papers 0 50 100 150 200 250 300 350 400 China USA Germany Korea UK Canada Australia Switzerland Singapore France Japan Israel India Taiwan Italy UAE Spain Czech SaudiArabia Netherland Finland Brazil Sweden Austria Belgium Russia Iran Slovenia Turkey Ukraine Greece Number of publications per country/region完全に2強… 完全に2強…
  • 17. 17 Best Paper Honorable Mentions Asynchronous Single-Photon 3D Imaging Anant Gupta, Atul Ingle, Mohit Gupta University of Wisconsin-Madison
  • 18. 18 Best Paper Honorable Mentions Specifying Object Attributes and Relations in Interactive Scene Generation Oron Ashual, Lior Wolf Tel-Aviv University
  • 19. 19 Best Student Paper Award PLMP - Point-Line Minimal Problems in Complete Multi-View Visibility Timothy Duff (Georgia Tech), Kathlén Kohn (KTH), Anton Leykin (Georgia Tech), Tomas Pajdla (Czech Technical University in Prague)
  • 20. 20 Best Paper Award (Marr Prize) SinGAN: Learning a Generative Model from a Single Natural Image Tamar Rott Shaham (Technion), Tali Dekel (Google), Tomer Michaeli (Technion)
  • 21. 21 Best Paper Nominations Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation Ruijia Xu, Guanbin Li, Jihan Yang, Liang Lin Deep Hough Voting for 3D Object Detection in Point Clouds Charles R. Qi, Or Litany, Kaiming He, Leonidas Guibas Unsupervised Deep Learning for Structured Shape Matching Jean-Michel Roufosse, Abhishek Sharma, Maks Ovsjanikov Gated2Depth: Real-time Dense Lidar from Gated Images Tobias Gruber, Frank Julca-Aguilar, Mario Bijelic, Felix Heide Local Aggregation for Unsupervised Learning of Visual Embeddings Chengxu Zhuang, Alex Zhai, Daniel Yamins Habitat: A Platform for Embodied AI Research Manolis Savva, Abhishek Kadian, Oleksandr Maksymets, Yili Zhao, Erik Wijmans, Bhavana M Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, Dhruv Batra Robust Change Captioning Dong Huk Park, Trevor Darrell, Anna Rohrbach
  • 22. 22 Helmholtz Prize Building Rome in a Day Sameer Agarwal, Noah Snavely, Ian Simon, Steven M. Seitz, Richard Szeliski Helmholtz Prize Attribute and Simile Classifiers for Face Verification Neeraj Kumar, Alexander C. Berg, Peter N. Belhumeur, Shree K. Nayar Everingham Prize Gérard Medioni for extensive and sustained contributions to CVPR & ICCV conference organization over several decades, and multiple other services to the community. He also introduced the unifying passport registration system for conferences and workshops, and was a co-founder of the Computer Vision Foundation. Everingham Prize Labeled Faces in the Wild (LFW) Erik Learned-Miller, Gary B. Huang, Tamara Berg and team for generating and maintaining the LFW dataset and benchmark, starting from 2007. LFW has helped drive the field towards more uncontrolled and real-world face recognition. Azriel Rosenfeld Lifetime Achievement Award Shimon Ullman Distinguished Researcher Award William T. Freeman Distinguished Researcher Award Shree Nayar There will be short talks by the TC award winners (Shimon/Bill/Shree) at the start of the CVF/PAMI TC meeting in this evening.
  • 23. 個⼈的に感じた研究トレンド(流⾏り/出始め)? • Distillationの技法 • NAS • カメラ/センサーのハードウェア機構 + AI • ⾃動運転をモチベーションとする研究 • Fashion系(GAN) • ⼈系: 顔認識/⼈物認識/⼿のポーズ認識/視線推定… • 3Dモデル/点群 • Scene Graph • Video 23
  • 25. Contents • Robust Face Recognition Models or Face Normalization • Deep Internal Learning • The Art of Distillation 25
  • 26. Contents • Robust Face Recognition Models or Face Normalization • Deep Internal Learning • The Art of Distillation 26
  • 27. Robust Face Recognition Models or Face Normalization 下記、どちらのほうが良いか? A. 良くない品質の顔にたいしても精度良く顔認識可能なよりロバストなモデルを つくる B. 品質の良くない顔画像の品質向上をするモデルをつくって、それで⾼品質化さ れた顔画像にたいして顔認識モデルを適⽤する 27
  • 28. Robust Face Recognition Models or Face Normalization 下記、どちらのほうが良いか? A. 良くない品質の顔にたいしても精度良く顔認識可能なよりロバストなモデルを つくる B. 品質の良くない顔画像の品質向上をするモデルをつくって、それで⾼品質化さ れた顔画像にたいして顔認識モデルを適⽤する 28
  • 29. Robust Face Recognition Models or Face Normalization 下記、どちらのほうが良いか? A. 良くない品質の顔にたいしても精度良く顔認識可能なよりロバストなモデルを つくる B. 品質の良くない顔画像の品質向上をするモデルをつくって、それで⾼品質化さ れた顔画像にたいして顔認識モデルを適⽤する 29 → 次の講演者(中川さん)の発表にご期待ください
  • 30. Robust Face Recognition Models or Face Normalization 下記、どちらのほうが良いか? A. 良くない品質の顔にたいしても精度良く顔認識可能なよりロバストなモデルを つくる B. 品質の良くない顔画像の品質向上をするモデルをつくって、それで⾼品質化さ れた顔画像にたいして顔認識モデルを適⽤する 30
  • 31. (Invited Talk) Tackling Person Identification at a Distance: Pose, Resolution and Gait Workshop and Challenge on Real-World Recognition from Low-Quality Images and Videos (RLQ) 31
  • 32. 32
  • 33. “Disentangled Feature Driven Face Super-Resolution and Recognition in Surveillance” 33 個⼈性を表す特徴 個⼈性以外の表現特徴 zからは個⼈特定できない ちゃんと復元できている Encodeし直してもぶれない ⽣成画像はリアル
  • 36. 36
  • 37. 37
  • 38. Contents • Robust Face Recognition Models or Face Normalization • Deep Internal Learning • The Art of Distillation 38
  • 39. Deep Internal Learning Advances in Image Manipulation workshop and challenges on image and video manipulation 39http://www.vision.ee.ethz.ch/aim19/
  • 40. 40 http://www.weizmann.ac.il/math/irani/research-activities/internal-statistics-natural-images-and-videos Internal Learning Learning from Single Image External Learning Learning from/across Multiple Images ← Why Internal Learning works? • Several similar patches • Recursive structure
  • 41. Blind Super-Resolution Kernel Estimation using an Internal-GAN 下記の区別がつかないようにAdversarial Learningすることで down scaling kernelが未知な状況でも⾼精度な超解像を可能にする。 A. Dist. of patches in the original image B. Dist. of patches in the shrinked image (w/ learnable interp. linear kernel G) 41 https://arxiv.org/abs/1909.06581
  • 42. “Double-DIP”: Unsupervised Image Decomposition via Coupled Deep-Image-Priors (CVPR ’19) 42 画像を互いに直交するようなレイヤーに分解する⽅法。レイヤー間の直交性(Gradientの直交 性)とタスク固有のマスクを両⽴するようにDeep Image Priorを最適化して実現。
  • 43. InGAN: Capturing and Remapping the “DNA” of a Natural Image リサイズされた画像を、パッチの分布が 保存されるようにすることで⽣成。 43http://www.wisdom.weizmann.ac.il/~vision/ingan/
  • 44. SinGAN: Learning a Generative Model from a Single Natural Image ※ not introduced in the talk 44 https://arxiv.org/abs/1905.01164
  • 45. Contents • Robust Face Recognition Models or Face Normalization • Deep Internal Learning • The Art of Distillation 45
  • 47. 本会議に採択されたDistillationをタイトルに含む論⽂ • Distilling Knowledge From a Deep Pose Regressor Network • Distill Knowledge From NRSfM for Weakly Supervised 3D Pose Learning • Learning Lightweight Lane Detection CNNs by Self Attention Distillation • Knowledge Distillation via Route Constrained Optimization • Distillation-Based Training for Multi-Exit Architectures • Similarity-Preserving Knowledge Distillation • UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation • A Comprehensive Overhaul of Feature Distillation • Online Model Distillation for Efficient Video Inference • Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation • On the Efficacy of Knowledge Distillation • Correlation Congruence for Knowledge Distillation • Dynamic Kernel Distillation for Efficient Pose Estimation in Videos • Relation Distillation Networks for Video Object Detection • AWSD: Adaptive Weighted Spatiotemporal Distillation for Video Representation • WSOD2: Learning Bottom-Up and Top-Down Objectness Distillation for Weakly-Supervised Object Detection 47
  • 49. 本会議に採択されたKnowledge Distillation系っぽい 論⽂⼀気読み • Distilling Knowledge From a Deep Pose Regressor Network • Distill Knowledge From NRSfM for Weakly Supervised 3D Pose Learning • Learning Lightweight Lane Detection CNNs by Self Attention Distillation • Knowledge Distillation via Route Constrained Optimization • Distillation-Based Training for Multi-Exit Architectures • Similarity-Preserving Knowledge Distillation • UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation • A Comprehensive Overhaul of Feature Distillation • Online Model Distillation for Efficient Video Inference • Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation • On the Efficacy of Knowledge Distillation • Correlation Congruence for Knowledge Distillation • Dynamic Kernel Distillation for Efficient Pose Estimation in Videos • Relation Distillation Networks for Video Object Detection • AWSD: Adaptive Weighted Spatiotemporal Distillation for Video Representation • WSOD2: Learning Bottom-Up and Top-Down Objectness Distillation for Weakly-Supervised Object Detection 49 後ろ4つは distillation = refining / aggregation くらいの意味合いで使ってそう なので今回はスキップ
  • 51. Learning Lightweight Lane Detection CNNs by Self Attention Distillation 上層のattentionを下層のattentionでmimicできるように学習する self attention distillation (SAD)を提案。軽量で⾼精度な⾞線検知モデルの学習に成功。 51
  • 52. Distillation-Based Training for Multi-Exit Architectures 中間層にも出⼒層をもたせることで、途中離脱を可能にしたネットワークアーキ テクチャにおいて、最終層の出⼒に中間層の出⼒を合わせるように学習すること でより早期に途中離脱しても精度の良いネットワークが得られると提案。 52
  • 53. Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation neural networksの学習に追いて、中間層の出⼒からの予測が最終層からの予測に ⼀致させるように学習(self distillation)させることで、最終層からの予測精度 が向上した。中間層からの出⼒とアンサンブルすることでさらなる精度改善も実 現。 53
  • 55. Distilling Knowledge From a Deep Pose Regressor Network 正確な信号が取りにくい⾃⼰位置認識タスクにおいて、teacher networkのロス をconfidenceにしてstudentを学習するための新たなロス(Attentive Imitation Loss, AIL)と学習法(Attentive Hint Training, AHT)を提案。ちょっとエンジニアリ ング要素強め。 55
  • 56. Knowledge Distillation via Route Constrained Optimization studentの出⼒をteacherの学習最終状態の出⼒に合わせるのではなく、同等の学 習ステップにおけるteacherの出⼒に合わせるようにする(Route Constrained Optimization, RCO)ことで、より良くガイドできるという提案。 56
  • 57. Similarity-Preserving Knowledge Distillation mini-batch中の予測結果間のaffinity matrixがteacher/student間で⼀致するよう に学習をする⼿法(SP)を提案。既存のdistillation⼿法とは独⽴な⼿法なので、組 み合わせて使うこともできるとのこと。バッチサイズが⼩さかったり、顔認識の ようにクラス数が多いタスクにおいてはどうなのか疑問。 57
  • 58. A Comprehensive Overhaul of Feature Distillation distillationする特徴量を取るべき位置や、distillationの際、teacher/studentの特 徴量をどう変換すべきかについての検討。ReLUが使われているときのハックのよ うな⼯夫も紹介されている。基本的にはactivationがかかる前の特徴を distillationにかけるのがよく、その際、変換によって情報を⽋損させないことが 重要。classification, object detection, semantic segmentationなどでteacherの 性能を凌駕するstudentの性能を実現。 58
  • 59. On the Efficacy of Knowledge Distillation student modelがteacher modelをmimicできるほど強⼒でない場合、teacher modelへのdistillationを途中で打ち切ること(Early Stopping)が有効であるこ とを実験的に⽰した。 59
  • 60. Correlation Congruence for Knowledge Distillation バッチ内の特徴量間のカーネル関数値をteacher/studentで⼀致させるロス (correlation congruence knowledge distillation, CCKD)を加えることで、 distillationによるさらなる精度改善ができることを⽰唆。 60
  • 62. Distill Knowledge from NRSfM for Weakly Supervised 3D Pose Learning 2D画像のみからの3Dのpose estimationを学習する場合のdepthの教師値を、3D の⾮剛体のSfM (Non-Rigid Structure from Motion)モデルから得られた推定値で 代⽤して学習する。NRSfMモデルのdepthの推定値は必ずしも正確ではないの で、NRSfMモデルの学習時のロスの値を加味したようなフレームワークを提案。 62
  • 63. UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation ⼈⼯画像/⾃然画像に対するdepth, segmentation, normal predictionのそれぞれ のタスクのネットワーク出⼒が、それぞれ他の2つのタスクのネットワーク出⼒ と⼀致するようにしつつ、それぞれの近似誤差が⾃然画像/⼈⼯画像間でなるべく 異ならないように学習することで、タスク間の転移学習とドメイン適応を両⽴。 63
  • 64. Online Model Distillation for Efficient Video Inference 特定のvideo streamの各フレームを⾼速・⾼精度にsegmentationできる軽量ネッ トワークを、推論の重たいteacherネットワークをなるべく起動させずにしつつオ ンラインにdistillationさせる⽅法の提案。studentの出⼒がteacherの出⼒と接近 するまではteacherを起動し、その後は、出⼒の精度(IoU)に応じて、次回起動 までのタイミングを2倍/0.5倍などするヒューリスティック。 64
  • 65. ICCV2019 Distillation論⽂まとめ Self-Distillation系 • Distilling Knowledge From a Deep Pose Regressor Network • Learning Lightweight Lane Detection CNNs by Self Attention Distillation • Distillation-Based Training for Multi-Exit Architecture • Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation Distillationの仕⽅の改善 • Knowledge Distillation via Route Constrained Optimization • Similarity-Preserving Knowledge Distillation • A Comprehensive Overhaul of Feature Distillation • On the Efficacy of Knowledge Distillation • Correlation Congruence for Knowledge Distillation その他 • Distill Knowledge From NRSfM for Weakly Supervised 3D Pose Learning • UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation • Online Model Distillation for Efficient Video Inference 65