Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ICCV2019 report

3,196 views

Published on

ICCV2019読み会@ABEJAでの講演資料です。
https://abeja-innovation-meetup.connpass.com/event/153181

ICCV2019で興味をもった内容のうち、
- Face Normalization
- Internal Learning
- Distillation
について紹介しています。

Published in: Technology
  • Discover How Thousands of Men and Women Worldwide Have Already Used The Reverse Diabetes Today™ System To Lower Blood Sugar To Normal And Safely Reverse Their Type 2 Diabetes Without Drugs or Insulin. ♥♥♥ https://bit.ly/2swQ6OO
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Paid To Write? Earn up to $200/day on with simple writing jobs. ♥♥♥ http://ishbv.com/easywriter/pdf
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

ICCV2019 report

  1. 1. Nov. 14th, 2019 Tatsuya Shirakawa ICCV2019参加報告
  2. 2. Tatsuya Shirakawa 2 ABEJA, Inc. (Researcher) - Deep Learning (CV, Graph, NLP, ) - Machine Learning Github https://github.com/TatsuyaShirakawa NTT Data Mathematical Systems Inc. - Mathematical Optimization - Machine Learning / Deep Learning Math. Tech blog http://tech-blog.abeja.asia/ - 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開 - 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - 双曲空間でのMachine Learningの最近の進展 - より良い機械学習のためのアノテーションの機械学習 Now
  3. 3. LabsのResearcherの仕事 1. イケててヤバい新規事業の創出 2. 新しい技術や領域にたいするチャレンジ 3. 深い理解にもとづくコアモデル・アルゴリズムの開発 4. 社内外相談役 … 3
  4. 4. 最近のお仕事 顔認識エンジンの精度・速度の抜本的改善 4 https://www.slideshare.net/daynap1204/retail-face-analysis-insideout 顔認識の運⽤中に現れる課題を機械学習課題に読み替えて、抽象的かつシンプル に解けるようにがんばる。
  5. 5. ICCV2019 5http://iccv2019.thecvf.com/files/opening_slides.pdf 以下、スライドは下記から転載
  6. 6. ICCV (International Conference on Computer Vision) CVPRとならぶCV系トップ会議。隔年開催。今年はソウルのCOEXが会場。 6 地下は⼤型商業施設でおしゃれな本屋もある(売らない本屋?)
  7. 7. Schedule 7http://iccv2019.thecvf.com/program/overview Double parallel Max 19 parallel Max 3 parallel
  8. 8. 8
  9. 9. 9 Numbers of ICCV2019 • 7,501 attendees • 4,303 submissions • 1,075 accepted papers • 56 sponsors • 72 exhibitors • 60 workshops • 12 tutorials
  10. 10. 10 Attendance History (32 years of ICCV) 350 417 270 500 250 475 650 696 742 1402 1100 1320 1460 3107 7501 0 1000 2000 3000 4000 5000 6000 7000 8000 1987 1988 1990 1993 1995 1998 1999 2001 2003 2005 2007 2009 2011 2013 2015 2017 2019 × . Growth! × .
  11. 11. 11 7,500+ attendees from 59 countries/regions Korea 2964 China 1264 Japan 260 Singapore 87 Taiwan 80 Vietnam 10 Thailand 4 Philippines 3 Malaysia 2 Indonesia 1 Germany 253 UK 185 France 128 Switzerland 103 Spain 54 Netherlands 54 Italy 44 Sweden 31 Belgium 25 Austria 23 Finland 21 Denmark 12 Estonia 7 Ireland 6 Norway 6 Luxembourg 3 Portugal 2 USA 1199 Canada 167 Mexico 2 Australia 77 New Zealand 2 Israel 106 India 72 Saudi Arabia 21 UAE 14 Pakistan 2 Iran 2 Kazakhstan 1 Oman 1 Russia 103 Czech Rep 19 Turkey 12 Slovenia 9 Croatia 8 Poland 8 Hungary 6 Serbia 6 Armenia 5 Greece 5 Belarus 4 Ukraine 4 BiH 1 Cyprus 1 Lithuania 1 Romania 1 Brazil 7 Algeria 1 Ivory Coast 1
  12. 12. 12 Thanks to our 56 sponsors and 72 exhibitors! PLATINUM GOLD SILVER NON-PROFIT
  13. 13. 13 ICCV Program by the Numbers • Submissions: 4303 • Up 100% from ICCV 2017! • Over 10K authors! • Accepted papers: 1075 • Acceptance rate: 25% • Orals: 200 • Acceptance rate: 4.6% • All short orals, like CVPR 2019
  14. 14. 14 Title Keywords of Accepted Papers
  15. 15. 15 Countries/Regions of Accepted Papers 0 50 100 150 200 250 300 350 400 China USA Germany Korea UK Canada Australia Switzerland Singapore France Japan Israel India Taiwan Italy UAE Spain Czech SaudiArabia Netherland Finland Brazil Sweden Austria Belgium Russia Iran Slovenia Turkey Ukraine Greece Number of publications per country/region完全に2強… 完全に2強…
  16. 16. Awards 16
  17. 17. 17 Best Paper Honorable Mentions Asynchronous Single-Photon 3D Imaging Anant Gupta, Atul Ingle, Mohit Gupta University of Wisconsin-Madison
  18. 18. 18 Best Paper Honorable Mentions Specifying Object Attributes and Relations in Interactive Scene Generation Oron Ashual, Lior Wolf Tel-Aviv University
  19. 19. 19 Best Student Paper Award PLMP - Point-Line Minimal Problems in Complete Multi-View Visibility Timothy Duff (Georgia Tech), Kathlén Kohn (KTH), Anton Leykin (Georgia Tech), Tomas Pajdla (Czech Technical University in Prague)
  20. 20. 20 Best Paper Award (Marr Prize) SinGAN: Learning a Generative Model from a Single Natural Image Tamar Rott Shaham (Technion), Tali Dekel (Google), Tomer Michaeli (Technion)
  21. 21. 21 Best Paper Nominations Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation Ruijia Xu, Guanbin Li, Jihan Yang, Liang Lin Deep Hough Voting for 3D Object Detection in Point Clouds Charles R. Qi, Or Litany, Kaiming He, Leonidas Guibas Unsupervised Deep Learning for Structured Shape Matching Jean-Michel Roufosse, Abhishek Sharma, Maks Ovsjanikov Gated2Depth: Real-time Dense Lidar from Gated Images Tobias Gruber, Frank Julca-Aguilar, Mario Bijelic, Felix Heide Local Aggregation for Unsupervised Learning of Visual Embeddings Chengxu Zhuang, Alex Zhai, Daniel Yamins Habitat: A Platform for Embodied AI Research Manolis Savva, Abhishek Kadian, Oleksandr Maksymets, Yili Zhao, Erik Wijmans, Bhavana M Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, Dhruv Batra Robust Change Captioning Dong Huk Park, Trevor Darrell, Anna Rohrbach
  22. 22. 22 Helmholtz Prize Building Rome in a Day Sameer Agarwal, Noah Snavely, Ian Simon, Steven M. Seitz, Richard Szeliski Helmholtz Prize Attribute and Simile Classifiers for Face Verification Neeraj Kumar, Alexander C. Berg, Peter N. Belhumeur, Shree K. Nayar Everingham Prize Gérard Medioni for extensive and sustained contributions to CVPR & ICCV conference organization over several decades, and multiple other services to the community. He also introduced the unifying passport registration system for conferences and workshops, and was a co-founder of the Computer Vision Foundation. Everingham Prize Labeled Faces in the Wild (LFW) Erik Learned-Miller, Gary B. Huang, Tamara Berg and team for generating and maintaining the LFW dataset and benchmark, starting from 2007. LFW has helped drive the field towards more uncontrolled and real-world face recognition. Azriel Rosenfeld Lifetime Achievement Award Shimon Ullman Distinguished Researcher Award William T. Freeman Distinguished Researcher Award Shree Nayar There will be short talks by the TC award winners (Shimon/Bill/Shree) at the start of the CVF/PAMI TC meeting in this evening.
  23. 23. 個⼈的に感じた研究トレンド(流⾏り/出始め)? • Distillationの技法 • NAS • カメラ/センサーのハードウェア機構 + AI • ⾃動運転をモチベーションとする研究 • Fashion系(GAN) • ⼈系: 顔認識/⼈物認識/⼿のポーズ認識/視線推定… • 3Dモデル/点群 • Scene Graph • Video 23
  24. 24. ICCVで気になったコンテンツを紹介 24
  25. 25. Contents • Robust Face Recognition Models or Face Normalization • Deep Internal Learning • The Art of Distillation 25
  26. 26. Contents • Robust Face Recognition Models or Face Normalization • Deep Internal Learning • The Art of Distillation 26
  27. 27. Robust Face Recognition Models or Face Normalization 下記、どちらのほうが良いか? A. 良くない品質の顔にたいしても精度良く顔認識可能なよりロバストなモデルを つくる B. 品質の良くない顔画像の品質向上をするモデルをつくって、それで⾼品質化さ れた顔画像にたいして顔認識モデルを適⽤する 27
  28. 28. Robust Face Recognition Models or Face Normalization 下記、どちらのほうが良いか? A. 良くない品質の顔にたいしても精度良く顔認識可能なよりロバストなモデルを つくる B. 品質の良くない顔画像の品質向上をするモデルをつくって、それで⾼品質化さ れた顔画像にたいして顔認識モデルを適⽤する 28
  29. 29. Robust Face Recognition Models or Face Normalization 下記、どちらのほうが良いか? A. 良くない品質の顔にたいしても精度良く顔認識可能なよりロバストなモデルを つくる B. 品質の良くない顔画像の品質向上をするモデルをつくって、それで⾼品質化さ れた顔画像にたいして顔認識モデルを適⽤する 29 → 次の講演者(中川さん)の発表にご期待ください
  30. 30. Robust Face Recognition Models or Face Normalization 下記、どちらのほうが良いか? A. 良くない品質の顔にたいしても精度良く顔認識可能なよりロバストなモデルを つくる B. 品質の良くない顔画像の品質向上をするモデルをつくって、それで⾼品質化さ れた顔画像にたいして顔認識モデルを適⽤する 30
  31. 31. (Invited Talk) Tackling Person Identification at a Distance: Pose, Resolution and Gait Workshop and Challenge on Real-World Recognition from Low-Quality Images and Videos (RLQ) 31
  32. 32. 32
  33. 33. “Disentangled Feature Driven Face Super-Resolution and Recognition in Surveillance” 33 個⼈性を表す特徴 個⼈性以外の表現特徴 zからは個⼈特定できない ちゃんと復元できている Encodeし直してもぶれない ⽣成画像はリアル
  34. 34. 34 Normalize
  35. 35. 35 同じタイミングの⾼/低解像度の画像対(paired)の取得は困難なので、 必ずしも同じタイミングではない⾼/低解像度の画像対(unpairedを使う)
  36. 36. 36
  37. 37. 37
  38. 38. Contents • Robust Face Recognition Models or Face Normalization • Deep Internal Learning • The Art of Distillation 38
  39. 39. Deep Internal Learning Advances in Image Manipulation workshop and challenges on image and video manipulation 39http://www.vision.ee.ethz.ch/aim19/
  40. 40. 40 http://www.weizmann.ac.il/math/irani/research-activities/internal-statistics-natural-images-and-videos Internal Learning Learning from Single Image External Learning Learning from/across Multiple Images ← Why Internal Learning works? • Several similar patches • Recursive structure
  41. 41. Blind Super-Resolution Kernel Estimation using an Internal-GAN 下記の区別がつかないようにAdversarial Learningすることで down scaling kernelが未知な状況でも⾼精度な超解像を可能にする。 A. Dist. of patches in the original image B. Dist. of patches in the shrinked image (w/ learnable interp. linear kernel G) 41 https://arxiv.org/abs/1909.06581
  42. 42. “Double-DIP”: Unsupervised Image Decomposition via Coupled Deep-Image-Priors (CVPR ’19) 42 画像を互いに直交するようなレイヤーに分解する⽅法。レイヤー間の直交性(Gradientの直交 性)とタスク固有のマスクを両⽴するようにDeep Image Priorを最適化して実現。
  43. 43. InGAN: Capturing and Remapping the “DNA” of a Natural Image リサイズされた画像を、パッチの分布が 保存されるようにすることで⽣成。 43http://www.wisdom.weizmann.ac.il/~vision/ingan/
  44. 44. SinGAN: Learning a Generative Model from a Single Natural Image ※ not introduced in the talk 44 https://arxiv.org/abs/1905.01164
  45. 45. Contents • Robust Face Recognition Models or Face Normalization • Deep Internal Learning • The Art of Distillation 45
  46. 46. やたらDistillationを冠した論⽂が多かった CV分野は計算量が問題になりやすく、コンパクトなモデルに対する需要が 特に⼤きく、それの効率的な学習法としてのDistillationに注⽬が集まっている? 46
  47. 47. 本会議に採択されたDistillationをタイトルに含む論⽂ • Distilling Knowledge From a Deep Pose Regressor Network • Distill Knowledge From NRSfM for Weakly Supervised 3D Pose Learning • Learning Lightweight Lane Detection CNNs by Self Attention Distillation • Knowledge Distillation via Route Constrained Optimization • Distillation-Based Training for Multi-Exit Architectures • Similarity-Preserving Knowledge Distillation • UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation • A Comprehensive Overhaul of Feature Distillation • Online Model Distillation for Efficient Video Inference • Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation • On the Efficacy of Knowledge Distillation • Correlation Congruence for Knowledge Distillation • Dynamic Kernel Distillation for Efficient Pose Estimation in Videos • Relation Distillation Networks for Video Object Detection • AWSD: Adaptive Weighted Spatiotemporal Distillation for Video Representation • WSOD2: Learning Bottom-Up and Top-Down Objectness Distillation for Weakly-Supervised Object Detection 47
  48. 48. DistillationしたらEfficientNetなのに 顔認識で精度出たらしい…? 48 https://www.slideshare.net/daynap1204/retail-face-analysis-insideout ほんの1ヶ⽉前の⾃分の発表 IQIYI-Lightで2位になったRhapsodyチーム ちょっと修正したEfficientNetをResNet100 をteacherにdistillationしたらしい。
  49. 49. 本会議に採択されたKnowledge Distillation系っぽい 論⽂⼀気読み • Distilling Knowledge From a Deep Pose Regressor Network • Distill Knowledge From NRSfM for Weakly Supervised 3D Pose Learning • Learning Lightweight Lane Detection CNNs by Self Attention Distillation • Knowledge Distillation via Route Constrained Optimization • Distillation-Based Training for Multi-Exit Architectures • Similarity-Preserving Knowledge Distillation • UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation • A Comprehensive Overhaul of Feature Distillation • Online Model Distillation for Efficient Video Inference • Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation • On the Efficacy of Knowledge Distillation • Correlation Congruence for Knowledge Distillation • Dynamic Kernel Distillation for Efficient Pose Estimation in Videos • Relation Distillation Networks for Video Object Detection • AWSD: Adaptive Weighted Spatiotemporal Distillation for Video Representation • WSOD2: Learning Bottom-Up and Top-Down Objectness Distillation for Weakly-Supervised Object Detection 49 後ろ4つは distillation = refining / aggregation くらいの意味合いで使ってそう なので今回はスキップ
  50. 50. Self-Distillation系 50
  51. 51. Learning Lightweight Lane Detection CNNs by Self Attention Distillation 上層のattentionを下層のattentionでmimicできるように学習する self attention distillation (SAD)を提案。軽量で⾼精度な⾞線検知モデルの学習に成功。 51
  52. 52. Distillation-Based Training for Multi-Exit Architectures 中間層にも出⼒層をもたせることで、途中離脱を可能にしたネットワークアーキ テクチャにおいて、最終層の出⼒に中間層の出⼒を合わせるように学習すること でより早期に途中離脱しても精度の良いネットワークが得られると提案。 52
  53. 53. Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation neural networksの学習に追いて、中間層の出⼒からの予測が最終層からの予測に ⼀致させるように学習(self distillation)させることで、最終層からの予測精度 が向上した。中間層からの出⼒とアンサンブルすることでさらなる精度改善も実 現。 53
  54. 54. Distillationの仕⽅の改善 54
  55. 55. Distilling Knowledge From a Deep Pose Regressor Network 正確な信号が取りにくい⾃⼰位置認識タスクにおいて、teacher networkのロス をconfidenceにしてstudentを学習するための新たなロス(Attentive Imitation Loss, AIL)と学習法(Attentive Hint Training, AHT)を提案。ちょっとエンジニアリ ング要素強め。 55
  56. 56. Knowledge Distillation via Route Constrained Optimization studentの出⼒をteacherの学習最終状態の出⼒に合わせるのではなく、同等の学 習ステップにおけるteacherの出⼒に合わせるようにする(Route Constrained Optimization, RCO)ことで、より良くガイドできるという提案。 56
  57. 57. Similarity-Preserving Knowledge Distillation mini-batch中の予測結果間のaffinity matrixがteacher/student間で⼀致するよう に学習をする⼿法(SP)を提案。既存のdistillation⼿法とは独⽴な⼿法なので、組 み合わせて使うこともできるとのこと。バッチサイズが⼩さかったり、顔認識の ようにクラス数が多いタスクにおいてはどうなのか疑問。 57
  58. 58. A Comprehensive Overhaul of Feature Distillation distillationする特徴量を取るべき位置や、distillationの際、teacher/studentの特 徴量をどう変換すべきかについての検討。ReLUが使われているときのハックのよ うな⼯夫も紹介されている。基本的にはactivationがかかる前の特徴を distillationにかけるのがよく、その際、変換によって情報を⽋損させないことが 重要。classification, object detection, semantic segmentationなどでteacherの 性能を凌駕するstudentの性能を実現。 58
  59. 59. On the Efficacy of Knowledge Distillation student modelがteacher modelをmimicできるほど強⼒でない場合、teacher modelへのdistillationを途中で打ち切ること(Early Stopping)が有効であるこ とを実験的に⽰した。 59
  60. 60. Correlation Congruence for Knowledge Distillation バッチ内の特徴量間のカーネル関数値をteacher/studentで⼀致させるロス (correlation congruence knowledge distillation, CCKD)を加えることで、 distillationによるさらなる精度改善ができることを⽰唆。 60
  61. 61. その他 61
  62. 62. Distill Knowledge from NRSfM for Weakly Supervised 3D Pose Learning 2D画像のみからの3Dのpose estimationを学習する場合のdepthの教師値を、3D の⾮剛体のSfM (Non-Rigid Structure from Motion)モデルから得られた推定値で 代⽤して学習する。NRSfMモデルのdepthの推定値は必ずしも正確ではないの で、NRSfMモデルの学習時のロスの値を加味したようなフレームワークを提案。 62
  63. 63. UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation ⼈⼯画像/⾃然画像に対するdepth, segmentation, normal predictionのそれぞれ のタスクのネットワーク出⼒が、それぞれ他の2つのタスクのネットワーク出⼒ と⼀致するようにしつつ、それぞれの近似誤差が⾃然画像/⼈⼯画像間でなるべく 異ならないように学習することで、タスク間の転移学習とドメイン適応を両⽴。 63
  64. 64. Online Model Distillation for Efficient Video Inference 特定のvideo streamの各フレームを⾼速・⾼精度にsegmentationできる軽量ネッ トワークを、推論の重たいteacherネットワークをなるべく起動させずにしつつオ ンラインにdistillationさせる⽅法の提案。studentの出⼒がteacherの出⼒と接近 するまではteacherを起動し、その後は、出⼒の精度(IoU)に応じて、次回起動 までのタイミングを2倍/0.5倍などするヒューリスティック。 64
  65. 65. ICCV2019 Distillation論⽂まとめ Self-Distillation系 • Distilling Knowledge From a Deep Pose Regressor Network • Learning Lightweight Lane Detection CNNs by Self Attention Distillation • Distillation-Based Training for Multi-Exit Architecture • Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation Distillationの仕⽅の改善 • Knowledge Distillation via Route Constrained Optimization • Similarity-Preserving Knowledge Distillation • A Comprehensive Overhaul of Feature Distillation • On the Efficacy of Knowledge Distillation • Correlation Congruence for Knowledge Distillation その他 • Distill Knowledge From NRSfM for Weakly Supervised 3D Pose Learning • UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation • Online Model Distillation for Efficient Video Inference 65
  66. 66. さいごに 66 刺激うけるしアイデア湧くので レベルの⾼い学会へ積極的に参加して どんどん情報交換しましょう!
  67. 67. 67 We are hiring!😋 https://www.wantedly.com/companies/abeja
  68. 68. 68 Annotation Driven AI

×