Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

CVPR2019読み会@関東CV

1,170 views

Published on

1790706 CVPR2019読み会@関東CV

Published in: Technology
  • Slim Down in Just 1 Minute? What if I told you, you've been lied to for nearly all of your life? CLICK HERE TO SEE THE TRUTH ▲▲▲ http://ishbv.com/1minweight/pdf
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • 1 minute a day to keep your weight away! ●●● http://t.cn/A6PnIGtz
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

CVPR2019読み会@関東CV

  1. 1. CVPR2019読み会@関東CV @conta_
  2. 2. Self-introduction Takanori OGATA Co-founder & Head of Research @ABEJA, Inc. twitter: @conta_
  3. 3. CVPR2019
  4. 4. CVPR2019気になった論⽂2+1選
  5. 5. Learning Loss for Active Learning ・Input から直接Lossを予測し、予測 値に応じてActive Learningを⾏うこと で、効率的なアノテーションを可能と する論⽂ • タスク⾮依存な設計のため活⽤幅が 広い ・Classification/Regression/Hybridの パターンで評価し、どちも良い性能を 得ることができた
  6. 6. Active Learning? アクティブ・ラーニングは学修者が能動的に学習に取り 組む学習法の総称である。これにより学習内容を確かに 修得しつつ、座学中⼼の⼀⽅的教授⽅法では⾝につくこ との少なかった21世紀型スキルをはじめとする汎⽤的能 ⼒、ひいては新しい学⼒観に基づくような「⾃らが学ぶ ⼒」が養われることが期待されている。 by Wikipedia https://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%AF%E3%83%86%E3 %82%A3%E3%83%96%E3%83%BB%E3%83%A9%E3%83%BC%E3%83%8 B%E3%83%B3%E3%82%B0
  7. 7. Active Learning (能動学習) • 正解なしデータの中から「これの正解がわかれば性能 が上がるかも」というデータを選ぶ • Oracle(神託 : 正解を教えてくれる何か)にデータを 問い合わせ(query)、得た正解を訓練データに追加する via (Settles 2009) https://www.slideshare.net/shuyo/introduction-to-active-learning-25787487
  8. 8. 何をしたいのか? • 限られたBudgetの中でAnnotationしたい • -> できる限り精度に寄与するデータのみをアノテーションしたい • -> モデルにとって不確かなデータを優先的にアノテーションしたい • -> 不確かさ == Loss を活⽤しよう! 未知のデータからLossを予測する モデルを同時に学習、適⽤すること で効率的なデータ選択⽅法を実現!
  9. 9. Overview ターゲットタスクのモデル ターゲット中間層からLossを予測するモデル
  10. 10. Overview 𝑈" 𝑈#𝑈"$# % K個サンプリング Θ'()*+' Θ,-..
  11. 11. Overview 𝑈" 𝐿# % 𝑈"$# % アノテーション Θ'()*+' Θ,-..
  12. 12. Overview 𝑈" 𝐿# % 𝑈"$# % 学習 Θ'()*+' % Θ,-.. %
  13. 13. Overview 𝑈" 𝐿# % 𝑈"$# % Lossを予測 Θ'()*+' % Θ,-.. %
  14. 14. Overview 𝑈" 𝐿# % 𝑈"$0# 1 Top-Kをサンプリング Θ'()*+' % Θ,-.. % 𝑈# 1
  15. 15. Overview 𝑈" 𝐿# % 𝑈"$0# 1 Θ'()*+' % Θ,-.. % 𝐿# 1 アノテーション
  16. 16. Overview 𝑈" 𝐿# % 𝑈"$0# 1 Θ'()*+' 1 Θ,-.. 1 𝐿# 1 学習
  17. 17. Overview 𝑈" 𝐿# % 𝑈"$0# 1 Θ'()*+' 1 Θ,-.. 1 𝐿# 1 学習Budgetの許す限り頑張る
  18. 18. Loss Prediction Module なるべく⼩さいモデルを⽬指したい&ターゲットと同時に学習 したいのでなるべくSimpleにしたい -> 各中間層から特徴量をもってきてGAPするだけの簡単なモ デルを構築 (Deepなモデルも試したけどそんなに変わらなかった)
  19. 19. Learning Loss • TargetのLossを教師データにすれば良い • 最適化⽅法は? • ⼀般的にMSEを想像するが、それだとうまくいかない • (lossのスケールは学習するごとに変化してしまうのでラフな scaleに対する値を出すようなモデルになってしまう)
  20. 20. compare a pair of samples • 解決策として、Mini-Batch内のsample lossの⼤⼩⽐較問題を 解く • B から B/2のSample pair 𝑥3 = 𝑥5, 𝑥7 を作成 • 𝑥5, 𝑥7それぞれの𝑙𝑜𝑠𝑠に対して、MiniBatch内で下記を計算
  21. 21. compare a pair of samples • 解決策として、Mini-Batch内のsample lossの⼤⼩⽐較問題を 解く • B から B/2のSample pair 𝑥3 = 𝑥5, 𝑥7 を作成 • 𝑥5, 𝑥7それぞれの𝑙𝑜𝑠𝑠に対して、MiniBatch内で下記を計算 真値 予測 マージン
  22. 22. compare a pair of samples つまり、真値と予測の⼤⼩が⼊れ替わっているときにLossが 発⽣するような仕組みになっている 真値 予測 マージン
  23. 23. Overall Loss • ターゲットタスクにPrediction Lossを加えるだけなの で汎⽤的に活⽤できる
  24. 24. Evaluation • Image Classification(Classification) • Object Detection(Classification + Regression) • Pose Estimation(Regression) の3タスクで実験
  25. 25. Image Classification • Dataset: Cifar10 • Model: ResNet-18 • Loss prediction module: • {convi 1, convi 2 | i=2, 3, 4, 5} の特徴量を活⽤ • 5回の実験結果の平均を記載
  26. 26. Image Classification • 既存⼿法を上回る • MSEがワークしていないことも ⽰唆
  27. 27. Object Detection • Dataset: PASCAL VOC 2007 and 2012 • Model: SSD w/ VGG16 • Loss prediction module: • {convi | i=4_3, 7, 8_2, 9_2, 10_2, 11_2} • Classification+ Regression(BBox)のHybrid型での実験
  28. 28. Object Detection • 最初の数回は既存⼿法に劣って いるが、徐々に上回った • Entropy basedな⼿法は Regressionには使えないので、 他の指標を設計しなければなら ない • 提案⼿法はlossを観測するだけ なので、タスクに縛られないの で良い
  29. 29. Human Pose Estimation • Dataset: MPII dataset • Model: Stacked Hourglass Networks • Loss prediction module: • the last feature map of (H,W,C)=(64,64,256) • Percentage of Correct Key-points (PCK)を指標に • 3回の試⾏結果をプロット • MSE Lossを使うのでRegression Task
  30. 30. Human Pose Estimation • さ、最終的には提案⼿法が
  31. 31. 他⼿法とのGT/predの相関⽐較 • 提案⼿法のほうが相関係数が強い
  32. 32. まとめ • Prediction Loss moduleを導⼊し、損失値を不確かさ とみるActive Learningを提案 • タスク⾮依存な設計のため活⽤幅が広い • 簡単なタスクだとワークしてるけど、難しいタスクに なると初期の⽅はあんまりワークしてない
  33. 33. SCOPS: Self-Supervised Co-Part Segmentation • 同じObject Categoryの画像群からマニュアルアノテーション なしに、Class-agnositcなPart Segmentationを実現する研究 • 既存のUnsupervised Landmark detection approachと⽐較し て外観のバリエーションやオクルージョンに対して頑健 • またlandmarkの個数を決められない物体に対しても適⽤可能
  34. 34. モチベーション • 物体を解析する上で、パーツ特徴量は重要 • Parts Segmentationをやるときにマニュアルアノテー ションするのは⾟い。。。 • => 同じクラスの画像群から共起特徴をを⾒つけて⾃動 的にParts Segmentationをできないか?
  35. 35. Related Works [Collins+, ECCV2018] https://www.slideshare.net/takanoriogata1121/unsupe rvised-learning-of-object-landmarks-by-factorized- spatial-embeddings-84198954 [Thewlis+, ICCV2017] Object Concept Discovery Landmark detection
  36. 36. Overview Channel-wise softmaxにより 𝑅 = 𝐹 𝐼; θH ∈ 0, 1 (#M1)×P×Q のpart response mapを作成 (K個のparts map + Background) • Geometric Concentration loss • Equivariance loss • Semantic Consistency Loss の3つのloss + Unsupervised Saliencyを 活⽤ * ArchitectureはDeepLab-V2+ResNet50
  37. 37. * 他の論⽂だと、Landmark同⼠が離れるようなロス設計をしているけど、今回はそういうのは⼊れてない Geometric Concentration Loss • Parts CenterにResponseが集中するようなMapになるような Lossの定義 𝑘: 𝑝𝑎𝑟𝑡𝑠 𝑐ℎ𝑎𝑛𝑛𝑒𝑙 𝑢, 𝑣: 座標 𝑐^ _: 𝑝𝑎𝑟𝑡𝑠 𝑘, 𝑢軸における中⼼座標 𝑤ℎ𝑒𝑟𝑒 𝑧_ = b ^,c 𝑅(𝑘, 𝑢, 𝑣)
  38. 38. Equivariance Loss • AppearanceとPoseに対して頑健に なるようなLossの提唱 • 特徴量に変換をかけたResponse Mapと、元画像に変換をかけた Response Mapを⽐較 𝑇.: random spatial transform To: 𝑎𝑝𝑝𝑒𝑎𝑟𝑎𝑛𝑐𝑒 𝑝𝑒𝑟𝑡𝑢𝑟𝑏𝑎𝑡𝑖𝑜𝑛 Rs: 𝐼s = 𝑇. 𝑇( 𝐼 の𝑅𝑒𝑠𝑝𝑜𝑛𝑠𝑒𝑀𝑎𝑝
  39. 39. Equivariance Loss Transformとしてscale/rotation/shiftingを利⽤ Parts Segmentationに対するLoss Parts Centerに対するLoss
  40. 40. Semantic Consistency Loss • ⼈⼯的に作られた変換だけでは、異なるインスタンス間同⼠で⼀貫性を保 つのは難しい • -> 異なるインスタンス同⼠で作⽤するLossを設計する必要がある Pretraind-modelの特徴量を活⽤して、異なる部分セグメントに対応する与 えられた分類特徴において代表的な特徴クラスタを⾒つけることができる のでは? (画像の特徴量がパーツ特徴量の和になるように学習させる) [Collins+, ECCV2018]
  41. 41. Semantic Consistency Loss • 2つのLoss(Semantic Consistency/Orthogonal Constraint)と Saliencyの活⽤で構成される • Pretrained Modelから抽出した特徴を、 GlobalなPartsごとの和として表すような ベクトルを学習させたい
  42. 42. Semantic Consistency Loss 𝑉 ∈ 𝑅v × P × Q: Pretrained Modelの特徴量 𝑤_ ∈ 𝑅v, 𝑘 ∈ 1, 2, … , 𝐾 ∶ 𝑝𝑎𝑟𝑡 𝑏𝑎𝑠𝑖𝑠 𝑣𝑒𝑐𝑡𝑜𝑟𝑠 ResponseMap(scalar) * wがV(u, v)と同じにな るように学習 Vとw_kが打ち消し合わないように、どちらに もReLUを適⽤することで⾮負になるようにす る。(先⾏研究はNMFを使っている)
  43. 43. Orthonormal Constraint パーツ同⼠の特徴が被らないように、 Parts basis vectorが直⾏するように学習 させる
  44. 44. Saliency Constraint • データが少ない or Kが⼤きいと同じような背景に反 応しがち • -> Saliency detection method(Zhu+, CVPR2014)を 活⽤することで V が背景に反応しないようにする
  45. 45. Experiments • CelebA , AFLW (human faces), CUB(birds),PASCALで実験 • VGG19から特徴を抽出(V) 既存⼿法を上回り、各Lossの有効性を検証
  46. 46. Visual results on CelebA face images
  47. 47. Visual results on CUB/PASCAL VOC
  48. 48. まとめ • 同じObject Categoryの画像群からマニュアルアノテーションな しに、Class-agnositcなPart Segmentation⼿法を提案 • 既存⼿法と⽐べてスケーラブル(DFFは全データに対してNMF しないといけないけど、提案⼿法はSGD使える)であり、複数 Lossの併⽤による⾼精度化が望める
  49. 49. A General and Adaptive Robust Loss Function • おれがかんがえたさいきょーのLoss関数の提案
  50. 50. これ
  51. 51. Variational Autoencoders
  52. 52. Unsupervised Monocular Depth Estimation
  53. 53. We are hiring! https://www.wantedly.com/companies/abeja Reseacher / ML Engineer・インターン・アルバイト募集中 懇親会でお声がけください!

×