Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

関西CVPRML勉強会2018 岡本大和 Unsupervised Feature Learning Via Non-Parametric Instance-Level Discrimination

515 views

Published on

関西CVPRML勉強会2018の発表資料です。内容はCVPR2018の論文読み回となります。解説論文『Unsupervised Featurelearning Via Non-Parametric Instance-Level Discrimination』

【キーワード】
・Unsupervised Learning
・Feature Learning
・Non-Parametric Learning
・Self-Supervised Learning

Published in: Technology
  • P.25の記載は解釈違いでした。「均等にバラけているから扱いやすい」ではなく、「均等にバラける=区別できるようにするための特徴抽出が途中のConv層で行われている」でした。
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

関西CVPRML勉強会2018 岡本大和 Unsupervised Feature Learning Via Non-Parametric Instance-Level Discrimination

  1. 1. 2018/7/21 岡本大和 関西CVPRML勉強会 2018 Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination 関西CV・PRML勉強会 https://goo.gl/pMu9A2 1
  2. 2. はじめに 2関西CV・PRML勉強会 https://goo.gl/pMu9A2
  3. 3. 自己紹介 岡本大和(おかもとやまと)  2013 京都大学 情報学研究科 修士課程修了(博士号も欲しいよぅ…)  画像処理やパターン認識の研究に着手  卒業後、オムロンに入社(京都企業!!)  R&D担当、機械学習・IoT・データ分析を扱う(バズワードばかり……) twitter.com/RoadRoller_DESU イラストレーターの友人が 描いてくれた似顔絵キャラ (※お気に入り) 3関西CV・PRML勉強会 https://goo.gl/pMu9A2
  4. 4. 本日はCVPRの論文読み会ですが、 今年はCVPRに参加していません。 (行けばよかった・・・) なのでタイトルから「エイヤァッ!」で選びました。 4関西CV・PRML勉強会 https://goo.gl/pMu9A2 ICML@Stockholmは 参加しました
  5. 5. 今回ピックアップする論文 5関西CV・PRML勉強会 https://goo.gl/pMu9A2
  6. 6. 論文タイトルと著者 Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination Zhirong Wu・・・・UC Berkeley ICSI Yuanjun Xiong・・・Chinese University of Hong Kong Stella X. Yu・・・UC Berkeley ICSI Dahua Lin・・・Chinese University of Hong Kong https://arxiv.org/abs/1805.01978 https://arxiv.org/pdf/1805.01978.pdf ※CVPR 2018 spotlight paper 6関西CV・PRML勉強会 https://goo.gl/pMu9A2
  7. 7. この論文を選んだ理由 Unsupervised Feature Learning に興味があった Why?? どの業界を見てもアノテーションされていないデータばか りが大量にある現状に課題を感じている。 『AI』に大きな期待を抱く人々も「整ったデータがあれば 出来ます」という決まり文句にウンザリしてきているはず。 そこで!! ”そこそこ”の性能をアノテーション無しで達成したい アノテーションに頼り切ることなく、フォローすることで、 センサ屋さんとAI屋さんの良い協力関係を築きたい。 7関西CV・PRML勉強会 https://goo.gl/pMu9A2
  8. 8. 論文を読んだ感想 アイデアはいたってシンプルだった • 1枚1枚の画像を区別できるような特徴量は有用との仮説 • 全画像を超球上に”ばらばら”にプロットできるよう学習 手法の有効性を示すための評価が丁寧にされていた ・※たぶん 8関西CV・PRML勉強会 https://goo.gl/pMu9A2
  9. 9. 本編の前に… Unsupervised Feature Learning の 従来手法 9関西CV・PRML勉強会 https://goo.gl/pMu9A2
  10. 10. Unsupervised Feature Learning 従来手法 Self-supervised-Learning • 観測済みの値を教師信号に見立てた問題を 解かせることで有効な特徴量を見つけ出す。 Adversarial learning • 本物か偽物(生成データ)か見抜く問題を 解かせることで有効な特徴量を見つけ出す。 Exemplar CNN • Augmentしたデータの元データを推測さ せることで、有効な特徴量を見つけ出す。 The split-brain Autoencoder • 入力値の復元問題を解かせることで有効な 特徴量を見つけ出す。 10関西CV・PRML勉強会 https://goo.gl/pMu9A2
  11. 11. Self Supervised Learning • 観測済みの値を教師信号に見立てた問題を解かせることで 有効な特徴量を見つけ出す。 ジグソーパズルのように並び替えた画像を復元させる 画像や時系列の一部分を復元する問題を解かせる 11関西CV・PRML勉強会 https://goo.gl/pMu9A2
  12. 12. Self Supervised Learning • 観測済みの値を教師信号に見立てた問題を解かせることで 有効な特徴量を見つけ出す。 このときの中間層の値を取り出して特徴量として用いる 12関西CV・PRML勉強会 https://goo.gl/pMu9A2
  13. 13. Self Supervised Learning • 観測済みの値を教師信号に見立てた問題を解かせることで 有効な特徴量を見つけ出す。 CVPR2018では別画像を 紛れ込ませる『Jigsaw++』 という手法も提案された。 (なんてイジワルをするんだ…) Boosting Self-Supervised Learning via Knowledge Transfer http://openaccess.thecvf.com/content_cvpr_2018/papers/Noro ozi_Boosting_Self-Supervised_Learning_CVPR_2018_paper.pdf 13関西CV・PRML勉強会 https://goo.gl/pMu9A2
  14. 14. Adversarial Networks • 本物か偽物(生成データ)か見抜く問題を解かせることで 有効な特徴量を見つけ出す。https://arxiv.org/pdf/1605.09782.pdf D:discriminator dataとfeatureのセットに 対して本物か偽物か判別する E:encoder 画像から特徴を抽出 G:generator 潜在変数から画像を生成 14関西CV・PRML勉強会 https://goo.gl/pMu9A2
  15. 15. Adversarial Networks • 本物か偽物(生成データ)か見抜く問題を解かせることで 有効な特徴量を見つけ出す。https://arxiv.org/pdf/1605.09782.pdf Encoderによって抽出されるE(x)や、 D(x,E(x))の中間層の値を特徴量として用いる 15関西CV・PRML勉強会 https://goo.gl/pMu9A2
  16. 16. Exemplar CNN • Augmentしたデータの元データを推測させることで、有効 な特徴量を見つけ出す。 https://arxiv.org/pdf/1406.6909.pdf X={x1,x2…xn} {Ti1,Ti2…Tin} {Ti1,Ti2…Tin}を入力して、 元の画像データはX={x1,x2…xn}のどれなのかラベルiを予測 16関西CV・PRML勉強会 https://goo.gl/pMu9A2
  17. 17. Autoencoder • 入力値の復元問題を解かせることで有効な特徴量を見つけ 出す。 https://arxiv.org/pdf/1611.09842.pdf いわずと知れた従来のAutoEncoderに加えて、 要素を分離してそれぞれ復元させるsplit-brain手法もある。 17関西CV・PRML勉強会 https://goo.gl/pMu9A2
  18. 18. 提案手法 Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination 18関西CV・PRML勉強会 https://goo.gl/pMu9A2
  19. 19. 研究のMotivation • 従来の教師あり学習はクラス区別に有効な特徴量を捉える • インスタンスレベルで区別できるよう学習すれば、教師な しでも有効な特徴量を捉えられるのではないか? 従来の特徴量は視覚的に 類似するデータが近くなる。 しかし、例えばleopardと Jaguarは全く別の存在。 これらもしっかり区別でき るような特徴量を捉えられ ないものか?? 19関西CV・PRML勉強会 https://goo.gl/pMu9A2
  20. 20. Instance-level Discrimination • 特徴空間に単位ベクトル V={v1 … vn} を n個だけランダム生成 • n個のデータ X={x1 … xn} をn個の異なるクラスに見立てる • 全ての xi について fi=fθ(xi) が vi に近づくよう学習する • 学習後、V={v1 … vn} を V={fθ(xi) … fθ(xn)} に上書き保存して完了 20関西CV・PRML勉強会 https://goo.gl/pMu9A2
  21. 21. Instance-level Discrimination • 単位ベクトル V={v1 … vn} を n個だけランダム生成 • n個のデータ X={x1 … xn} をn個の異なるクラスに見立てる • 全ての xi について fi=ƒθ(xi) が vi に近づくよう学習する • 学習後、V={v1 … vn} を V={ƒθ(xi) … ƒθ(xn)} に上書き保存して完了 論文では128次元の単位ベクトルとした。 21関西CV・PRML勉強会 https://goo.gl/pMu9A2
  22. 22. Instance-level Discrimination • 単位ベクトル V={v1 … vn} を n個だけランダム生成 • n個のデータ X={x1 … xn} をn個の異なるクラスに見立てる • 全ての xi について fi=ƒθ(xi) が vi に近づくよう学習する • 学習後、V={v1 … vn} を V={ƒθ(xi) … ƒθ(xn)} に上書き保存して完了 論文タイトルの『Instance-level Discrimination』とは ここに由来する。 例えば、10クラスで画像が200枚ずつあった場合は、 1枚ずつの画像を全て異なるクラスだと見立てて、 2000クラス分類として学習する。 22関西CV・PRML勉強会 https://goo.gl/pMu9A2
  23. 23. Instance-level Discrimination • 単位ベクトル V={v1 … vn} を n個だけランダム生成 • n個のデータ X={x1 … xn} をn個の異なるクラスに見立てる • 全ての xi について fi=ƒθ(xi) が vi に近づくよう学習する • 学習後、V={v1 … vn} を V={ƒθ(xi) … ƒθ(xn)} に上書き保存して完了 ・ƒθはパラメータθによって定められるDeepNeuralNetwork ・J(θ)を最小化するよう学習する ※ v=ƒθ(x) vがviに近いほどxがクラスiに属する可能性が高い 23関西CV・PRML勉強会 https://goo.gl/pMu9A2
  24. 24. Instance-level Discrimination • 単位ベクトル V={v1 … vn} を n個だけランダム生成 • n個のデータ X={x1 … xn} をn個の異なるクラスに見立てる • 全ての xi について fi=ƒθ(xi) が vi に近づくよう学習する • 学習後、V={v1 … vn} を V={ƒθ(xi) … ƒθ(xn)} に上書き保存して完了 クラス数がMillionオーダーなので現実的な計算量ではない。 論文ではNCE(noise-contrastive estimation)で 尤度最大化を近似計算することで処理を可能にした。 この論文のキモの1つではあるが、今回の主な興味は計算量の工 夫ではないので、省略。 24関西CV・PRML勉強会 https://goo.gl/pMu9A2
  25. 25. Instance-level Discrimination • 単位ベクトル V={v1 … vn} を n個だけランダム生成 • n個のデータ X={x1 … xn} をn個の異なるクラスに見立てる • 全ての xi について fi=fθ(xi) が vi に近づくよう学習する • 学習後、V={v1 … vn} を V={fθ(xi) … fθ(xn)} に上書き保存して完了 ランダム生成した単位ベクトル V={v1 … vn} が均等にバラけていると仮定すると、 学習により各インスタンスが距離を保って(≒区別しやすい状態で)超球上にプロットされる。 よって、データ xj から抽出した特徴量 fj=fθ(xi) は、kNNやSVMで有用という考え。 25関西CV・PRML勉強会 https://goo.gl/pMu9A2
  26. 26. 評価 26関西CV・PRML勉強会 https://goo.gl/pMu9A2
  27. 27. 評価方針 本論文では、 Unsupervised な Feature Learning の手法を提案 よって評価では、 従来の Unsupervised Feature Learning 手法に対し、 どちらがより良い特徴量を抽出できているのかを比較 27関西CV・PRML勉強会 https://goo.gl/pMu9A2
  28. 28. 評価方針 2つの方針で評価 (1). 抽出した特徴量から Linear-SVM によるクラス分類 (2). 抽出した特徴量から K-NN によるクラス分類 ImageNet (Train) X={x1, x2, … xn} Unsupervised Feature Learning 特徴量抽出関数fθ(x1)を学習 F={fθ(x1), fθ(x2)…} (1). F={fθ(x1), fθ(x2)…}からSVMでクラス境界線を引いてfθ(xtest)をクラス識別 (2). fθ(xtest) から最近傍の F={fθ(x1), fθ(x2)…} が最も多く属するクラスに識別 k=200、距離尺度はコサイン距離 ImageNet (TEST) xtest SVM kNN 認識器構築 クラス識別 fθ(xTEST) 28関西CV・PRML勉強会 https://goo.gl/pMu9A2
  29. 29. 評価結果 29関西CV・PRML勉強会 https://goo.gl/pMu9A2
  30. 30. 評価結果 Baseline手法 ①Self-supervised learning(AlexNetによる実装) ②Adversarial learning(AlexNetによる実装) ③Exemplar CNN(ResNet-101による実装) ④The split-brain Autoencoder(AlexNetによる実装) 30関西CV・PRML勉強会 https://goo.gl/pMu9A2
  31. 31. 評価結果 提案手法 4種類のネットワーク構造で実装 31関西CV・PRML勉強会 https://goo.gl/pMu9A2
  32. 32. 評価結果 SVMによる評価 どの中間層の値をfθ (xi)とするのか、 conv1~conv5のパターンで検証 32関西CV・PRML勉強会 https://goo.gl/pMu9A2
  33. 33. 評価結果 kNNによる評価 BaseLineでは128次元に落とし込んで から同様にコサイン距離を適用。 33関西CV・PRML勉強会 https://goo.gl/pMu9A2
  34. 34. 評価結果 抽出した特徴量 fθ(xi) の次元数 提案手法は恐ろしく小さい 34関西CV・PRML勉強会 https://goo.gl/pMu9A2
  35. 35. 評価結果 State-of-the-Art 達成 35関西CV・PRML勉強会 https://goo.gl/pMu9A2
  36. 36. 識別結果の具体例 左端列:Query画像、 2列目以降:Queryの最近傍画像 36関西CV・PRML勉強会 https://goo.gl/pMu9A2
  37. 37. まとめ 37関西CV・PRML勉強会 https://goo.gl/pMu9A2
  38. 38. まとめ • Unsupervised Feature Learningの手法を提案。 • 各データが超球上にランダムプロットした単位ベクトルに 対応するように学習。 • これによってインスタンスレベルで区別できるような特徴 量の抽出を試みた。 • 得た特徴量をSVMやkNNに用いてSOTA達成。 38関西CV・PRML勉強会 https://goo.gl/pMu9A2
  39. 39. APPENDIX 39関西CV・PRML勉強会 https://goo.gl/pMu9A2
  40. 40. APPENDIX:Detection Detectionタスクに応用した結果、 State-of-the-Artとはならなかったが、良い性能を示した。 40関西CV・PRML勉強会 https://goo.gl/pMu9A2
  41. 41. APPENDIX:特徴量の次元数 提案手法で抽出する特徴量の次元数は128が最適だった 41関西CV・PRML勉強会 https://goo.gl/pMu9A2
  42. 42. APPENDIX:学習データの量 学習データを減らすと性能も著しく低下した 42関西CV・PRML勉強会 https://goo.gl/pMu9A2
  43. 43. APPENDIX:ParametricとNon-Parametric Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination (…よく見るとNon-Parametricと論文タイトルにある) 学習モデルにて v=fθ(x) に対する P(i|v) の算出式で定義を分けている そして、Non-Parametricの方が性能が良かったと報告している Parametric Non-Parametric 43関西CV・PRML勉強会 https://goo.gl/pMu9A2

×