Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[DL輪読会]Learning by Association - A versatile semi-supervised training method for neural networks[CVPR2017]

1,671 views

Published on

2017/6/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Published in: Technology
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

[DL輪読会]Learning by Association - A versatile semi-supervised training method for neural networks[CVPR2017]

  1. 1. Learning by Association A versatile semi-supervised training method for neural networks 東京大学大学院 中山研究室 横田匡史
  2. 2. Semi-Supervised Learning ‣ グラフベース データの類似グラフを作りラベルを伝搬 ‣ 決定境界をデータから遠ざける(擬似データetc) 1.学習したモデルを用いて ラベルなしデータをラベル付け(pseudo-label etc.) 2.または、ラベル付きデータにノイズを入れる(VAT) ‣ 多様体学習 多様体の推定にラベル無しデータ用いる(Tanget Manifold Classifier) ‣ 生成モデル ラベルなしデータを特徴量学習に用いるか 不完全データとして学習に用いる(VAE etc.) →今回のテーマは、”グラフベース”と”決定境界をデータから遠ざける”の中間 (参考: https://www.slideshare.net/beam2d/semisupervised-learning-with-deep-generative-models)
  3. 3. Idea 記憶 イヌ! 人間は、学習サンプルに関連付けて考えることができるので 少数サンプルでも正確に回答できる。 →学習サンプルとラベルなしデータを紐付けながら学習する 事で同じことができないか?
  4. 4. Idea Labeled Unlabeled Labeled 同じクラスの2つのラベル付きデータの間に適切な ラベルなしデータを紐付けられるように学習する。
  5. 5. Overview Unlabeled Label X Label Y walkerが「ラベル付き→ラベルなし→ラベル付き」と遷移させた時 にスタートとゴールのクラスが同じになるように学習させる。この 時のwalkerは類似度から算出される遷移確率に従い行動する。
  6. 6. Method
  7. 7. Method • A: ラベル付きデータ • B: ラベルなしデータ • AiのデータとBjのデータの類似度Mij: 内積 • この類似度Mを元にwalkerの遷移確率を求める
  8. 8. Method • Transaction Probability • Round Trip Probability
  9. 9. Walker Loss 同じクラス間のPathの確率は一様分布に、異なるクラス間のPathの 遷移確率が0にさせる。しかし、これだけだと難しいラベルなしデー タ(Ex. MNISTの1に似た7のラベルなし画像)の遷移確率も0に近づい てしまい、簡単なデータだけが残ってしまう。 (※H: cross entropy)
  10. 10. Visit Loss Unlabeled Label X Label Y ここの微妙なポイントも 有効に活用したい。
  11. 11. Visit Loss Aiから全てのBに対する遷移確率が一様分布にさせる →明らかなデータだけでなく難しいデータも遷移確率 が上がるようにする。 (※H: cross entropy)
  12. 12. Loss Function • は、通常の教師ありで用いる softmax cross entropy。 • 実際にはVisit Lossには正則化の力が大きいので重 みをかけた方が良い結果が得られている(後述)。 Total Loss Function
  13. 13. Experiment
  14. 14. Experiment - 検証項目 ‣ 提案手法を用いて性能が上がるかどうか ‣ 上手くラベルなしデータを関連付けできているか ‣ Domain Adaptation(SVHN→MNIST)への応用 - Dataset ‣ MNIST: (labeled: 100 or 1000 or All, unlabeled: labeledで使ってないデータ) ‣ STL-10: (labeled: 5k, unlabeled: 100k) ‣ SVHN: (labeled: 0 or 1000 or 2000 or All, unlabeled: labeledで使ってないデータ) ✓ 訓練用データの中のラベル付きデータを一部だけ使い、残りはラベル無しとし て学習を行う。
  15. 15. Setting • Batch Size: 100 • Optimizer: Adam • 出力層以外の活性化関数: elu • 正則化項: L2 norm (重み:10-4)
  16. 16. MNIST Result
  17. 17. 遷移確率の変化(MNIST) 学習前 学習後
  18. 18. MNIST エラー分析 筆者らの主張では、ラベル付きデータにない特徴がテストに存 在したため(Ex. 4の上が閉じていて9に似ている)間違えてしまっ ている。 全ラベルデータ テストデータの 間違えた部分 テストデータの Confusion Matrix
  19. 19. SLT-10 学習データにないクラスのデータを入力しても、比較 的近いラベルなしデータの関連付けができている。
  20. 20. SVHN Result 少ないサンプルにおいては、先行研究よりかは精度良い。
  21. 21. SVHN ラベルなしデータの効果検証 ラベルなしデータが多くなるにつれて、精度は良 くなっている。
  22. 22. Visit Lossの効果検証 Labeled Data Size: 1000 Visit Lossが大きすぎるとモデルへの正則化が強すぎて、上 手く学習できない。データのバリアンスに応じて重みを調整 すべき。(Ex. labeledとunlabeledが似ていない場合、Visit Lossは小さくする。)
  23. 23. Domain Adaptation DA: Domain-Adversarial Training of Neural Network[2016 Ganin et. al.] DS: Domain separation networks [2016 Bousmalis et. al.] 教師あり 学習 教師あり 学習 Domain Adaptation
  24. 24. まとめ • ラベルなしデータとラベルありデータに関連付ける ように学習する。 • ラベル付きデータが少なくても、比較的上手く学習 ができる。 • Visit Lossは、データのバリアンスを見て設定する 。 • Domain Adaptationに応用しても上手くいった

×