【ECCV 2018】Zero-Shot Deep Domain Adaptation
•
3 likes•349 views
ECCV 2018 サーベイ cvpaper.challenge はコンピュータビジョン分野の今を映し、創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文執筆（・社会実装）に至るまで広く取り組み、あらゆる知識を共有しています。 http://hirokatsukataoka.net/project/cc/index_cvpaperchallenge.html
Recommended
More Related Content
Similar to 【ECCV 2018】Zero-Shot Deep Domain Adaptation
Similar to 【ECCV 2018】Zero-Shot Deep Domain Adaptation (16)
Recently uploaded
Recently uploaded (14)
【ECCV 2018】Zero-Shot Deep Domain Adaptation
- 1. Zero-Shot Deep Domain Adaptation (ECCV 2018 poster) Kuan-Chuan Peng, Ziyan Wu, Jan Ernst 1/ / . 1/ . 1 . 資料作成：井上和樹（早稲田大学） Siemens Corporate Technology, Princeton NJ 08540, USA
- 2. 論文の要点 目的 domain adaptationモデルをtarget domainデータを用いず (zero-shot)に構築 方法 行うタスクのsource domainと、行うタスクとは関係のない {source, target} domainのデータを使用しCNNを学習 domain adaptation with zero-shot ! 実験 ・target domainのclassification ・{source, target} domainのsensor fusion
- 3. 研究背景 domain adaptationとは？ target domainに対するモデルをsource domainのデータも使 用して構築すること(domainの例: RGB, gray-scale, depth) zero-shotとは？ 行うタスクの情報を使用せずにモデルを構築すること (例: 数字識別モデルをラベルなしで、画像のみで構築) sensor fusionとは？ noisyなデータを用いて、{source, target} domainで有効なモ デルを構築
- 4. 研究背景 従来のdomain adaptationの設定 目的: ラベルなどの付加情報が少ないor 一切ないtarget domainのデータに対して行いたいタスクがある 方法: 付加情報を豊富にもつsource domainのデータで学習 従来のdomain adaptationの設定は実用的でない！と主張 理由1: 分野によっては適切なツールではない 理由2: プロダクトの開発には期限がある 理由3: 予算にも限りがある 理由4: データの導入、送出には規制がある 提案している状況設定が応用の面で有用であることを主張
- 5. 提案手法 task relevance(T-R)とtask irrelevance(T-I)データを使用 T-Rと同じドメインのデータをもつT-Iデータを有効に活用 具体例: RGB digits classification トレーニングで必要なデータ T-R (digits) T-I (fashion) target domain (RGB) source domain (gray-scale) (classification ラベルあり) トレーニングで はこのデータを 必要としない！
- 7. 提案手法 Zero-Shot Domain Adaptation(ZDDA)の概要 • step1: T-Iのデータでドメイン間の特徴量を学習 • step2: T-Rをtest dataとは異なるドメインで学習 (domain adaptation) • step3: ノイズを加えて学習(sensor fusion)
- 8. 提案手法 step1 • T-Iのsource domainからtarget domainと同じ特徴量を得られるCNN を学習 • T-Iの両ドメインのデータを使用 • source domain, target domainから同 じ特徴量が得られるようにs1を学習 • tは固定
- 9. 提案手法 step2 • T-Rのsource domainに対する classifierを学習 (domain adaptation) • T-Rのsource domain, T-Iの両ドメイン のデータを使用 • s1を用いてs2を事前学習 • tはstep1同様に固定
- 10. 提案手法 step3 • T-Rの両ドメインに対するjoint classifierを、T-RのSDだけで学習 する • 入力画像をランダムに真っ黒な画 像に変更すること(noiseはこの操 作)でTDに対しても頑健な classifierを作っていく • s3はs2,s1を用いて事前学習。 • s4は固定 • s4はRGBを入力とした時と似た 特徴量を得ることを期待している
- 12. 実験 実験概要 Domain adaptation, Sensor Fusionでの精度を確認
- 13. 実験結果 Domain Adaptation {source, target} onlyとの比較 • source domain → target domain • 全体 / クラスごとの平均値 のaccuracy • ()の数値はword2vecによるdataset間の類似度、T-Iと真に irrelevantであることを定量的に確認 • source only よりも高い精度を達成
- 14. 実験結果 Domain Adaptation 既存手法との比較(MNIST → MINST-M) • 従来の設定でdomain adaptationを行う既存手法と比較 • ZDDA2: step2までの学習を行った提案モデル • 提案手法はトレーニング中にT-Rのtarget domainを使用しな いにも関わらず、既存手法より高いor同等の精度を達成 • 既存手法ではT-Iのデータを使用しないため、完全な比較とは なっていないことに注意 [14] Ganin+ (JMLR 2017), [34] Sener+ (NIPS2016), [20] Haeusser+ (ICCV2017), [33] Saito+ (ICML2017), [7] Bousmails+ (CVPR2017)
- 15. 実験結果 Domain Adaptation ZDDA2, ZDDA3, ベースラインの比較(under scene classification) • ZDDA{2, 3}: step{2, 3}まで学習を行ったモデル, ただしstep3 ではnoiseを加えていないことに注意 • PRGB-D: T-IなRGB-Dデータセット • exp.ID 3,7で同等の精度を達成したため、step3によって T-Rのtarget domain(RGB)の特徴量を得ることができた
- 16. 実験結果 Domain Adaptation ZDDA2, ZDDA3, ベースラインの比較(under scene classification) • 先ほどと同様の設定でK-folding validation(クラス数は10) • GNはGoogleNetの略
- 17. 実験結果 Domain Adaptation 様々なbase network architecture(BNA)との比較 • BNAとしてGoogleNet, AlexNet, SqueezeNet_v1.1を使用 (下の表に記載されているのは平均？特に記載がなかった) • 設定は先ほどと同様、9-folding validationを行った
- 18. 実験結果 Sensor Fusion step3でnoiseを加えたモデルを比較(under scene classification) • テスト時に加えるnoiseの割合ごとの精度を比較 • naive fusion (referenceがなかったが一般常識？)よりも高い 精度を達成 • target domain(RGB)よりもsource domain(depth)の情報の方 がより重要
- 19. まとめ 提案手法 • domain adaptationをzero-shotで学習 • task relevanceのsource domain, task irrelevanceな{source, target} domainの3種類のデータを使用 結果・コントリビューション • domain adaptationをzero-shotの設定で初めて行った研究 • 従来の設定のdomain adaptationと同等以上の精度を達成 • sensor fusionにおいてnaiveな方法よりも高い精度を達成