Recommended
Recommended
More Related Content
More from ぱんいち すみもと
Recently uploaded
Recently uploaded (20)
ICLR・ICML読み会2021 by パンハウスゼミ
- 2. ⾃⼰紹介 n 名前︓すみもとぱんいち n twitter︓kogepan102 n 研究してた分野︓分布外検知 n ブログ︓https://panhouse.blog/ （⼀週間で飽きる） n 最近の出来事︓単位が⾜りずに留年し、 株式会社パンハウス（https://panhouse.jp/）を設⽴ n 夢︓タワーマンションに住んで朝⽇を浴びつつエスプレッソを飲むこと n ⼀⾔︓発表について質問などあれば随時slido(#762 373)にお願いします 2
- 3. ICLR2021の個⼈的⾯⽩かった論⽂をいくつか紹介します n MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering n Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation n Getting a CLUE: A Method for Explaining Uncertainty Estimates n Long-tail learning via logit adjustment（時間あれば） 3
- 4. 書誌情報１ n 論⽂タイトル︓MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering n ICLR2021のposter n ⼀⾔でいうと︓Deep ClusteringとContrastive Learningを統合した枠組みで最強のクラスタ リング⼿法を提案 4
- 5. 事前知識︓Contrastive Learning n Contrastive Learningは2020くらいから流⾏りだした⾃⼰教師あり学習の⼿法の1つ n オーグメンテーションした元画像の潜在表現(positive sample)は近づけ、別の画像の潜在表現 (negative sample)は遠ざけるように学習することで、ラベルなしで下流タスクが解けるような良い 表現を得ることが⽬的 n SimCLR [Chen+ 2020]・MoCo [He+ 2020] n よく使われるロス関数はinfoNCE[Oood+ 2018] n ※ データセットにクラスターが あることは仮定されてない 5 positive sample positive sample negative sample [Li+ 2020]から引⽤し⼀部改変
- 6. 事前知識︓ Contrastive LearningのMoCo n 提案⼿法はMoCo [He+ 2020]をベースに作られている n MoCoじゃなくてもSimCLRなどのイケてるContrastive Learning系だったらなんでもよかったと思 うが、MoCoはメモリに優しいからだと考えられる 6 メモリ効率 ☓・精度 ○ メモリ効率 ○・精度 ☓ メモリ効率・精度 ○
- 7. 提案⼿法︓contrastive learningにクラスター変数を導⼊する n contrastive learningは各データのクラス情報に関しては考えていない n yはpositive sampleかnegative sampleか n 上式にクラスターを考慮する潜在変数を導⼊する 7 ゲート関数 エキスパート
- 9. 提案⼿法は2つの関数からなる n ゲート関数︓⼊⼒のクラス確率 n gはxの関数 n ソフトマックス関数 n エキスパート関数︓クラスで条件づけたinfoNCE n Φはクラスタータイプごとに決まる関数 n v,fはxの関数 n μはクラスターのプロトタイプ n Zは正規化定数で正確に求められないので近似する n ν(<N)の数を⼤きくすることで正確な正規化定数に近づく 9
- 10. 提案⼿法︓EMアルゴリズムを使って最適化 n Estep︓正確な事後分布p(z|x,y)は求められないので、q(z|x,y)のように近似して求める n Mstep: 対数尤度の下限の最⼤化（ELBO最⼤化）を⾏う n ミニバッチで通常通り勾配法で学習する 10 この部分が 求まらないので近似
- 12. 実験結果 n 教師なしでCIFAR10 の正解率83.4 n MoCo + k-meansに⼤ きく差をつけてSoTA 12
- 13. 書誌情報２ n 論⽂タイトル︓Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation n ICLR2021のポスター n ⼀⾔でいうと︓属性を学習させた回帰モデルを加えてGANを学習することで、⽣成した画 像にDisentangleな属性を付与できる 13
- 14. 結果︓⽣成した画像にDisentangleな属性を付与 n 元画像と同じ画像を⽣成 する潜在変数を⾒つけ、 属性次元に対応する⽅向 に潜在変数を動かす n Baseline[Shen+ 2019]と⽐ べ、元画像のidentityを 保ったまま属性を加える ことができていることが わかる 14
- 15. 提案⼿法︓全体像 n モジュール︓ n Generator・Discriminator︓普通のGANのものと同じ n Regressor︓N個の属性を予測する回帰モデル n Trainable module︓潜在変数で動かす⽅向を学習する n ロス関数︓ n ３つのロス関数を最⼩化する 15 trainable module
- 19. 定性的結果2︓属性をdisentangleして付与する n 先⾏研究はデータバイアスによって、ageを⾜すとメガネをかけてしまう n 提案⼿法は狙った属性のみを付与している 19 [Shen+ 2019][Voynov+ 2020]
- 20. 考察︓なぜ提案⼿法はdisentangleされるのか（お気持ち） n 提案⼿法はデータのマルチラベルな属性を同時に学習している n 例えば夏だが雲はないなどを直接回帰によって学習している（b・c右図） n Baselineは雲があるか雲がないかなど、ある属性について対照的なデータ集合を利⽤し、 1vs1で学習する（b・c 左図） n 潜在変数の動かす⽅向𝑑を𝑧の関数とし、これを学習することで、各データのバイアスを考慮 できる（d右図） 20
- 21. 書誌情報３ n 論⽂タイトル︓Getting a CLUE: A Method for Explaining Uncertainty Estimates n ICLR2021のoral n ⼀⾔でいうと︓BNNなどを利⽤した不確かさの予測から、⼊⼒がなぜ不確かだったのかの⼿ がかりを得る⼿法を提案した 21
- 24. 提案⼿法︓アルゴリズム n ロスが収束するまで以下を繰り返す n step１︓VAEのようなDGMを利⽤し、潜在変数から⼊⼒空間のデータ⽣成 n step２︓BNNで予測し、エントロピーなどの不確かさを計算 n step３︓不確かさが⼩さくなる⽅向に潜在変数を動かす 24
- 26. 書誌情報４ n 論⽂タイトル︓Long-tail learning via logit adjustment n ICLR2021のposter n ⼀⾔でいうと︓統計的に根拠のあるやり⽅でlong-tail learningのフレームワークを統合し、 新たな事後的な重み修正もしくはロス関数の修正を提案する 26
- 27. 事前知識 n クラスが不均衡であるときの評価指標 n クラスごとにエラー率を計算しそれを平均する︓balanced error n → 多数ラベルのエラー率だけを減らせば全体のエラー率を下げられるという問題に対応している n クラスの不均衡問題を解決するために、主に３つのやり⽅がある 1. ⼊⼒を⼯夫する︓over- or under-sampling 2. 出⼒を⼯夫する︓決定境界に関してpost-hocな修正を⾏う 3. モデルの訓練⽅法を⼯夫する︓ロス関数を修正する n → この論⽂では２・３に着⽬する 27
- 28. 関連研究︓出⼒を⼯夫する n 事後重み正規化︓推論のときのみ、ラベル確率で重み付けする n ここでν!はラベル確率 [Kim+ 2019] または ||𝑤!||"[Ye+ 2020] n 問題点︓ n ||𝑤!||"が最適化⼿法に依存する（右図） n ラベル確率で割る場合も問題が発⽣する （後述） 28
- 29. 関連研究︓モデルの訓練⽅法を⼯夫する n 損失修正︓ラベル確率でロス関数のバランスをとる n 下のナイーブなやり⽅は直感的だが、あまり効果はない [Morik+ 1999] n クラスごとにマージンを加える n レアなラベルと他のラベルのギャップを⼤きくする [Cao+ 2019] n マジョリティラベルの影響を⼩さくする [Tan 2020] n 問題点︓Fisher consistencyを保証できない n 上記期待値ロスの最⼩化がbalanced errorの最⼩化をもたらさない 29 ちょっとわかりにくいが、 ソフトマックスクロスエントロピーの 損失関数
- 30. 提案⼿法の⽅針 n ⽬的はbalanced errorの最⼩化 n 上記を満たすのは n balanced クラス確率の定義より、 n 次の出⼒を仮定する n このとき、 n ここから、２つの⽅針が導かれる 1. p(y|x)を推定し、ロジットをpost-hocに修正する 2. ロジットが上式になるようにして、balanced クラス確率を直接推定する 30
- 31. 提案⼿法1︓出⼒を⼯夫する n 温度パラメータを加えてpost-hocに出⼒を調整する n 先⾏研究における単純にラベル確率で割ることの問題点（後述に回した部分） n 出⼒wΦがマイナスのときに、ラベル確率で割ると、珍しいラベルのスコアが逆に⼩さくなってし まう 31 提案⼿法 先⾏研究
- 32. 提案⼿法2︓モデルの訓練⽅法を⼯夫する n balanced error最⼩化のために、直接balanced クラス確率を最⼩化する n 訓練時にクラス確率の分logitを調整し、推論のときは𝑓 !のargmaxを利⽤する n 先⾏研究のロスと異なり提案⼿法のロスを使うことで、balanced errorのfisher consistency は保たれる（証明略） 32