岡本大和
ICML2019@Long Beach
参加速報(最終日)
はじめに
 本資料はICML’19の様子をお伝えするための資料です
 どこでどんな研究がされているのかメモしたインデック
ス用途を目指しています
 深い理解を希望する方は論文と動画が公式サイトから
公開される(はず)なのでそちらをご覧ください
つまるところ師匠のマネをしたかっただk
ICML2019 開催概要
International Conference on Machine Learning 2019
・Tutorial (6/10)
・Conference Session (6/11~6/13)
・Workshop (6/14) ←ここ
昼食時のキッチンカーの様子、めっちゃくちゃ混んでます
ロブスタータコスおいしかった
Workshopの様子
ゲスト講演やらポスター発表やら盛りだくさん
休憩時間にはポスターを眺められる仕様、楽しい
Domainwise Batch Normalization
for Unsupervised Domain Adaptation
• SourceドメインとTargetドメインに対して別々にパラメタを設けて
Batch-Normをかける
• ドメインごとに白色化を試みる、つまり、分布を重ねようとしているこ
ととイコールなので、DomainAdaptation効果があるのも頷ける
• これ以外にも様々な工夫やLOSSが組み込まれていたので、単体での効
果がどれほどなのか不明(そこを明確にしてほしかったな…)
資料:https://arxiv.org/pdf/1906.03950.pdf
FineGAN: Unsupervised Hierarchical Disentanglement
for Fine-Grained Object Generation and Discovery
• Conditional-GANを階層的にくっつけたような印象
• 前景と背景と領域指定マスクを生成するGeneratorをそれぞれ用意
• Real/Fakeやmutual-info、背景か前景かの敵対学習など、かなり学習
が複雑な様子
• データセットを上手に作らないとうまく学習できないと感じた
資料:https://arxiv.org/pdf/1811.11155.pdf
Understanding Adversarial Robustness
Through Loss Landscape Geometries
• Adversarial augmentationはロバスト性向上に効果的と言われるが、
よく検証したらそうでもなかったという話(ナ、ナンダッテーΩ Ω Ω )
• 正確にはLOSS空間を平滑化する効果はなさそうという結論
• もっと工夫した新しいAdversarial Train手法が必要と主張している
資料:https://cvcops19.cispa.saarland/pdfs/38-understanding-adv-robustness.pdf
Learning to Predict Without Looking Ahead:
World Model Without Forward Prediction
• 人間はあらゆるものを知覚しているわけではないという仮説から、外界
からの刺激を元に外界世界をシミュレートする”World Model”を構築する
• ”World Model”は外界世界の抽象表現を獲得し、潜在空間にて未来状態を
予測し、最適行動選択をする。これをVAEやRNNによって実現していた。
• 確率pで実環境か抽象表現のどちらかを観測するObservational Dropout
を新規提案。
• 直感的な理解としては、抽象表現=自分が想像した環境なので、確率p
で観測される実環境とのGAPを埋めようと勝手に学習してくれる寸法。
 In doing so, we can coerce an agent into learning a world model
to fill in the observation gaps seen during reinforcement learning
without having to explicitly train the world model via teacher forcing.
おまけ
ICML’19のレセプション怪しくね?

ICML2019@Long Beach 参加速報(最終日 Workshop)

  • 1.
  • 2.
    はじめに  本資料はICML’19の様子をお伝えするための資料です  どこでどんな研究がされているのかメモしたインデック ス用途を目指しています 深い理解を希望する方は論文と動画が公式サイトから 公開される(はず)なのでそちらをご覧ください つまるところ師匠のマネをしたかっただk
  • 3.
    ICML2019 開催概要 International Conferenceon Machine Learning 2019 ・Tutorial (6/10) ・Conference Session (6/11~6/13) ・Workshop (6/14) ←ここ 昼食時のキッチンカーの様子、めっちゃくちゃ混んでます ロブスタータコスおいしかった
  • 4.
  • 5.
    Domainwise Batch Normalization forUnsupervised Domain Adaptation • SourceドメインとTargetドメインに対して別々にパラメタを設けて Batch-Normをかける • ドメインごとに白色化を試みる、つまり、分布を重ねようとしているこ ととイコールなので、DomainAdaptation効果があるのも頷ける • これ以外にも様々な工夫やLOSSが組み込まれていたので、単体での効 果がどれほどなのか不明(そこを明確にしてほしかったな…) 資料:https://arxiv.org/pdf/1906.03950.pdf
  • 6.
    FineGAN: Unsupervised HierarchicalDisentanglement for Fine-Grained Object Generation and Discovery • Conditional-GANを階層的にくっつけたような印象 • 前景と背景と領域指定マスクを生成するGeneratorをそれぞれ用意 • Real/Fakeやmutual-info、背景か前景かの敵対学習など、かなり学習 が複雑な様子 • データセットを上手に作らないとうまく学習できないと感じた 資料:https://arxiv.org/pdf/1811.11155.pdf
  • 7.
    Understanding Adversarial Robustness ThroughLoss Landscape Geometries • Adversarial augmentationはロバスト性向上に効果的と言われるが、 よく検証したらそうでもなかったという話(ナ、ナンダッテーΩ Ω Ω ) • 正確にはLOSS空間を平滑化する効果はなさそうという結論 • もっと工夫した新しいAdversarial Train手法が必要と主張している 資料:https://cvcops19.cispa.saarland/pdfs/38-understanding-adv-robustness.pdf
  • 8.
    Learning to PredictWithout Looking Ahead: World Model Without Forward Prediction • 人間はあらゆるものを知覚しているわけではないという仮説から、外界 からの刺激を元に外界世界をシミュレートする”World Model”を構築する • ”World Model”は外界世界の抽象表現を獲得し、潜在空間にて未来状態を 予測し、最適行動選択をする。これをVAEやRNNによって実現していた。 • 確率pで実環境か抽象表現のどちらかを観測するObservational Dropout を新規提案。 • 直感的な理解としては、抽象表現=自分が想像した環境なので、確率p で観測される実環境とのGAPを埋めようと勝手に学習してくれる寸法。  In doing so, we can coerce an agent into learning a world model to fill in the observation gaps seen during reinforcement learning without having to explicitly train the world model via teacher forcing.
  • 9.