Downloaded 56 times
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]ドメイン転移と不変表現に関するサーベイ](https://cdn.slidesharecdn.com/ss_thumbnails/20190614iwasawa-190614005939-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Understanding Black-box Predictions via Influence Functions](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacksinffunc-170822055634-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...](https://cdn.slidesharecdn.com/ss_thumbnails/dl20220318dlfin-220322065433-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...](https://cdn.slidesharecdn.com/ss_thumbnails/wgan-1-170224021826-thumbnail.jpg?width=640&height=640&fit=bounds)
![[全脳アーキテクチャ若手の会45回カジュアルトーク]敵対的サンプル](https://cdn.slidesharecdn.com/ss_thumbnails/20191129ltadversarialexamplefukuchiv2-191130064242-thumbnail.jpg?width=640&height=640&fit=bounds)
![[NeurIPS2018論文読み会] Adversarial vulnerability for any classifier](https://cdn.slidesharecdn.com/ss_thumbnails/neurips2018yomikai-181221060712-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)](https://cdn.slidesharecdn.com/ss_thumbnails/dliwasawagansurvey-161220014753-thumbnail.jpg?width=640&height=640&fit=bounds)
機械学習の未解決課題
- 1.
- 2. 2 目録 ◼ 敵対的事例（ AdversarialExample ） ◼ 汎用性、再現性 ◼ ブラックボックス ◼ バイアス ◼ フェイクニュース ◼ まとめ
- 3. 3 目録 ◼ 敵対的事例（ AdversarialExample ） ◼ 汎用性、再現性 ◼ ブラックボックス ◼ バイアス ◼ フェイクニュース ◼ まとめ
- 4.
- 5.
- 6.
- 7. 7 ◼ 敵対的事例（攻撃）とそれを防ぐロバストな学習（防御）の戦い • 防御法が提案されても、後にそれを破る攻撃法が提案される流れが多い •コンペ形式で攻撃と防御を競う（リンク） • ML実応用に向けて理論的保証をつける研究が盛んに ◼ ニューラルネットは何を見て認識しているのか？の解明 • CNNは形状ではなくテクスチャを見て認識してる（解説） • 逆にロバストな識別機は人が見ているような低周波成分に着目している（論文） • Adversarial Exampleはバグではなく、CNNにとっては意味ある特徴（解説） 本分野のトレンド CNNは形状ではなく テクスチャを見て認識してる ロバストなモデルのSaliency Mapは 低周波成分に着目している
- 8. 8 目録 ◼ 敵対的事例（ AdversarialExample ） ◼ 汎用性、再現性 ◼ ブラックボックス ◼ バイアス ◼ フェイクニュース
- 9. 9 強化学習の活用先 ゲーム スマホゲーム(DeNA) Dota2(OpenAI) ロボット制御 電力削減 データセンター冷却(Google DeepMind) 様々な分野に活用が期待されている技術ですが その学習の再現性については課題が指摘されています モデル構造の設計 NASNetAutoML Vision(Google) Dactyl (OpenAI)
- 10. 10 強化学習における再現性課題（Random Seed） NeurIPS2018招待講演 「Reproducible, Reusable,and Robust Reinforcement Learning」より ✓ Random Seedを変えただけで性能が大きく変わる
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17. 17 GANとは？ 参考：はじめてのGAN 2つのネットワークを競わせて学習することで 本物そっくりなデータを出力する生成モデルを作ります GAN： Generative AdversarialNetwork よく贋作師とそれを見破る鑑定人で例えられます リアルデータ Generator Dが見抜けないような データを生成する Discriminator Gの生成データと リアルデータとを区別する
- 18. 18 学習の安定化を阻む課題：Mode Collapse Mode Collapse（解説） DeepLearningの学習の中で、GAN等で主に問題となる数種類の結果のみを 出力するようになってしまう問題のこと. GとDが拮抗して互いに学習することで品質が向上していくが、 逆に片方だけが強くなるとそればかりを生成して学習が進まなくなってしまう （ちょうどよいライバル関係でないと、互いの成長が止まる的なイメージ） いらすとや 画像生成 Twitter画像検索 アニメ画像からラーメン二郎まで 色んな生成画像を見ることができます
- 19. 19 学習を安定化させるための提案（ノウハウ） GANを学習させる際の14のテクニック 1. 入力を正規化 2. GのLoss関数を修正する 3.Zはガウス分布から 4. BatchNormalization 5. 勾配がスパースになるものは避ける 6. DのOutputの正解ラベルには、ノイジーなラベルを使う 7. DCGANやハイブリッドモデル 8. 強化学習における安定性のテクニックを使う 9. 最適化手法はAdamを使う 10.学習がうまく進んでいるのかを確認する 11.DとGの学習を統計的に制御しない 12.画像データにラベルがついているのであれば、使う 13.InputやLayerにノイズを入れる 14.Gに学習、テストの両段階において、Dropoutを入れる 何となく必要な気がするものから、謎（闇）のテクニックまで満載
- 20. 20 安定に学習できるアルゴリズムは何か？ Are GANs CreatedEqual? A Large-Scale Study ◼ 論文の主張 • 色んなモデルが提案されているが、どのモデルもパラメータに対してセンシ ティブにスコアが変動している⇒どれも大差ないという結論 • 論文中に提示されたパラメータが比較的良いスコアを示しているのは事実だ が、安定性はどのモデルでも弱い（他の生成モデルVAEの安定感が際立つ） 真に安定な学習方法は未だに明らかになっていない ⇒ここが解決すれば、様々な分野に展開される可能性を秘めた技術
- 21. 21 目録 ◼ 敵対的事例（ AdversarialExample ） ◼ 汎用性、再現性 ◼ ブラックボックス ◼ バイアス ◼ フェイクニュース ◼ まとめ
- 22.
- 23.
- 24.
- 25. 25 目録 ◼ 敵対的事例（ AdversarialExample ） ◼ 汎用性、再現性 ◼ ブラックボックス ◼ バイアス ◼ フェイクニュース ◼ まとめ
- 26. 26 バイアス課題に関する代表事例１ ◼ Microsoftの会話Bot 「Tay」（解説） ユーザーとの会話から学習する 新しい会話Botをリリース ↓ 悪意あるユーザーから 人種差別や性差別、暴力表現などを学習し 不適切発言を連発 ↓ 開始16時間でサービス停止に Hitlerwas right I hate the jews (ヒトラーは正しかった。ユダヤ人は大嫌い)r ◼ アマゾンの人材採用AI（解説） 採用希望者の願書（履歴書など）をもとに 自社に適した人材を選びだす ↓ 女性の評価を低く見積もる傾向が発覚 （IT系は男性が多く不均衡だからと見解が示されるが、 過去にそういったバイアスがあったからでは？ という専門家の意見も挙がっている）
- 27.
- 28.
- 29.
- 30. 30 公平性（Fareness）の重要性 ◼ Griggs VSDuke Power Co.の裁判（1971結審） • 1955年、デューク・エナジー社（米国の電力会社）が昇進に高校学位 もしくは特定の資格保持を必須要件に • 上記要件が、人種に紐づくproxyになっていた • 高卒率： 34%（白人） 12%（黒人）（1960年次） • 資格保持者： 58%（白人） 6%（黒人） • 裁判結果「職業でのパフォーマンスに明確な関係のない資格や学 位」は実際の差別意図があるかないかに関わらず無効 このような事例を受けて機械学習が与える 社会への影響が議論されています 米雇用機会均等委員会（EEOC） “雇用・昇進上の決定が特定のグループに 不利になるようになってはいけない”
- 31. 31 どういった対策が検討されているか？ Eの特徴量から 性別を見抜く ◼ 学習データからバイアスを取り除く ◼ 公平性に関する制約条件（正則化項）を設ける •差別的インパクト • 均等オッズ条件 などで不平等な判定をするモデルにペナルティをかける ◼ ネットワーク構成にバイアスを取り除く機構を設ける • Adversarial Trainingの仕組みを入れ、特徴量からバイアスを取り除く（解説） Dが男性か女性かを 識別できないような 中間特徴量を生成する バイアスが除去された 中間特徴量から 目的タスクを学習する 参考：Fairness-Aware Data Mining, 公平性に配慮した学習とその理論的課題
- 32. 32 目録 ◼ 敵対的事例（ AdversarialExample ） ◼ 汎用性、再現性 ◼ ブラックボックス ◼ バイアス ◼ フェイクニュース ◼ まとめ
- 33.
- 34. 34 機械学習によって生み出されるフェイクニュース１ You Won’t BelieveWhat Obama Says In This Video! 機械学習技術が悪用される可能性を示した有名な動画 動画だから本物、証拠になるとは限らなくなった
- 35.
- 36. 36 フェイクニュースを検知するAI フェイクニュースを見破るAIの開発が進む （ Adversarial Exampleと同じくこちらも「AIvs AI」の構図に） どうやってフェイクニュースを見破るか？ ◼ ディープフェイク見破る新手法、顔の動きの微妙な「クセ」に着目（解説、記事） ⇒瞬きや顔の動きのクセからリアルとフェイクを見抜くことが可能 ◼ フェイクニュースを見破るのAI開発 • AIを用いたテキストジェネレーターをフェイクニュース検出器として活用（解説） • GPT-2開発チームはGPT-2で生成された文章を95％近い精度で検出（記事） ◼ FacebookによるDeepfake Detection Challengeの立ち上げ（記事） ⇒Facebookはこの取り組みに1000万ドル以上を投資する計画
- 37. 37 目録 ◼ 敵対的事例（ AdversarialExample ） ◼ 汎用性、再現性 ◼ ブラックボックス ◼ バイアス ◼ フェイクニュース ◼ まとめ
- 38. 38 まとめ ICMLやNeurIPSといった機械学習系のトップカンファレンスでは 下記キーワードのもと、その実現に向けた議論がされています 「AI for SocialGood」 （社会に役立つAI） 「Trustworthy Machine Learning」 （信頼できる機械学習） 今年、「AIによる内定辞退予測」のニュースが話題となりましたが AI活用が社会問題を引き起こすリスクがあることを理解の上 機械学習をどう活用すべきかご再考下さい
- 39. 39 教科書 ◼ Adversarial Example •はじめてのAdversarial Example • Adversarial Examples 分野の動向 ◼ 再現性、汎用性 • Reproducible, Reusable, and Robust Reinforcement Learning • How to Train a GAN? Tips and tricks to make GANs work ◼ ブラックボックス • 説明可能AI（Explainable AI） ◼ バイアス • Fairness-Aware Data Mining • 公平性に配慮した学習とその理論的課題 ◼ フェイクニュース • ホントに見破れる？AIとフェイクニュースにまつわる課題を徹底解説
- 40.
- 41. 41 信頼できるAIの実現に向けた研究分類 AAAI 2019 Tutorialon On Explainable AI