Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks

949 views

Published on

ICML2019読み会in京都でのLT資料です。
IBM社によるFederated-Learningの論文紹介をします。

Published in: Technology
  • Be the first to comment

  • Be the first to like this

[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks

  1. 1. ICML’2019 読み会in京都 [LT発表] Bayesian Nonparametric Federated Learning of Neural Networks 2019/08/04 Yamato OKAMOTO
  2. 2. What is Federated Learning?? 機械学習を非集中環境で実行する技術(Google社が2017年に提唱) 1. クラウドに1つだけ親モデルを保有して、クライアント端末に配布 2. クライアントは端末上で自らのデータによる機械学習をする 3. クライアントは算出したモデル更新パラメタ(ΔW)をクラウドに送信 4. クラウドはΔWを集約してから、データ量に応じた重みを付けてモデル更新 引用元: https://proandroiddev.com/federated-learning-e79e054c33ef ④親モデルを更新 ①配布 ② 機械学習を 端末で実行 ③ΔWを集約 ※kはクライアント番号、nkはクライアントkのデータ数、Wはモデルパラメータ
  3. 3. ICMLで発表された論文 Agnostic Federated Learning (Google) クライアントの保有するデータ量やデータ分布に偏りがあると、 学習がうまくいかない場合があると指摘。そのような条件下で、 全クライアントに対してモデル性能を確保する学習方法を提案。 Bayesian Nonparametric Federated Learning of Neural Networks (IBM) Federated-Learningにおけるモデル更新パラメタの集約&更新を、 ノンパラメトリックな手法で”もっとええ感じ”にする手法。 Analyzing Federated Learning through an Adversarial Lens (IBM) 悪意あるパラメータ共有によってモデル汚染できることを証明した研究。 現存のアルゴリズムでは完全に汚染を防ぐことは難しいと問題提起した。 さっき 紹介した 論文 これから 紹介する 論文
  4. 4. 論文情報 IBM社のWatson AIチームによる論文 (最近どうやらIBM社がFederated Learningに注目している様子) 引用元: https://icml.cc/media/Slides/icml/2019/halla(12-14-00)-12-15-15-4958-bayesian_nonpar.pdf
  5. 5. どんな問題を解決しようとしたのか? モデル集約してそのまま「がっちゃんこ」って違和感ありませんか?? 引用元: https://icml.cc/media/Slides/icml/2019/halla(12-14-00)-12-15-15-4958-bayesian_nonpar.pdf
  6. 6. どんな問題を解決しようとしたのか? もう少し気を利かせながらモデルを統合した方がイイヨネ!!、という論文 引用元: https://icml.cc/media/Slides/icml/2019/halla(12-14-00)-12-15-15-4958-bayesian_nonpar.pdf
  7. 7. Bayesian Nonparametric Federated Learning Hidden LayerにおけるNeuronの数を事前に固定しない 独自の特徴量を抽出していそうなNeuronは残して、 他Neuronと類似する特徴量を抽出するNeuronはマージする Client1 Client2 Client3 引用元: http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf
  8. 8. Bayesian Nonparametric Federated Learning Hidden LayerにおけるNeuronの数を事前に固定しない 独自の特徴量を抽出していそうなNeuronは残して、 他Neuronと類似する特徴量を抽出するNeuronはマージする マージするかどうかの判断にはHungarian algorithmを利用 引用元: http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf
  9. 9. 実験結果 全結合層のNeural Networkで、MNISTとCifer10で実験 モデルサイズ 学習回数学習回数 Accuracy 『(青)通常のFederated Learning』を『(赤)提案手法』が上回った 100neuronから スタートして 数が減っていく 引用元: http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf
  10. 10. まとめ (Hidden-LayerのNeuron数が)ノンパラメトリックのFL手法を提案 単純に各Clientのモデル更新パラメータを加算して学習するのではなく、 Hungarian-algorithmでNeuronをマージしながら学習 通常のFederated Learningよりも識別性能を上回り、 モデルパラメータ数も学習によって少なく効率よくできることを確認 (これって学習ミスったらneuron数が発散していくよなぁ・・・) CNN構造などへの適用が今後の課題
  11. 11. さいごに ディスカッションは開催意義の1つと思っているので、 発表内容に質問のある方はTwitterでお願いします (発表資料は今夜くらいにアップロードします) 論文内容の質問でなくてもかまいません 仕事のコラボ相談でもOKです @RoadRoller_DESU 必ず返信します!! よっぽどのことが無い限り・・

×