Recommended
More Related Content
What's hot
What's hot (16)
Similar to Lpicel paper lt_5
Similar to Lpicel paper lt_5 (20)
Lpicel paper lt_5
- 1. 【画像処理&機械学習】論文LT会 #5 Distilling the Knowledge in a Neural Network (https://arxiv.org/abs/1503.02531) 2019/07/22 @kaeru_nantoka
- 2. Who are you ?
- 3. Self Introduction ・kaerururu (@kaeru_nantoka) ・機械学習エンジニア(NLP) @Stockmark.Inc ・Kaggle Master
- 5. Motivation for choosing this paper ・ 業務で BERT を使う ・BERT の Fine-tune model は一つ 500MB と大容量 ・重い。なんとかしたい。 （そのためのインプット） ・原著に近い（🐸調べ） 500 MB !
- 6. What is Distillation ? ・通常の softmax ではなく温度付き softmax を使う どんなもの？ どうやって有効だと検証した? 何が嬉しいの？ 技術や手法のキモは？ 次に読むべき論文は? Do Deep Nets Really Need to be Deep? [https://arxiv.org/abs/1312.6184] ・アンサンブルモデルの出力を学習に利用することで、モバイル デバイスにデプロイできるような軽量なモデルの精度をそのまま 学習するのに比べて底上げできる。 ・複数のモデルが学習した情報を単一のモデルに移せる。 MNIST、音声認識データセット、大規模データセット (Google 内部の JFT と呼ばれるデータセット) を利用。 ・教師生徒の両モデルの温度付き softmax の KL divergence loss が小さくなるように学習を進める
- 7. What is Distillation ? data teacher model student model logit logit (ensembled) yatta~
- 8. What is softmax with temperature？ (数式) ( 数式 ) ( 実装 )
- 9. What is softmax with temperature？ (お気持ち) ・教師モデルが学習した情報 (どのクラスとどのクラスが間違いやすい = softmax 値が近いなど) を活用したい。 ・softmax 値を使うのでは target を使うのとあまり変わらない。 ・重み ( = 温度 ) をつけて低い確率を強調し、 情報を活用しやすくする。 ※ 画像は https://qiita.com/nkriskeeic/items/db3b4b5e835e63a7f243 より引用
- 10. どれくらい効果あるの？ ・論文 ・kaeru やってみた (kaggle freesound2019)
- 11. Conclusion ・ CV は下がる (正則化効果) が、LB は微増 (汎化性能向上) した。 ・ 軽量なモデルの予測精度向上への寄与に成功した。 ・ 一方で、教師モデルに近い表現力を持った生徒モデルを利用しないケ ースでは精度は向上するものの効果は限定的であるという示唆が得られ た。 🐸 「 BERT → 軽量モデルは難しそう・・？」
- 12. References [1] https://arxiv.org/abs/1503.02531 [2] https://www.cs.cornell.edu/~caruana/compression.kdd06.pdf [3] https://kaeru-nantoka.hatenablog.com (筆者 blog)
- 13. Thank you for Listening !
Editor's Notes
- kaerururu という HN でツイッターやっています。 Stockmark という会社で NLPエンジニアとして、自社サービス(B2B向けのチーム利用を想定したニュースキュレーションサービス, 経営戦略策定のための情報収集をサポートするツール) の機能としての自然言語処理の技術の調査及び modeling, 実装までやっています。 Kaggle が好きでよくやってます。 単独 LT 初なので緊張してますが、よろしくお願いいたします。
- この論文を選んだモチベーションなのですが、業務で BERT を使っていて、BERT 重くね？ もう少し軽ければ色々できるのに。 といった話題が上がり、どうにか model を軽くしつつも精度をある程度保てる方法はないかと思って見つけたものです。 2015年と少し古いですが、最近書かれた (といっても1, 2年前だが、) 企業ブログや 2017年にでた少し発展した論文でも引用されておりまず読んでみようと思った。 また初の論文 LT ということで論文の 「解釈」がネットに落ちている方が発表するにあたって予習に良いと思ったという理由も。
- 図示するとこんな感じになります。 複数の教師モデルの出力を生徒モデルの学習に利用している点が一目でわかります。 スマホを持った方が喜んでますね。モデルが軽量なのでモバイルデバイスにも乗ります。
- 数式はこのような感じになります。 実装では、softmax 関数に渡す x を温度パラメータ temperature で割った値に変えるだけなのでシンプルです。
- 分類問題を解くとき model の出力に softmax 関数をかまして最終的な予測確率を得ます。 softmax 値を生徒モデルの訓練に使用するのはあまり意味がないとされています。なぜなら、softmax 値だと GrandTruth から遠い確率に対して限りなく 0に近い値が割り振られてしまい、target をそのまま使うのとあまり変わらないからです。 そこで低い確率に対して重みをつけて強調し、教師モデルが学習した「差異」のような情報を活用しやすくしよう というのが、温度付き softmax 関数の考え方です。
- 上が論文の引用で、下が私が先に参加していた kaggle の freesound コンペで金メダルを獲得したアンサンブルモデルをコンペの初期に公開され baseline となったシンプルな CNN に蒸留を試みた結果の図です。 A アンサンブル (InceptionV3 * 2), B CNN そのまま, C CNN 蒸留あり 両方の結果に共通しているのは 汎化性能の向上(LB)と検証データ利用時の精度減(CV)です。 CV が下がっているのは、蒸留によってある種の正則化効果が働くためだと論文中で述べられています。 私の検証では教師モデルの精度に対して、生徒モデルの伸び具合がイマイチパッとしません。これについて私は、教師モデルの精度に生徒モデルの精度が近づくのではなく、生徒モデルのポテンシャル内で精度の底上げに寄与するのではないかと考察しています。