Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

RUTILEA社内勉強会第1回 「転移学習」

404 views

Published on

RUTILEA社内で定期的に行っている勉強会の第1回です.
第1回のテーマは”転移学習”です.

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

RUTILEA社内勉強会第1回 「転移学習」

  1. 1. 転移学習 2019/12/06
  2. 2. 転移学習(Transfer Learning)とは • ある領域で学んだモデルを他の領域に適⽤する技術
  3. 3. 転移学習とは • Pan and Yang(2010) 適⽤もととなる領域と学習タスクをそれぞれ𝐷"と𝑇"、適⽤対象 である領域とタスクをそれぞれ𝐷$と𝑇$とする。転移学習は 𝐷" ≠ 𝐷$と𝑇" ≠ 𝑇$の時、𝐷"と𝑇"を⽤いて、𝐷$の予測を⾏う機能 の学習の性能を向上させることを⽬的とするもの
  4. 4. 転移学習の⼿法 • 𝐷"のモデルを𝐷$に適⽤する時の問題点をいかに解決できるか
  5. 5. 転移学習の⼿法 • 学習済みモデルの適⽤ • 領域に固有でない特徴の適⽤
  6. 6. 学習済みモデルの適⽤ • 例:CNN(Convolutional Neural Network)を使った画像認識
  7. 7. 領域に固有でない特徴の適⽤ • 例:Auto Encoderの特徴量
  8. 8. VGG16
  9. 9. VGG16とは • オックスフォードのVisual Geometry Groupが作った畳み込み層 と全結合層のレイヤーの合計数が16個のCNN • VGGnetモデルの⼀つ
  10. 10. CNNと画像認識 • 2012年以前は画像認識においてSIFT+Fisher Vector+SVMが主流で、 ⼈が画像から特徴量を設計し抽出していた • 2012年のILSVRCにおいてCNNを使った画像認識モデルである AlexNetが登場し機械が⾃動で特徴量を抽出するのが主流に
  11. 11. CNNと画像認識 • 2014年のILSVRC にVGGnetやGoogLeNet登場し、⾼い成果をだし た • 2015年のResNetは層をさらに深くし精度をあげることを達成
  12. 12. 先⾏モデルと⽐較したVGGnetの特徴 • 3×3畳み込みフィルタを備えたモデルを使⽤ • 16〜19層と深くすることによって⾼い精度が得られた
  13. 13. VGGnetモデルの基本構造 • 3×3畳み込みフィルタ • 重み減衰によって正則化 • 画像サイズはランダムな位置で(224×224)にトリミング • 活性化関数としてソフトマックスとReLuを使⽤
  14. 14. VGG16の実装
  15. 15. 転移学習とファインチューニング • 転移学習:学習済みの重みをそのまま使⽤すること • ファインチューニング:学習済みの重みの⼀部を再学習させ使 ⽤すること
  16. 16. ファインチューニングさせるデータセッ ト1回⽬ • 機械部品10種類 • 学習枚数599枚 • 評価枚数856枚
  17. 17. ファインチューニングさせるデータセッ ト1回⽬
  18. 18. ファインチューニングさせるデータセッ ト2回⽬ • 機械部品13種類 • 学習枚数777枚 • 評価枚数1003枚
  19. 19. ファインチューニングさせるデータセッ ト2回⽬
  20. 20. VGG16を⽤いてすること • ファインチューニングしてSVMにかけると結果がどのように変 わるか測定
  21. 21. 機械部品10種類を⽤いたVGG16の学習⽅ 法 • 検証の結果15層から重みを更新するファインチューニングを実 ⾏ • 検証の結果エポック数は150にする • 得られた特徴量を付け加えて、再度学習させる
  22. 22. 機械部品10種類を⽤いたVGG16の学習⽅ 法
  23. 23. 機械部品10種類を⽤いたVGG16の学習⽅ 法 • 15層より下げると過学習気味になり、上げると精度が落ちる
  24. 24. 機械部品10種類を⽤いたVGG16の学習⽅ 法
  25. 25. 機械部品13種類を⽤いたVGG16の学習⽅ 法 • 検証の結果15層から重みを更新するファインチューニングを実 ⾏ • 検証の結果エポック数は175にする • 得られた特徴量を付け加えて、再度学習させる
  26. 26. 機械部品13種類を⽤いたVGG16の学習⽅ 法
  27. 27. 機械部品13種類を⽤いたVGG16の学習⽅ 法 • 14,15層より下げると過学習気味になり、上げると精度が落ち る
  28. 28. 機械部品13種類を⽤いたVGG16の学習⽅ 法
  29. 29. 2回⽬の学習(機械部品10種類) • 1回⽬と⽐べて精度が多少上がっている
  30. 30. 2回⽬の学習(機械部品13種類) • 1回⽬と⽐べて精度があがっている様⼦は⾒いだせず
  31. 31. 2クラスSVMによる転移学習の検証結果 • Linear SVCを使⽤ • ネジは学習と評価いずれにおいても正答率100% • ダイカストのデータセットは1番以外いずれも正答率100% なぜか1番だけ新たな特徴量を付け加えると学習の正答率100% 評価の正答率が0.9714285714285714になる
  32. 32. 考察 • 汎⽤性が下がったので97%にさがったのではないか • モデルことに変える必要があるのではないか

×