Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

JSAI Cup 2018 人工知能学会データ解析コンペティション参戦した話

976 views

Published on

2018/04/21 CpawLTでJSAI Cup 2018人工知能学会データ解析コンペティションに参加したときの話です。

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

JSAI Cup 2018 人工知能学会データ解析コンペティション参戦した話

  1. 1. JSAI Cup 2018 人工知能学会データ解析 コンペティションに参戦 CpawLT 2018/04/21
  2. 2. 自己紹介 ✘ 北田俊輔 (a.k.a @shunk031 / ぴんく) ✘ 法政大学大学院理工学研究科M1 彌冨研 ✘ 深層学習を中心とした自然言語処理・画 像認識が ありえんだいすき ✘ Cpaw AI Competition (CpawAIC) 運営 ✘ GunosyとかNVIDIAでバイトをしてる 2
  3. 3. Cookpadの料理分類コンペに参加した ✘ 人工知能学会データ解析コンペティション ✗ クックパッドの画像データから、55種類の材料のカテ ゴリを予測する画像認識アルゴリズムの作成 ✗ 1カテゴリ約290枚x55カテゴリの計15,932枚 ✗ 11,995枚を学習用、3,937枚を評価 3
  4. 4. 今回のコンペのルール(闇) ✘ API (Google Cloud Vision API etc.) の利用は禁止 ✘ ImageNetなどによる学習済みモデルの利用は禁止 ✘ 2つ以上のモデルを用いたアンサンブル学習禁止 ✗ Random forest等のように1つのモデル中にアンサン ブル学習を含むような手法に関しては利用可 4 追加ルール ✘ k-foldによるk個の同一モデルのアンサンブルは禁止 ✘ TTA (test time augmentation) の使用は可 ✘ Psuedo labelingの使用は可
  5. 5. 今回使用したモデルについて (概要) ✘ ResNet152 with Stochastic Depth [1, 2] ✗ Random Erasing Data Augmentation [3] ✗ Between Class Learning [4] ✗ Test Time Augmentation 5 [1] He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. [2] Huang, Gao, et al. "Deep networks with stochastic depth." European Conference on Computer Vision. Springer International Publishing, 2016. [3] Zhong, Zhun, et al. "Random Erasing Data Augmentation." arXiv preprint arXiv:1708.04896 (2017). [4] Tokozume, Yuji, Yoshitaka Ushiku, and Tatsuya Harada. "Between-class Learning for Image Classification." arXiv preprint arXiv:1711.10284 (2017).
  6. 6. 今回使用したモデルについて (詳細) ✘ ResNet152 with Stochastic Depth ✗ スクラッチから300 epochほど学習させた ✗ MomemtumSGDで150, 225, 300epoch毎にlr decay ✗ 層を確率的にDropして汎化性能向上・計算量減少 ✘ Random Erasing Data Augmentation ✗ 画像に対してランダムに矩形領域をマスク ✘ Between Class Learning ✗ 違う画像をmixupしてデータを増やす 6
  7. 7. 今回使用したモデルについて (詳細) ✘ Random Erasing Data Augmentation ✗ 画像に対してランダムに矩形領域をマスク 7
  8. 8. 今回使用したモデルについて (詳細) ✘ Between Class Learning ✗ 違う画像をmixupしてデータを増やす 8
  9. 9. 9 Confusion Matrix
  10. 10. 結果発表 うぇーーーい 10
  11. 11. ちなみに、去年の結果 11
  12. 12. 結果発表 うぇーーーい x2 12
  13. 13. 最終結果 13 ✗ Public LB score, Private LB score 去年30位 → 今年15位✨✨ Public LBのスコアとPrivate LBのスコアで差があった… 1位は 0.98326 だったみたいです。すごい
  14. 14. 参加者の手法 (Twitterから一部引用) ✘ InceptionResNetv2 ✗ 600 epoch, CVで15個モデルを作成, TTAを256回実行 ✗ Data augmentatioにrandom erasingとmixup ✘ DenseNet ✗ Data augmentationにcutoutとmixup ✗ 最初は弱めに、学習が進んだらキツめ ✗ Cutoutして切り抜いたところに別画像を貼る ✘ PyramidNet ✗ 1800 epochでRandom erasingとShakeDrop 14
  15. 15. 所感 ✘ ルールが闇だった ✗ 学習済みモデルが使えないのはなぜ ✗ アンサンブル最初はダメだったけど良くなったなぜ ✘ ResNetの気持ちがわからなかった ✗ キツめのdata augmentationをしても精度上がるから、 ResNetはドMなのでは ✘ 人工知能、運では ✗ 上位は1枚単位で正解不正解争ってた ✗ Deep learningは運 15

×