Recommended
Recommended
More Related Content
Similar to [2021 HAI Kaggle Study] Week2 project1 cv
Similar to [2021 HAI Kaggle Study] Week2 project1 cv (20)
More from 준영 박
Recently uploaded
Recently uploaded (20)
[2021 HAI Kaggle Study] Week2 project1 cv
- 1. HAI Lecture
- 2. HAI 2021
- 3. HAI 2021 : Overview Histopathologic Cancer Detection : 림프구의 사진을 보고 암 전이 여부를 파악하는 문제 Input Model Yes or No
- 4. HAI 2021 : Data • test directory : test dataset에 해당하는 이미지가 담긴 directory • train directory : training dataset에 해당하는 이미지가 담긴 directory • sample_submission.csv : kaggle에 제출해야 할 파일의 예시 • train_labels.csv : training dataset의 각 이미지별 label이 표기된 파일
- 5. HAI 2021 : Metric Area Under Receiver Operating Characteristic Curve https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html
- 6. HAI 2021 : Residual Neural Network • 기존 방식에선 layer를 매우 많이 쌓으면 성능이 떨어지는 현상이 발생함. → Degradation Problem • 위 문제를 해결하기 위해 residual learning 기법을 도입. Source: He, Zhang, Ren, Sun 2015
- 7. HAI 2021 : Residual Neural Network Source: He, Zhang, Ren, Sun 2015
- 8. HAI 2021 : Residual Neural Network • Paper https://arxiv.org/abs/1512.03385 • PyTorch Implementation https://github.com/kuangliu/pytorch-cifar/blob/master/models/resnet.py
- 9. HAI 2021 : Squeeze and Excitation Network • Channel-wise feature response를 적절하게 조절함. Source: Hu, Shen, Albanie, Sun, Wu 2017
- 10. HAI 2021 : Squeeze and Excitation Network • Network 구조에 관계 없이 적용할 수 있음. Source: Hu, Shen, Albanie, Sun, Wu 2017
- 11. HAI 2021 : Squeeze and Excitation Network • Paper https://arxiv.org/abs/1709.01507 • PyTorch Implementation https://github.com/moskomule/senet.pytorch
- 12. HAI 2021 : Convolutional Block Attention Module • Self-attention을 이용해 image classification / detection의 성능을 향상함. Source: Woo, Park, Lee, Kweon 2018
- 13. HAI 2021 : Convolutional Block Attention Module • Self-attention을 이용해 image classification / detection의 성능을 향상함. Source: Woo, Park, Lee, Kweon 2018
- 14. HAI 2021 : Convolutional Block Attention Module • Paper https://arxiv.org/abs/1807.06521 • Paper Review (Korean) https://blog.lunit.io/2018/08/30/bam-and-cbam-self-attention-modules-for-cnn/ • PyTorch Implementation https://github.com/Jongchan/attention-module
- 15. HAI 2021 : CNN Tricks → https://arxiv.org/abs/1812.01187 • CNN을 training하는 여러 방법(흑마법)을 소개하는 논문. • 3개의 파트로 구성 돼있음. • Efficient Training : training을 효율적으로 하기 위한 방법론 소개. • Model Tweaks : 모델의 구조를 수정하여 성능을 높이기 위한 방법론 소개. • Training Refinement : 정확도를 높이기 위한 방법론 소개.
- 16. HAI 2021 : CNN Tricks • Linear Scaling Learning Rate → batch size를 키우면 learning rate를 Τ 𝑏 256배로 키움. • Learning Rate Warmup → 초기 learning rate를 작은 값부터 선형적으로 증가시킴. • Zero γ → ResNet같은 구조에선 Batch Normalization의 gamma를 0으로 초기화. • No Bias Decay → Weight decay를 bias를 제외하고 weight에 대해서만 적용.
- 17. HAI 2021 : CNN Tricks • Cosine Learning Rate Decay → learning rate를 𝜂𝑡 = 1 2 1 + cos 𝑡𝜋 𝑇 𝜂로 scheduling. • Label Smoothing → label을 smooth하게 만듦. • Mixup Training → 두 데이터의 input과 output을 linear interpolation. 𝑞𝑖 = ቊ 1 − 𝜖 𝑖𝑓 𝑖 = 𝑦 Τ 𝜖 (𝐾 − 1) 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 ො 𝑥 = 𝜆𝑥𝑖 + 1 − 𝜆 𝑥𝑗 ො 𝑦 = 𝜆𝑦𝑖 + 1 − 𝜆 𝑦𝑗
- 18. HAI 2021 : Knowledge Distillation • 미리 잘 학습된 Teacher Network의 지식을 Student Network에게 전달하는 기법. Data Teacher Student prediction prediction Knowledge Distillation
- 19. HAI 2021 : Transfer Learning • 이미 학습된 (pre-trained) network를 원하는 task에 맞춰 다시 학습하는 기법. • 비교적 짧은 시간에 높은 정확도를 달성할 수 있음. • 데이터가 적은 환경에서도 효율적임.
- 20. HAI 2021 : Transfer Learning
- 21. HAI 2021 : Transfer Learning Feature Extractor Input Classifier Output Classifier
- 22. HAI 2021 : Ensemble • 여러 모델을 결합하여 학습하는 방법론. Dataset Model A Model B Model C Model E … Combiner Output
- 23. HAI 2021 : Ensemble • Pros • overfitting 감소 효과가 있음. • 단일 모델보다 성능이 향상될 수 있음. • Cons • cost가 비쌈.
- 24. HAI 2021