Google Machine Learning Challenge 2017 One of Participant's review

1. MLC 2017 문제 보기
Thinkpad p50 믿고 Windows BASH에서 딥러닝하기
한줄 결론 : 비싼 데톱 사는게 정답!

2. MLC 2017

4. 기대

5. 현실 https://github.com/machine-learning-challenge/mlc2017-online/tree/master/quickdraw

6. 문제를 살펴보면
1. 개 vs 강아지 binary classification
2. Cartpole 강화학습
3. Quick Draw 10-class classification

7. 개 vs 고양이
Input : 32 x 32 | Output : 2
그냥 CNN 대충 돌려보면 되겠네!

8. 0차 시도
BaseModel - LogisticModel
[FC]
Flatten -> 1

9. 1차 시도
별거 없는 CNN 모델
[CNN]
32 -> 64 -> 32
[FC]
1024 -> 2

10. 2차 시도
좋아 검증된 VGG16으로!
여러 파라미터 조정을 통해… + FC 제거 GAP 사용

11. 3차 시도
https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html
BottleNeck Fine-Tuning
ADAM : 86 SGD : 음… 잘 안되더라…
ImageNet… ImageNet…

12. 마지막
VGG 16 (bt FC) + VGG 16 (bt GAP) + VGG 16 (ft FC) + Data Augmentation! ( 데이터 3배 )

13. 아! Cartpole 문제는 봤는데
https://gym.openai.com/envs/CartPole-v0 + http://www.modulabs.co.kr/RL_library/3192
Obervation >
x : position of cart on the track
θ : angle of the pole with the vertical
dx/dt : cart velocity
dθ/dt : rate of change of the angle
Action >
Right || Left
Reward >
0 || 1 ( 쓰러짐, 안 쓰러짐 )
음 이거 Qlearning이나 Policy Gradient하면 만점 나오던데!
모연 블로그 보고 해야지!

14. 오잉!? 주어진 코드의 상태가…!
그럼 길게만 해보자
10000000…?!

15. 선착순 게임
40분 차이

16. Quick Draw Classifier
Input : 50 x 50 | Output : 10
그냥 CNN 대충 돌려보면 되겠네!

17. 0차 시도
BaseModel - LogisticModel
[FC]
Flatten -> 10

18. 1차 시도
Cats vs Dogs할 때 VGG는 Base부터하면 트레이닝이 잘 안되었으니
좀 얕은 걸루 하자!

19. 2차 시도
음… 이것 저것 넣어보자… truncated dist + batch_norm + CNN 크기 늘리기

20. 3차 시도
어! Relu를 해보면 어떨까? 그리고 중간에 CNN Layer 추가해보고…

21. Onsite 턱걸이…
https://github.com/machine-learning-challenge/mlc2017-onsite

22. 아 high level 사용 불가…
https://stackoverflow.com/questions/42530216/how-to-access-weight-variables-in-keras-
layers-in-tensor-form-for-clip-by-weight : 나중에 집에가서 된다는거 알게됨…

23. 0차 시도…

24. 1차 시도… 하다가 끝남 DCGANhttps://github.com/davinnovation/mlc2017_onsite_dcgan/blob/maste
r/models.py
조금 얕은 GAN
4->8->16->50
한번 더 깊은 GAN
4->8->16->16->50

25. 참고… 하면 좋을 것https://github.com/davinnovation/mlc2017_onsite_dcgan/blob/maste
r/models.py
현재는 계산 문제로 4->8->16에서 stride 3을 주어서
conv2d_transpose를 통해 50으로 늘렸으나 ( 16->50 )
컴퓨터가 좋으면 16->32->64 -> 50으로…
비어있는 부분이 채워질 듯…?
참고로… 구현하다가 대회의 General 한 Attack & Defense는
뒷전으로…

26. 중간 이슈들…
< Google Cloud >
gsutil을 windows bash에서 사용하려고 하니 계속 python 2 의존 문제가 생겨서
이건 windows cmd에서 하고, gcloud는 bash에서 하고…
< 트레이닝 참사 >
TF 1.3으로 멋도 모르고 하고 있다가 TF 1.3은 아직 GC가 지원 안해서 1.2로
내리고 다시 트레이닝
< Deconv(conv trans) 계산 >
https://tensorflow.blog/a-guide-to-convolution-arithmetic-for-deep-learning/
http://deeplearning.net/software/theano/tutorial/conv_arithmetic.html
이거 보고 계산했습니다…

27. Onsite 후기
1. 밥이 좋아
2. 밥이 맛있어
3. 커피 좋네요…
4. Google Cloud 명령어를 몰라요 ㅠㅠ

28. 부록
Online 대회에서 Cat vs Dog, Quick Draw 대회
1등 비결 공유
Cat vs Dog : 앙상블 100개 했어요 (ㄷㄷ)
Quick Draw : Resnet Fine – tune하고 앙상블
했어요…
(궁금한 것 – Quick Draw는 어떤 weight를 가져온 걸까…? )