Mastering Gomoku - Recap

Team meum-leul
Microsoft Student Partners
안녕하세요, Team 미음리을 Lead 최광희입니다. 저희 팀은 “딥러닝 엔지니어링”이라는 주제로 에반젤리즘을 진행하였습니다.

Q. Deep learning hype, is it really mainstream?
저희가 이 주제를 선택한 이유는, 요즘 다들 딥러닝, 딥러닝 하지만,

딥러닝 기반 서비스를 운영하는 분들은 생각보다 많지 않기 때문입니다. 그 이유가 뭘까요?

이 주제가 생각보다 진입장벽이 높기 때문입니다.

서비스를 운영하기 위해서는, 이 분야에 대한 포괄적인 이해부터,

또 이에 맞는 백, 프론트엔드 설계까지 많은 시간과 노력이 필요하기 때문입니다.

저희는 이걸 웬만큼 다 커버하고 싶었어요.

Deep Learning Based Gomoku AI
with Convolutional Neural Network
저희가 기획하게 된 서비스는 “딥러닝 기반 오목 AI” 입니다. 얘기만 들어도 엄청 흥미롭죠 ;)

기술적으로는 크게 세 가지 이유로 이 주제를 골랐습니다.

일단, 그 동안 CNN을 사용해서 제대로된 성능을 내는게 거의 없구요,

또, 온라인 오목이 활성화되면서 데이터셋이 충분해졌어요!

하지만 제일 중요한 이유는, 직접 둬보면 실력이 바로 드러나는게 오목이거든요. 그래서 멀쩡한지 확인하기가 너무 쉬워요!

그러면 이걸 실제로 만들려면? 뭘 알아야하는지 저희가, "고통을 받아가며" 정리해봤어요.

What is ML? What is CNN? Make Gomoku AI As A Service
● Definition of ML
● Regression & Classification
● Linear & Logistic Regression
● Activation Functions
● Softmax
● What is Computer Vision?
● Layers for Feature Extraction
● Layers for Classification
● Basic Structure
● Case Study (LeNet, NASNET, etc.)
● What is a Web Service?
● RESTful API
● Run Gomoku on a Web Service? (e.g.
AzureML / Azure VM + Python Flask)
● What are the Constant States for
Gomoku AI? (e.g. Models, Tree
Construction)
How Do Machines Learn? How Does AlphaGo Work? How Does Client Software Work?
● Vanishing Gradients
● Back Propagation
● Overfitting
● Regularization
● Train, Test & Evaluation
● Stochastic Gradient Descent
● Decision Trees
● Minimax
● Alpha-Beta Pruning
● Monte Carlo Tree
● Policy & Value Network
● Basic GUI Programming w/t QT
● GUI Fundamentals (Layouts and
Event handling)
● Case Study(Time Widget, Board
Widget)
How to Make Prototypes for ML
● Dataset Understandings
● Preprocessing w/t Pandas
● Fast Prototyping w/t Keras
어후… 너무 많죠. 그냥 너무 많아요. 일단 근본이 되는 이론들은 다 알아야되고,

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
실제 서비스를 만들어야하니 프론트나 백도 딥러닝에 맞춰서 짜야해요.

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
정말 많죠. 이걸 한 학기만에 할 수 있을까요?

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
사실 알아두셔야 할 점은, 저희는 이 고민을 1년 전에 하고 있었다는 겁니다. 그 당시 내렸던 결론은,

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
에반젤리즘을 두번을 해서, 1년 커리큘럼으로 만들면? 네. 충분합니다.

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
그러면 이걸 어떻게 나눌까요?

What is ML? (S#1) What is CNN? (Hackathon) Make Gomoku AI As A Service
● Softmax
● Basic Structure
● RESTful API
Construction)
How Do Machines Learn? (S#2) How Does AlphaGo Work? How Does Client Software Work?
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
First Half, Before & After the AI Winter (2017 Spring)
처음에는, 기본 바탕이 되는 이론들을 다루었습니다.

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
지금의 인공지능 붐이 있기까지 두 번의 혹한기가 있었는데요, 저희는 이 두 세션으로, 혹한기 전 후 기술을 비교해서,

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
공부도 해보고 그에 해당하는 실습도 진행하고 나서, 해커톤을 통해서 CNN을 훑는 느낌으로 진행했어요.

What is ML? What is CNN? (S#1) Make Gomoku AI As A Service (S#2, 4)
● Softmax
● Basic Structure
● RESTful API
Construction)
How Do Machines Learn? How Does AlphaGo Work? (S#3) How Does Client Software Work? (S#2)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
How to Make Prototypes for ML (S#1, 4)
Second Half, Mastering Gomoku (2017 Fall)
반면 이번 에반젤리즘에서는 저번에 마지막으로 훑은 CNN을 시작으로,

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
“오목"이라는 문제에 좀 더 초점을 맞춘 Topic들을 중심으로 진행했습니다.

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
Topic들 간에 서로 연속성이 거의 없다보니까 구성이 훨씬 자유로워졌고,

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
중요하거나 양이 많으면 여러 세션에 나눠서 할 수도 있었어요.

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
이제 구체적으로 어떤 내용을 다루었는지 말씀드릴텐데요, 가장 큰 Challenge는,

● Softmax
● Basic Structure
● RESTful API
Construction)
● Overfitting
● Regularization
● Decision Trees
● Minimax
Event handling)
Widget)
사이에 긴 텀을 두고 에반젤리즘을 진행한 만큼, 전반기 내용을 전혀 몰라도, 후반기 내용이 이해는 가게 짜야 했습니다.

CNN Basics
by Kwanghee Choi
그래서 특히 CNN에서 고민이 많았는데요,

CNN Basics
by Kwanghee Choi
저번에는 이걸 그동안 배워왔던 기술의 실제 유즈 케이스 정도로 설명을 하고 넘어가도 괜찮았거든요.

CNN Basics
by Kwanghee Choi
이번엔 아예 접근을 다르게, Image Processing 측면에서, 직관적인 이해 중심으로 설명했습니다. 그 덕에 논문도 더 읽고요.

Tree Search Algorithms
by Sanghyun Park
또한 저희 구조가 AlphaGo를 많이 참고하다보니, Traditional 머신러닝 쪽인 Tree-search를 안 할 수가 없더라구요.

Tree Search Algorithms
by Sanghyun Park
여러 종류의 트리를 훑고, 실제 구현체를 코드 리딩을 하며 살펴보았습니다.

AzureML As A Service
by Taeseung Lee
또한 이론뿐만 아니라, 서비스를 만들어야 하니, 백이랑 프론트도 고려해야 했습니다.

by Taeseung Lee
백 부분에는 AzureML을 사용하게 되었는데요, 이건 시스템 프로그래밍이라는 3학년 수업 때문이에요.

by Taeseung Lee
이 수업에서 AzureML 과제가 있었는데, 복학생들 위주로 제가 인터뷰를 해봤어요.

by Taeseung Lee
그랬더니, 코딩 잘 못해도 이론만 알면 드래그앤드롭으로 된다는 점, 이게 강력하더라구요. 그래서 AzureML 골랐습니다.

by Taeseung Lee
그래서 이 세션에서는 AzureML로 웹서비스 만들기, 를 주제로 진행했구요,

by Taeseung Lee
시간이 약간 남아서 데이터셋이랑 프로토타이핑하는데 썼던 코드리딩도 했어요.

Basic GUI Programming
by Younjoon Chung
마지막으로 프론트는, 시간이 부족해서 학생들이 저희 코드를 직관적으로 쉽게 읽을 수 있는 수준까지 가는 것을 목표로 두었습니다.

Basic GUI Programming
by Younjoon Chung
GUI Programming 중심으로 다뤘구요, PyQT로 짠 오목 보드 코드 리딩을 하면서 실제 구현체가 어떻게 생겼는가를 살펴봤어요.

그래서, 저희가 이번에 진행한 주제들을 모조리 합쳐버리면 이렇게 됩니다.

저희 개발노트를 정리해서 그대로 들고 온건데요, 차례대로 살펴보겠습니다.

먼저 AzureML에서 학습시키는 과정이 필요했는데요,

원래 많은 회사에서 파이썬으로 프로토타이핑 하고, 실제 서비스는 다른 걸로 한다고 하더라구요.

그 형태를 동일하게 따라했습니다.

데이터셋에 대한 전처리 후에 빠르게 Keras로 Prototyping하고, AzureML에서 재구현하고 학습까지 시켰습니다.

이게 끝나면, 본격적으로 백과 프론트를 구현하게 됩니다. 이걸 좀 더 세밀하게 살펴보면,

기본적인 아이디어는, CNN으로 열 개 쯤의 적당한 후보군을 발굴해서, MCTS에서 해당 후보군 내에서만 확인을 해보는거죠.

실제 구현은, 백은 AzureML에서 MCTS를 붙이고 Endpoint를 정의해서 Deploy를 했습니다.

프론트에서는 State를 관리하고, 전반적인 GUI와 예외처리 등을 관리하도록 했습니다.

Gomoku Board, made with PyQT
오목을 두기 위한 클라이언트는 이렇게 생겼었구요.

meum-leul github repo.
이게 좀 복잡하고 크다보니까, Repo 갯수가 너무 많아져버리더라구요. 그래서 깃허브 Team으로 전체 프로젝트를 관리했어요.

Collaboration with Sogang Univ. Release
Promotions & Venue supported
저희가 커버한 내용이 좀 길다 보니 말이 너무 길어졌네요! 그치만 실제로 행사를 준비하고 진행한 이야기도 하고 싶어요.

이게 1년짜리다보니, 사람들 간에 실력 차이가 크게 차이가 나지 않는, 그 때 들었던 사람들이 다시 들어야 했습니다.

가장 합리적인 방법은 교내 학회와 콜라보를 하는 거에요. 홍보도 거의 1:1 수준으로 되구요. 장소도 보장이 되구요.

학회 입장에서도 좋은게, 퀄리티 있는 행사가 하나 추가되는 거잖아요. 서로 윈윈인 모양새인거죠.

그 덕에 교내 학회와 MSP 양쪽으로부터 돈도, 사람도 지원 받아가면서 해서 할 수 있었습니다.

그 덕에 실제로 저번 에반젤리즘에 이어서 수강한 비율이 80퍼센트가 넘더라구요.

Human vs. AI Gomoku Competition & Recap Session
최종적으로는 인간 대 인공지능 오목대전을 가지며 1년간의 세미나를 랩업하는 시간을 가졌습니다.

네트워크는 몇 달 전에 나온 NasNET을 고쳐서 썼는데요, 이건 AzureML로 구현할 수 없어서,

Azure VM 위에서 케라스랑 플라스크 써서 deploy했습니다.

실제로 해보니 분명히 AI가 이기는 상황까지는 거의 무조건 가는데 근데 마지막에 자꾸 엉뚱한 곳에 놓았습니다.

그래서 문제가 무엇일지 해당 세션에서 다같이 고민하고 네트워크 구조 디버깅 등도 진행했는데요,

알고보니 데이터셋에 문제가 있었어요.

데이터 셋이 실제 사람들이 둔 오목을 바탕으로 하다보니까, 게임이 기울어졌다 싶으면 닷지하는 경우가 많더라구요.

그래서 결과적으로는 이길뻔 하지만, 이기지는 않는! 접대용 인공지능이 결과적으로 탄생하게 되었습니다.

이를 해결하기 위해서는 mcts 부분에서 마지막에 depth=2정도로 brute-force로 해결하면 되는데,

이 덕에 묘하게 학생들에게 Follow-up 과제까지 내줘버린 모양새가 되어서 좋더라구요!

오목대전이 끝나고 Recap 세션을 2시간쯤 가졌습니다.

그 동안의 1년간의 내용, AI Winter이랑 Gomoku 슬라이드들 전체를 다 모조리 훑으면서 복습하는 시간을 가졌어요.

그러다보니 자연스럽게 중간에 의문점이 있으면 바로바로 물어보고,

딥러닝쪽 연구실에 계시는 분들도 초대했어서 그 덕에 깊은 내용까지 다룰 수 있었습니다.

Evangelists (on AzureML) Participants (on Mastering Gomoku)
Pros
- 모델 설계가 간단하고 쉽다.
- 모델의 전체적인 흐름을 파악하기 쉽다.
- 구현하기 편하다.
- 코딩 못하는 사람에게 가르치기 편하다.
- 예제가 잘 되어있다.
- Deploy가 정말 편하고 예제가 잘 되어있다.
- 모듈들이 Pandas Dataframe 기준으로
함수화되어 있어서 편했다.
- Traditional한 머신러닝 알고리즘들이
라이브러리화 되어있어 매우 편했다.
- 전반기 수업을 같이 들은 경우 시너지 효과가
있어 더욱 좋았다.
- 이론을 전반적으로 훑어서 좋았다.
- 수학을 잘 못해도 저번과는 다르게 이해가 쉽고
직관적이어서 좋았다.
- 딥러닝 이론만 다루는게 아니라 GUI
Programming이라던지 Image Processing 등
더 많은 주제를 다뤄서 좋았다.
Cons
- 많은 양의 데이터를 테스트하기엔 너무
느리고 비싸다.
- 문서화가 부족하고 커뮤니티 또한 크게
활성화 되지 않아 힘들다.
- 요즘 나온 딥러닝 구조는 구현이 불가능하다.
MS에서 나온 ResNet조차 구현이 불가능.
- 에러 메시지가 굉장히 불친절하다.
- State 저장이 과도하게 불편하다.
- 가끔씩 알 수 없는 에러로 죽을 때가 있는데,
이러고 수십분씩 못킬때도 있다.
- 이미 학습된 모델을 올릴 수가 없다.
- 양이 많아서 따라가기 힘들었다.
- 코딩 양이 생각보다 적어서 아쉬웠다.
- 저번에는 똑같은 내용을 두 번 해서 한 번
놓쳐도 다시 따라갈 수 있었는데, 이번엔
아니라서 아쉬웠다.
- 전반기 내용을 모르면 100% 이해한다고 할 수
없을 것 같으니, 똑같은 내용을 이전에 또
하는게 나았을 것 같다.
- Prerequisite를 명확히 해줬으면 좋겠다.
대회가 끝난 뒤에는 커피샵에서 1시간쯤 간담회를 진행했는데요,

Pros
Cons
수강생 분들과 에반젤리스트 분들 의견을 모아서 몇 개 토픽으로 정리했어요.

Pros
Cons
에반젤리스트 분들은 주로 AzureML에 대한 이야기들이 많았어서 바로 피드백을 드리고 싶은데요,

Pros
Cons
저희가 실제로 만들어보면서 고통을 받아본 결과, AzureML은 전반적으로 다 짜기 쉽고 좋은데,

Pros
Cons
조금만 복잡한거 만들어보려고 하면 문제가 너무 많이 생겨요. 요즘에 Conv, Act, FC만으로 네트워크 못짜요.

Pros
Cons
마지막에 결국 VM에서 만들게 된 배경도 거기에 있어요.

Pros
Cons
수강생 분들은 주로 내용 폭이 넓고 배운걸 바로 실습해볼 수 있어서 좋긴 했는데,

Pros
Cons
그래도 전반기 못들었으면 더 깊은 이해가 불가능했다는 리뷰를 남겨주셨어요.

Pros
Cons
정말 생각해보니, 저번학기 Recap을 오히려 맨 처음에 복습 느낌으로 해야 했더라구요.

Papers, Books & Lectures
Grad-CAM: Visual Explanations for Deep Networks via Gradient-based Localization (2017), R. R. Selvaraju et al.
Learning Transferable Architectures for Scalable Image Recognition (2017), B. Zoph et al.
Speed/accuracy trade-offs for modern convolutional object detectors (2017), J. Huang et al.
CS231n, Convolutional Neural Networks for Visual Recognition (Lecture, 2017), Stanford University
Deep Learning (Lecture, 2017), Coursera
Mastering the game of Go with deep neural networks and tree search (2016), D. Silver et al.
R-FCN: Object Detection via Region-based Fully Convolutional Networks (2016), J. Dai et al.
SSD: Single Shot MultiBox Detector (2016), W. Liu et al.
Learning Deep Features for Discriminative Localization (2016), B. Zhou et al.
Deep learning (Book, 2016), I. Goodfellow et al.
Rethinking the inception architecture for computer vision (2016), C. Szegedy et al.
Inception-v4, inception-resnet and the impact of residual connections on learning (2016), C. Szegedy et al.
Identity Mappings in Deep Residual Networks (2016), K. He et al.
Deep residual learning for image recognition (2016), K. He et al.
모두를 위한 딥러닝 (Lecture, 2016), Youtube
Going deeper with convolutions (2015), C. Szegedy et al.
Training very deep networks (2015), R. Srivastava et al.
Batch normalization: Accelerating deep network training by reducing internal covariate shift (2015), S. Loffe and C. Szegedy
Delving deep into rectifiers: Surpassing human-level performance on imagenet classification (2015), K. He et al.
Very Deep Convolutional Networks for Large-Scale Image Recognition (2015), K. Simonyan et al.
CNN features off-the-Shelf: An astounding baseline for recognition (2014), A. Razavian et al.
Visualizing and understanding convolutional networks (2014), M. Zeiler and R. Fergus
ImageNet Classification with Deep Convolutional Neural Networks (2012), A. Krizhevsky et al.
마지막으로, 1년간 진행하면서 봤던걸 정리해놨었는데, 필요하신 분들이 있을 것 같아 사진 찍으실 시간 드릴 겸 후기 좀 남길께요.

저희도 이거 하면서 진짜… 너무 많이 봤어요. 한개 두개 읽다보니까 계속 읽을 수 밖에 없더라구요.

또 이해가 쉽게 가야 하니까 책이나 강의들에서 어떻게 설명하는지도 많이 찾아봤구요.

그래서 전반적으로 폭넓게 공부하다보니, 팀원들 모두 딥러닝 관련된 공부나 일을 시작하게 됐어요.

그리구 이거 같이 콜라보했던 학회에서 자생적으로 이 내용을 이어서 진행하려고 저희랑 협의중이에요.

사이즈가 작기는 하지만, 그래도 학부랑 대학원 학생들이 다같이 있는 딥러닝 커뮤니티를 저희 학교에 형성도 했고요.

더 질문 있으신 분들은 따로 저에게 질문 주시면 되고, 이상 저희 에반젤리즘에 대한 소개를 마치겠습니다.

지금까지 팀장 최광희, 팀원 정연준, 이태승, 박상현 Team 미음리을이었습니다. 감사합니다!

Mastering Gomoku - Recap

Recommended

Recommended

More Related Content

Similar to Mastering Gomoku - Recap

Similar to Mastering Gomoku - Recap (20)

More from Kwanghee Choi

More from Kwanghee Choi (19)

Mastering Gomoku - Recap