Google Cloud의 Machine Learning 서비스와 웹캠을 이용하여 Motion Detection을 수행하고 그 이미지를 Google의 Machine Learning Engine을 통해 판별한다. 그리고 결과를 Notification으로 제공한다.

1. Google Cloud Platform
Machine Learning을 이용한
Motion Detection 및
Notification 구현
강태호(thkang0@gmail.com)

2. 시작하게 된 동기
집안을정리하다가예전에리눅스에서사용했던행아웃용 웹캠을발견하게되었다.
시놀로지나스의Surveillance Station에 이 USB 웹캠을붙여 볼려고했지만이 USB 웹캠은
지원하지않는다. ㅠㅠ
그래서시놀로지VMM 가상머신에Ubuntu를 깔고 USB 캠을 붙여봤는데의외로바로 인식이
되었다:)

3. 웹으로 캠을 보자!
Linux에는 motion이라는패키지가있는데, 이 패키지는usb캠으로jpg형태로화면을캡쳐를
해주고그것을웹을 통해 볼 수 있다.
설치는apt-get install motion만 하고 웹에 접속하면이렇게나온다!!.

4. 자동 알림이 필요하다!
이제 이 웹캠으로아들이집에 들어오는지볼 수 있다. 하지만항상 웹으로저 화면을지켜봐야한다
ㅠㅠ
그래서motion에서 생성하는이미지를메신저로연동을해보고싶었다.
계획은..
움직임
포착!!
메신저로
사진 전송!!

5. 이벤트 감지!!
/etc/motion/motion.conf 아래에custom script를 수행할수 있다.
Motion은 이전 frame과 현재 frame의 pixel 변화를비교해서차이가날 경우
(이 값은 threshold로 설정한다.) start event를 발생한다.
이때 이 해당 이벤트에서텔레그램으로메시지를보내는코드를수행할수 있다.

6. 메신저로 이벤트 발생 시 사진 전송
그래서사진을메신저로보내려고python으로 코딩을했다.
이미지Detection 이벤트가발생하면python 스크립트가수행되고사진을내 계정으로보낼 수
있다.
테스트를해본다. 오~~ 잘 된다 :)

7. 너무 잦은 알람!!
그런데motion이 픽셀을비교해서event를 발생하기때문에날이 밝아 지거나햇볕이들어오거나
기타 등등의사유로아무도없는 집인데도Event가 발생해서알람이발생되었다
난 단지 아들이집에 오면 알람을받고 싶었을뿐인데..
그래서생각한것이 이렇게얼굴 인식을통해 아들이면메시지를보내면어떨까하는 것이다!!

8. Face Detection!!
너무 좋은 아이디어지만얼굴을인식을어떻게할까 고민을한다.
요새 유행(?)하는 머신러닝을통하면이미지에서사람이나랜드마크, 물건 등을 인식해준다고
한다.
그래서머신러닝공부를시작했다.

9. 그런데 어렵다 !!
머신러닝을시작해보려고하니 이것 저것 공부할것이많다.
역시 기초반부터 수강(?)을 해보니수학도나오고, deep learning, 선형회귀, tensorflow, keras 등등
용어는이전에도들어보았지만실제로들어가니공부할것이 너무 많다 ㅠㅠ

10. AUTOML
머신러닝공부를시작했지만실제로모델을만들기까지는해야 할 것이 너무 많은게아닌가ㅠㅠ
그런데Google에서 AUTOML이라는서비스를출시 하겠다고하는 얘기를듣게 된다.
https://korea.googleblog.com/2018/01/cloud-automl.html

11. 손쉽게 모델링!!
Google은 머신러닝관련해서여러개의API를 제공한다. 음성, 이미지, 텍스트등등.
이러한것들은구글에서자체적으로모델링한 모델에API를 호출해서서비스를이용하는것인데,
AUTOML은 이런 API를 이용해서자체적인모델링을쉽게 할 수 있게 해주는서비스이다.
(현재는알파 버전이므로승인을받아야지만사용할수 있다)

12. AUTOML 프로세스!!
AUTOML을 이용해서모델링하는 방법은아주 간단하다.
1. 데이터 준비 : 적어도 한명 당 50~100개의 이미지를 준비한다.
2. 데이터 Import : 각각의 이미지와 해당 이미지를 판별할 수 있는 Label을
정의하고 이미지와 Label의 맵핑을 CSV로 만들어서 Import한다.
3. Train : Basic(공짜) / Advanced(유료)로 해당 데이터를 Train하면 모델이
생성된다.
4. Predict : 예측 할 데이터를 넣어서 확인한다.(웹, python, gcloud 등 사용 가능)

13. Prediction!!
그래서아들과본인 사진을수십장구해서데이터를밀어 넣고 AUTOML에서 Training을 시키고
나면
AUTOML 화면에서Predict를 해 볼 수 있다.
그러면결과가이렇게어느정도맞는지나오게된다 !!!
Label은 dad, son 두개로만정의했지만, 이미지
판별을위해서는추가로이미지와Label을 넣으면
된다.
아들의초상권(?)을 위해 얼굴은가렸음:)

14. 데이터는 가공해야 한다!!
참고로AUTOML에서 데이터를넣을 때 얼굴 위주로데이터를넣어야한다.
얼굴만Detection하기 위해서한땀 한땀 잘라서넣어도되겠지만, 데이터가수십장이되기 때문에
Google의 Vision API를 사용해서얼굴만Detection 해서 좌표를받아 이미지를잘랐다

15. Vision API
Vision API는 Google에서 제공하는이미지Detection 서비스이다..
이미지를올리면아래와같이 얼굴, Landmark, Label등을 검출해준다.

16. Vision API 가격
Vision API는 월 1000개를 호출 하는 경우는무료로사용할수 있다.

17. ML Engine 가격
● 예측을수행하는처리 클러스터의각 노드에서사용한시간
● 분 단위 청구
● 위 표에서나온 노드 시간당가격 적용
● 최소청구: 예측 작업당10분
● (Price per hour / 60) * job duration in node minutes
●

18. 전체 프로세스
Motion Event
발생
JPG로 특정
위치에 저장
이미지를 Google
Vision API를 통해
사람인지 체크
만약 얼굴이
Detect되면 ML
Engine에 해당
이미지로 Predict
해당 이미지가
누구인지 판별
이제 전체 프로세스는아래와같이 정리할수 있다.
단순 픽셀 변화이면 해당 사진만 전송

19. 메세지 전송 결과
AUTOML의 경우 해당 이미지에서Label만 판별을한다. 그래서사람의얼굴이없더라도모델에
있는 Label의 내용으로prediction하게 되는데, 중간에Google의 Vision API(face detection만
적용)를 끼워 넣어서사람인지아닌지적용을했다.
Face Detection을 적용한결과, 첫번째사진은명확하고, 두번째사진의경우 얼굴이있지만얼굴은
이정도사진으로는판별이되지 않는 듯 하다. 그리고세번째사진 정도가얼굴을판별할수 있는 듯
보인다.

20. 최종 결과
데이터셋이 부족(20장 정도로는부족)해서 결과가제대로안나오는부분이많았다.
아들 얼굴이지만결과는아빠로나오기도하고, 캠의 해상도가낮아서얼굴 인식이안되기도했다.
더 좋은 웹캠을사야하는이유(?)가 생겼고, 머신러닝공부를본격적으로해봐야겠다는동기부여도
생겼다.
참고로AUTOML에서 모델링을할 때 Basic 보다 Advanced로 하면 결과가더 잘나온다고한다.
하지만 한번 수행할때 550$의 비용이들기 때문에신중히적용할필요가있다.
실제 결과는현실과틀리지만이렇게결과가나오는것을 알 수 있다.

21. 참고 사항
Vision API를 Payload 호출 시 이미지는 4MB보다 작아야한다.
ML엔진의경우에도이미지의사이즈는1.5MB 정도 이하가되어야한다. 넘으면아래와같이 에러가난다.
Data의 경우 초기 20장 정도만학습을시켰는데정확도가많이 떨어짐. 적어도100장 정도는필요한듯.
얼굴이정확하게나오지않고, 전체 사진에서범위가작은 경우에도인식을잘 하지 못함.
API를 호출 하기 위해서service account 설정을잘 해야 한다.
소스코드: https://github.com/thkang0/motion_alert

22. Machine Learning Camera
Amazon에서 Deep learning 용 카메라를팔고 있다.
Tensorflow를 지원하고, 아래 처럼 이미지인식을쉽게 도와줄수 있는(?) 도구인듯.
https://aws.amazon.com/ko/blogs/korea/aws-deeplens-now-shipping-order-one-today/?utm_source=
dlvr.it&utm_medium=facebook