Deep learning for yummy project, food image classification & detection

1. https://showhisper2.github.io/yummy/Yummy#
Deep Learning for
Yummy Project
- Food image classification & detection
김정은 박해원 손지영 최지선
1

2. https://showhisper2.github.io/yummy/Yummy#
Table of contents
• What is “Yummy Project”
• 본 프로젝트의 목표
• 프로젝트 진행과정
1. 데이터 마이닝
2. 정제데이터셋 구축
3. 딥네트워크 학습
4. 페이스 디텍션
5. 푸드 리코그니션
• 웹데모
2

3. https://showhisper2.github.io/yummy/Yummy# 3
우리 뭐먹지?
뭐 먹을까?
뭐 땡기는거 있어?
여기 뭐 있지?
뭐먹어?
What is Yummy Project?

4. https://showhisper2.github.io/yummy/Yummy# 4
What is Yummy Project?

5. https://showhisper2.github.io/yummy/Yummy# 5
What is Yummy Project?

6. https://showhisper2.github.io/yummy/Yummy# 6
맛집 추천 사이트
+ 정제된 체계적인 정보들
- 음식이 아닌, 음식점 기준
- 어떤 제 3자의 의견이 반영된 느낌
- 최근의 흐름이 반영되지 못하는 기분
- 부수적인 정보가 너무 많다
SNS (인스타그램)
+ 해쉬태그가 음식이 기준이 되어 작성되
는 경우가 있음
+ 최신 정보가 잘 반영됨
+ 사용자의 의견이 주가됨
- 위치정보 경우, 음식점이 기준
- 필요한 정보와의 연계, 체계성 부족
- 의도와 다른 불필요한 정보들
What is Yummy Project?

7. https://showhisper2.github.io/yummy/Yummy#
‣ 실시간 반영 가능한 유저 중심의 플랫폼, 음식 중심,
핵심적인 음식점 정보 연동
Ex. 인스타와 같은 SNS + 음식별 Grouping
+ 음식점의 위치, 정보 연동
‣ 중복되는 사진 제거, 최대한 ‘깔끔’한 음식에 대한 정
보를 가장 잘 드러내는 사진
7
: 결국 우리에게 중요한건
음식점 이 아닌 “음식” 아닐까?
먹고 싶은, 기억하고 싶은 ‘음식’으로 가득찬 사진첩을 만
들어보자!
What is Yummy Project?

8. https://showhisper2.github.io/yummy/Yummy# 8
: Yummy Project의 서브 프로젝트로써, 어플리케이션 단계로 발전이 가능한 기반 기술 구축
1. Classifier (filtering)
사진들을 종류별로 묶어내는것
2. Detector (face detection)
사용하기엔 위험성이 높은사진 감지
(얼굴이 나와있는사진)
3. Recognizer (food menu)
한사진 속 메뉴 인식 및 음식추천
# 마녀주방 2017.12.13
: 그렇다면, 우리가 얻을 수 있는 음식과 관련된 사진들은 어떤 특징을 가지고 있고,
우리가 구현해야할 기능은 무엇일까?
Goal

9. https://showhisper2.github.io/yummy/Yummy# 9
Raw Dataset
Well-constructed
Database
Deep Learning
ClassifierInput Ouput
Step 1
Step 2
Step 3
Step 4
Classifier Building Process

10. https://showhisper2.github.io/yummy/Yummy#10
상위 순위, 이슈
음식점 조사
세부지역
설정
음식점별 대표
메뉴 크롤링
‘음식점명, 메뉴이름’
구글이미지 크롤링
: 한남동 : 100개 : 468 가지 약 250,000 개 이미지
Step 1. Data Mining

11. https://showhisper2.github.io/yummy/Yummy#11
Raw Dataset
Well-constructed
Database
Deep Learning
ModelInput Ouput
Step 1.
Image Data Mining
Step 2. ????????
Step 3
Step 4
Step 2. How to …?

12. https://showhisper2.github.io/yummy/Yummy#12
Categorize Images
한 음식
여러음식
인테리어
메뉴판 기타접사 보통 원접 간판 내부 외부
Raw Dataset
방송사진,
사람위주 사진,
지도,
전혀 상관없는 사진

13. https://showhisper2.github.io/yummy/Yummy#13
기존의 CNN모델에서
피쳐벡터 추출
Agglomerative Clustering
(Unsupervised learning)
몇개의 기준 이미지를 정한후,
KNN 적용
(Semi-supervised learning)
Mixed_5b,c,d,e
Mixed_6b~h
Mixed_7b~d
AuxLogits
global_pool
PreLogitsFlatten
Logits
Predictions
Inception V4 모델 개요 클러스터링 결과 일부 Tsne 변환 후, 분류 이후 데이터들의 분포

14. https://showhisper2.github.io/yummy/Yummy#14
Raw Dataset
Well-constructed
Database
Deep Learning
ModelInput Ouput
Step 3. Transfer Learning
Step 1. Image Crawling
Step 3. Transfer learning
Step 4
Step 2.
Semi-supervised learning

15. https://showhisper2.github.io/yummy/Yummy#15
Mixed_5b,c,d,e
Mixed_6b~h
Mixed_7b~d
AuxLogits
global_pool
PreLogitsFlatten
Logits
Predictions

16. https://showhisper2.github.io/yummy/Yummy#16
Transfer Learning with Inception-Resnet V2
‣ slim 모델 중 하나인 Inception-resnet V2 모델 사용
‣ 약 4000 개 데이터셋 (Train : 2798, Test : 1199)
‣ Classifier : 총 9개의 카테고리
‣ Top-1 Accuracy : 0.88

17. https://showhisper2.github.io/yummy/Yummy#17
Step 4.
적정
원거리 여러개
근접
내부
메뉴
외부
불필요
ModelInput Output

18. https://showhisper2.github.io/yummy/Yummy#18
Step 4.
Predict: 3 (2개 이상)
Percent: 100.00
Predict: 0 (근접)
Percent: 67.26
Predict: 2 (원거리)
Percent: 99.30
ModelInput Output

19. https://showhisper2.github.io/yummy/Yummy#19
Step 4.
Predict: 5 (내부 인테리어)
Percent: 98.42
Predict: 6 (외부 인테리어)
Percent: 100.00
Predict: 7 (메뉴판)
Percent: 100.00
ModelInput Output

20. https://showhisper2.github.io/yummy/Yummy#20
More - 1. Face Detector
- Best Detector: DlibOpen CV Face Detector RCNN

21. https://showhisper2.github.io/yummy/Yummy#21
More - 2. Food Recognizer
아스파라거스 오일 파스타
안심 크림 리조또 목화솜 탕수육
Google Detection API
Future Recognizer

22. https://showhisper2.github.io/yummy/Yummy#22
Classifier Web Demo
https://showhisper2.github.io/yummy/

23. https://showhisper2.github.io/yummy/Yummy#23
- 어플리케이션 개발을 상위 목표로하여 기반기술을 구현하기 위한 서브 프로젝트로 본 프로젝트를 진행
- unsupervised learning, semi-supervised learning, deep learning 수행
- Transfer learning을 통해 Classifier 모델 구축
- 오픈 API를 사용한 Face detection 기능 구축
- Google Detection API를 사용하여 Recognize 기능 구현중
- 어플리케이션 단계로 지속적인 개발
Summary

24. https://showhisper2.github.io/yummy/Yummy#24

25. https://showhisper2.github.io/yummy/Yummy#25
Step 2. 데이터베이스 구축
Try 1 : feature distance (ORB) & clustering

26. https://showhisper2.github.io/yummy/Yummy#26
AuxLogit Logitvs