SlideShare a Scribd company logo
1 of 39
Download to read offline
TEAM HEPC
PRESENTATIONfood detection through deep learning
김선주 교수님
김경민 조교님
김현우 박세환 서유정 오현주
한식 이미지 인식 어플리케이션
쌀밥 ×
생선구이 ×
무생채 ×
소세지 ×
우리의 목표
한식 이미지
데이터셋 만들기
한식韓食
‘한국음식’을 넘어
‘한국인이 자주 먹는 음식’
한식韓食
상징성 & 실용성
한식 이미지 데이터셋
식품 54가지 선정
김밥
볶음밥
비빔밥
쌀밥
만두
라면
물냉면
비빔국수
카레
우동
자장면
짬뽕
국수
미역국
콩나물국
갈비탕
닭볶음탕
삼계탕
육개장
김치찌개
된장찌개
갈비찜
계란찜
순대
생선조림
계란말이
삼겹살구이
소고기구이
생선구이
햄구이
계란후라이
파전
야채튀김
새우튀김
고구마튀김
닭튀김
돈까스
탕수육
김치전
제육볶음
떡볶이
멸치볶음
불고기
보쌈
오징어볶음
샐러드
시금치나물
콩나물무침
깍두기
깻잎조림
배추김치
생선회
장조림
잡채
한식 이미지 크롤링
Instagram
식품 당 400장
한식 이미지
*실제 크롤링된 이미지 중 일부
팀: 12,000장 [30가지]
연구실: 8,800장 [22가지]
잔여: 2가지
VISION
LEARNING
CONVOLUTIONAL
NEURAL NETWORK
CONVNETConvolutional Neural Network
Convolution
Convolution
kernels
CONVNETOverall structure
CLASSIFICATION
& DETECTION
CLASSIFICATION
CLASSIFICATIONCategorization of the object
계란말이?
치즈케익?
두부부침?
파인애플?
DETECTION
DETECTIONIdentifying the object
뭔가 여기 있는데, 이 물체가 무엇일까?
계란말이 0.86
1. 무언가 있다는 사실
2. 이것이 무엇인지
REGION based
CONVNETR-CNN
R-CNNRegion based Convolutional Neural Network
RCNN
SPP-net
Fast RCNN
Faster RCNN
REGION PROPOSALHow it used to work:
proposal to classification
Faster R-CNN!
Faster R-CNNthe Architecture
• RPN: Region Proposal Network
• Detector
Faster R-CNNSpeed performance analysis: 5fps
50
2
0.2
0
10
20
30
40
50
60
R-CNN fast R-CNN faster R-CNN
test time(s) per image
seconds
YOLOAnother fast detection algorithm
YOLOUsing conditional probability
Super fast! 45fps
Faster R-CNN YOLOvs
WHY NOT YOLO?According to the original paper
1. Small objects that appear in group
2. Objects in new or unusual configurations
3. Number of bounding boxes in the training image
WHY NOT YOLO?1. Small objects that appear in group
WHY NOT YOLO?2. Objects in new or unusual configurations
WHY NOT YOLO?3. Number of bounding boxes in the training image
Training Data
PERFORMANCEAccording to the paper
73.2
63.4
50
55
60
65
70
75
Faster R-CNN YOLO
mAP
*Mean Average Precision
Faster R-CNN!
Model Training
1. Pretraining with PASCAL VOC 2007
2. If possible, also UEC-256 ? (Bounding box info present)
3. Training on our dataset
APPLICATIONNot an Android, but a Web Application
SOCIAL DIETthrough objective calorie intake assessment
OVERALL ARCHITECTURE
AWS S3
AWS
Elastic
Beanstalk
Client
Ruby
+
Python
Websocket
THANK YOU

More Related Content

More from Hyunwoo Kim

Universal Adversarial Perturbation
Universal Adversarial PerturbationUniversal Adversarial Perturbation
Universal Adversarial PerturbationHyunwoo Kim
 
Two VWM representations simultaneously control attention
Two VWM representations simultaneously control attentionTwo VWM representations simultaneously control attention
Two VWM representations simultaneously control attentionHyunwoo Kim
 
Capstone Design(2) 최종 발표
Capstone Design(2) 최종 발표Capstone Design(2) 최종 발표
Capstone Design(2) 최종 발표Hyunwoo Kim
 
Neural Networks Basics with PyTorch
Neural Networks Basics with PyTorchNeural Networks Basics with PyTorch
Neural Networks Basics with PyTorchHyunwoo Kim
 
Capstone Design(2) 중간 발표
Capstone Design(2) 중간 발표Capstone Design(2) 중간 발표
Capstone Design(2) 중간 발표Hyunwoo Kim
 
Capstone Design(2) 연구제안 발표
Capstone Design(2) 연구제안 발표Capstone Design(2) 연구제안 발표
Capstone Design(2) 연구제안 발표Hyunwoo Kim
 
Capstone Design(1) 최종 발표
Capstone Design(1) 최종 발표Capstone Design(1) 최종 발표
Capstone Design(1) 최종 발표Hyunwoo Kim
 
Capstone Design(1) 연구제안 발표
Capstone Design(1) 연구제안 발표Capstone Design(1) 연구제안 발표
Capstone Design(1) 연구제안 발표Hyunwoo Kim
 
Neural Network Intro [인공신경망 설명]
Neural Network Intro [인공신경망 설명]Neural Network Intro [인공신경망 설명]
Neural Network Intro [인공신경망 설명]Hyunwoo Kim
 
Random Forest Intro [랜덤포레스트 설명]
Random Forest Intro [랜덤포레스트 설명]Random Forest Intro [랜덤포레스트 설명]
Random Forest Intro [랜덤포레스트 설명]Hyunwoo Kim
 
Decision Tree Intro [의사결정나무]
Decision Tree Intro [의사결정나무]Decision Tree Intro [의사결정나무]
Decision Tree Intro [의사결정나무]Hyunwoo Kim
 

More from Hyunwoo Kim (11)

Universal Adversarial Perturbation
Universal Adversarial PerturbationUniversal Adversarial Perturbation
Universal Adversarial Perturbation
 
Two VWM representations simultaneously control attention
Two VWM representations simultaneously control attentionTwo VWM representations simultaneously control attention
Two VWM representations simultaneously control attention
 
Capstone Design(2) 최종 발표
Capstone Design(2) 최종 발표Capstone Design(2) 최종 발표
Capstone Design(2) 최종 발표
 
Neural Networks Basics with PyTorch
Neural Networks Basics with PyTorchNeural Networks Basics with PyTorch
Neural Networks Basics with PyTorch
 
Capstone Design(2) 중간 발표
Capstone Design(2) 중간 발표Capstone Design(2) 중간 발표
Capstone Design(2) 중간 발표
 
Capstone Design(2) 연구제안 발표
Capstone Design(2) 연구제안 발표Capstone Design(2) 연구제안 발표
Capstone Design(2) 연구제안 발표
 
Capstone Design(1) 최종 발표
Capstone Design(1) 최종 발표Capstone Design(1) 최종 발표
Capstone Design(1) 최종 발표
 
Capstone Design(1) 연구제안 발표
Capstone Design(1) 연구제안 발표Capstone Design(1) 연구제안 발표
Capstone Design(1) 연구제안 발표
 
Neural Network Intro [인공신경망 설명]
Neural Network Intro [인공신경망 설명]Neural Network Intro [인공신경망 설명]
Neural Network Intro [인공신경망 설명]
 
Random Forest Intro [랜덤포레스트 설명]
Random Forest Intro [랜덤포레스트 설명]Random Forest Intro [랜덤포레스트 설명]
Random Forest Intro [랜덤포레스트 설명]
 
Decision Tree Intro [의사결정나무]
Decision Tree Intro [의사결정나무]Decision Tree Intro [의사결정나무]
Decision Tree Intro [의사결정나무]
 

Capstone Design(1) 중간 발표