데이터 분석 프로젝트를 진행한 추적24시 팀에서는 아래와 같은 프로젝트를 진행했습니다. 완전 자동결제를 위한 무인점포 이용자 Tracking System 개발 19기 민경원 고려대학교 산업경영공학부 19기 신재욱 연세대학교 산업공학과 19기 이유빈 서울여자대학교 소프트웨어융합학과 19기 최가희 국립공주대학교 산업시스템공학과

1. 완전 자동 결제를 위한
무인 점포 이용자 TRACKING SYSTEM 개발
18th BOAZ BIGDATA CONFERENCE
Team 추적 24시
19기 분석 | 민경원 신재욱 이유빈 최가희

2. Contents
01
주제 소개
02
데이터 소개
03
모델링
04
시연 영상
05
결과
06
기대 효과 및 한계점
- 2 -

3. 01. 주제 소개

4. - 4 -
1.1 AI 무인 매장이란?
[ JUST WALK OUT ]
⚫ 정의
▪ 직원 없이, 인공지능과 센서 및 이미지 분석 기술을 활용하여 매장에서 물건을 들고 나오면 스마트폰을 통해 자동결제까지 이루어지는 매장
매장 앱 실행 입장 쇼핑 퇴장 자동 결제 및 알림

5. - 5 -
▶ AI 무인 점포의 수용 인원 제한의 문제점을 해결하는 것이 관건이지만 쉽지 않은 현황
⚫ AI 무인 매장 도입 배경
1.1 AI 무인 매장이란?
⚫ 국내 AI 무인 점포 현황
카카오 파인더스에이아이
▪ 최대 7명의 움직임을 동시에 추적 가능 (2020년 기준)
▪ 점포 특성상 카메라의 배치와 매대로 인한 가림 현상이 심하게 발생
▪ 평당 두 명의 움직임을 동시에 추적할 수 있음 (2023년 기준)
▪ 구매 이력과 취향을 파악하여 상품을 추천하는 등 최근 유통 업계의 AI 기술 발달
▪ 구매 및 시장 데이터 수집이 용이
▪ 인력 비용 절감

6. Computer Vision RFID Sensor Fusion
▪ 매장한 입장한 고객 식별 및 추적
▪ 매대의 상품 인식
▪ 실시간 재고 및 물류 관리
(with 스마트 선반)
▪ 고객이 제품을 들거나 내려놓는 등의
행위 탐지
- 6 -
1.2 활용 기술
⚫ Just Walk Out Technology
▪ 쇼핑 목록 인식: 자율 주행 센서가 부착된 원형 카메라가 쇼핑 고객의 동선을 따라다니면서 구매 목록을 확인
▪ 구매하지 않은 상품 인식: 고객이 제품을 진열대에서 들어올리는 순간, 가상의 장바구니에 등록하거나 내려놓으면 삭제
▪ 고객 퇴장 인식과 자동 결제 기술: 쇼핑을 마친 고객이 매장을 나가면 구매 결제가 자동 계산
⚫ 상세 기술

7. ▲ 무인 결제 시스템 과정
- 7 -
1.3 프로젝트 목표
⚫ 정확한 무인 결제 시스템 및 기술 – 행동 해석 시스템
▪ 고객의 쇼핑 과정을 관찰해 어떤 상품을 구입하려고 하는지 등을 읽고 자동
계산하는 기술
▪ 많은 사람들이 이동하는 매장 특성을 고려하여 많은 고객 중 각자가 어떤
상품을 구매하는지 정확히 파악하고자, “고객들을 확실히 구분하고 각자
이동을 정확히 추적” 하는 프로젝트 진행
⚫ Multiple Object Tracking (MOT)
▪ 객체들끼리 움직이는 방향이나 위치가 다르면 큰 문제가 없지만 서로의 경로가 겹치거나 같아지게 되면 올바른 Tracking이 이루어지지 않음
▪ ID Switching 은 MOT의 특징 중 하나로, 다양한 개체가 움직일 때 ID의 추적이 변경될 수 있음
▪ 개체의 특성을 정확히 학습시켜 ID 구별의 성능을 높이는 것이 목표

8. 02. 데이터 소개

9. 데이터 유형 센서, 이미지 출처 AI HUB
구축년도 / 구축량 2022 / 10.8만 실제 활용한 데이터
▪ ‘성산마트’, ‘토이플러스’ CCTV 영상
▪ 노이즈 이미지 제외한 이미지(png)
약 4만 장 및 바운딩 박스 라벨(txt)
라벨링 유형 라이다 점 군, 바운딩 박스 용도
▪ YOLOv4, YOLOv5 Train 및 Test
▪ DeepSORT Train
데이터 유형 302 Frame, 2327 Frame 영상
출처
유튜브, YOLOv5 및
DeepSORT Github
용도 DeepSORT Test Dataset
- 9 -
2.1 데이터 정의
⚫ 실내 라이다 및 카메라 동기화 영상
⚫ 길거리 보행자 영상 및 실내 마트 CCTV 영상

10. - 10 -
2.1 데이터 정의 (예시)
⚫ 활용한 데이터 ⚫ 제외한 노이즈 데이터

11. ▲ 라이다 레이블 예시
- 11 -
2.2 데이터 수집 및 구축
⚫ 실내 라이다 및 카메라 동기화 영상
▪ 무인 매장의 특성에 적합한 이미지 외에는 삭제
▪ 총 10,970개 데이터 수집
⚫ 데이터 수집 및 구축 방법
▪ 라이다 레이블에서 제공하는 type이 0(보행자)인 경우만 class id로 설정
⚫ 라이다 레이블에서 제공하는 format을 YOLO 레이블 format으로 변경
▪ 라이다 레이블 format:
[ Tracking id, Type, center_x, center_y, width, height, difficulty ]
▪ YOLO 레이블 format:
[ class_id, center_x, center_y, width, height ]

12. - 12 -
2.3 데이터 전처리
⚫ Bounding Box Coordinate : Normalization
▪ 역할: 모델의 이미지 크기와 상관없이 동일한 범위의 좌표 값을 출력
▪ 효과: 모델의 학습과 예측 성능을 향상시키는 데에 도움
⚫ Normalization 방법
▪ 방법: 입력 이미지의 가로, 세로 크기로 나누어 Normalization 수행
▪ width: 1920, height: 1200
▪ 결과: Bounding Box의 x, y 좌표는 0-1 값으로 변경
▶
▲ Normalization 과정 ▲ Normalization 후 결과

13. 03. 모델링

14. - 14 -
3.1 Object Detection
⚫ 정의
▪ 기존 CNN: 이미지를 분류(classification)하는 역할을 수행
▪ Object Detection: 이미지 내 객체의 위치를 특정(Localization)하고 그 속성(Classification)을 부여하는 작업
▪ Object Detection = classification + localization (localization이란, 객체로 판단되는 곳에 Bounding Box를 그려주는 것)
예외) 상황에 따라 다양한 속성을 부여해야 하는 경우도 존재
[ Object Classification은 단순히
그림이 개인지 식별하는 작업 ]
[ Object Localization은 개의 위치가
사진에서 어디인지 bounding box로
나타내 주는 작업 ]
▲ Object Classification과 Object Localization 예시 설명
[ Label : CAT ] [ Label : CAT, DOG, DUCK ]
▲ Classification / Object Detection 예시 및 차이

15. Final detection
▲ YOLO Object Detection 원리
S x S grid on input
Bounding boxes + confidence
Class probability map
▲ YOLO Model Architecture
- 15 -
3.1 Object Detection
⚫ YOLO (You Only Look Once)
▪ 정의: 입력된 이미지를 일정 그리드로 분할한 후, 신경망을 통과하여 Bounding Box와 Class 예측을 생성하여 최종 감지 출력을 결정
▪ 장점: 실시간으로 Object Detection이 가능하고 기존의 Faster R-CNN 보다 6배 빠른 속도
▪ 한계점: One-stage Detector로 속도는 빠르지만, 작은 물체나 겹쳐 있는 물체에 대한 성능은 다소 저하

16. - 16 -
3.1 Object Detection
⚫ YOLOv5 – Original, Custom
▪ Original: COCO Dataset을 학습한 기존 YOLOv5 모델, weight 변화 X
▪ Custom: 마켓 Dataset(성산마켓, 토이플러스)으로 학습한 모델, weight 변화 O
▲ 기존 YOLOv5의 Train Dataset ▲ Custom Dataset
[ 성산마켓 ]
[ 토이플러스 ]

17. ▲ DeepSORT Architecture
3.2 Object Tracking
⚫ 정의
▪ 비디오 또는 스트리밍 형태로 연속적인 프레임들이 주어질 때, 물체를 추적(Track)하는 Task
▪ Object Detection의 결과로 각 Bounding Box를 이전 Frame과 비교하여 ID를 매칭
⚫ DeepSORT
▪ 기존 SORT Tracker의 (Detection + Kalman Filter + Hungarian Algorithm) 구조에서 딥러닝 Feature vector을 더한 구조
▪ Kalman filter: 이전 프레임에 등장한 개체를 이용하여 다음 프레임의 개체의 위치를 예측하고 측정
▪ Hungarian Algorithm: 이전 프레임에서 발견된 개체와 다음 프레임에서 발견된 개체의 동일 여부 판별
YOLOv5
[Object Detection] [Multi-Object Tracking]
[Input Video Sequence]
Association Metrics
- 17 -

18. ▲ Road 데이터 ▲ Retail 데이터
- 18 -
3.2 Object Tracking
⚫ DeepSORT – Original, Custom
▪ Original: COCO Dataset을 학습한 기존 YOLOv5 모델, weight 변화 X
▪ Custom: 마켓 Dataset(성산마켓, 토이마켓)으로 구성한 Custom Dataset을 추가적으로 학습한 모델, weight 변화
▶ 앞의 Object Detection 과정을 거친 두 모델에 대해서 각각 Road, Retail 데이터에 대해 각각 Tracking 성능 테스트 진행

19. 04. 시연 영상

20. - 20 -
4.1 Object Detection

21. - 21 -
4.2 Object Tracking - Original, Road

22. - 22 -
4.2 Object Tracking - Custom, Road

23. - 23 -
4.2 Object Tracking - Original, Retail

24. - 24 -
4.2 Object Tracking - Custom, Retail

25. 05. 결과

26. ▲ 11-point interpolation 수식
- 26 -
5.1 성능 지표 소개
⚫ AP (Average Precision)
▪ 객체 탐지 모델의 성능 평가 지표 중 하나로, Precision – Recall Curve을 기반으로 계산
▪ AP를 계산하는 여러 방법 중, 2010 PASCAL VOC Challenge에서 사용한 11보간법을 사용한다면 일관성 있는 모델 성능 평가를
할 수 있기에 해당 방식을 채택
▪ mAP: 각 class에 대한 AP의 평균을 의미 (이때, class는 ‘Client’만 존재하므로 AP = mAP)
𝑨𝑷𝟏𝟏 =
𝟏
𝟏𝟏
෍
𝑹∈{𝟎,𝟎.𝟏,𝟎.𝟐,…,𝟎.𝟗,𝟏}
𝑷𝒊𝒏𝒕𝒆𝒓𝒑(𝑹)
𝑷𝒊𝒏𝒕𝒆𝒓𝒑 𝑹 = 𝒎𝒂𝒙
෩
𝑹:෩
𝑹≥𝑹
𝑷(෩
𝑹)

27. ▲ IoU 개념 및 수식 도식화
IoU =
Area of Overlap
Area of Intersecton
- 27 -
5.1 성능 지표 소개
⚫ IoU (Intersection over Union)
▪ 모델 객체 검출의 정확도를 평가하는 지표
▪ 어떤 알고리즘의 성능을 전반적으로 파악하기는 좋으나 서로 다른 두 알고리즘의 성능을 정량적으로 비교하기에는 부적절
▪ 일반적으로 IoU Threshold의 변화를 주어서 Precision, Recall을 계산하여 객체 인식 알고리즘 성능 평가 지표로 사용되는 AP
(Average Precision)을 도출하는데 이용

28. Road Retail
YOLOv5_Original 63.3 35.8
YOLOv5_Custom 68.6 24.9
▪ Road 영상의 경우, 새로 학습시킨 모델의 평균 IoU Score가 약 5.3% 높음
▪ Retail 영상의 경우, 새로 학습시킨 모델의 평균 IoU Score가 오히려 약 10.9% 낮음
▶ 활용할 CCTV 영상의 해상도, 화면 사이즈, 그리고 공간 대비 인원수에 따라 성능 차이는 크게 나타날 수 있음
▶ ‘Client’라는 단 하나의 Class에 해당하는 객체를 탐지하는 것에 있어서, 수집한 데이터를 활용했을 때 성능이 향상
mAP (%)
YOLOv5_Original 69.5
YOLOv5_Custom 70.6
5.2 Object Detection
- 28 -
⚫ mAP
5.3 Object Tracking
⚫ IoU

29. 06. 기대 효과 및 한계점

30. ▶ 길거리와 같이 넓고 개방된 공간에 면적 대비 인원이 상대적으로 낮은 경우, 엇갈려 지나가더라도 비교적 정확하게 구별 가능
- 30 -
6.1 한계점 : Road data와 Retail data 비교
⚫ Road Data

31. - 31 -
6.1 한계점 : Road data와 Retail data 비교
⚫ Retail Data
▶ 마트와 같이 면적 대비 이용객의 수가 보다 많은 경우, 위와 같이 엇갈리는 경우 Tracking Number가 바뀐다는 문제점 존재

32. - 32 -
6.1 한계점
⚫ 아쉬운 점
▪ 주 사용 목적인 매장의 경우, 매대 및 고객들에 의해 신체가 일부 가려지는 현상이 빈번하게 발생하여 Detection 자체에 어려움 존재
▪ 무인 점포 완전 자동화를 위해서 정확한 Tracking은 필수임에도 불구하고 Tracking Number가 바뀌는 현상 발생
▪ 컴퓨팅 자원의 한계로 인해 모델 훈련을 완전하게 진행하지 못해 최적의 성능을 도출하지 못했음
▪ 무인 점포 데이터를 얻기 위해 관련 프로젝트를 진행하고 있는 스타트업, 연구원 등에 직접 연락하는 노력을 기울였으나, 보안 상의 이유로
공개된 기존 유인 점포 데이터를 활용

33. - 33 -
6.2 의의 및 발전 가능성
⚫ 의의
▪ 보다 높은 mAP를 찾기 위해 YOLOv4, YOLOv5 등 다양한 모델을 활용하였고, 성능을 비교함
▪ Detection → Tracking 으로 이어지는 과정에서 각각에 해당하는 YOLO, DeepSORT의 모델 구조를 구체적으로 확인 후, 이해하는
과정을 수행
▪ 단순히 객체를 Detection하는 것만이 아닌, Tracking을 통해 각각의 객체에 고유의 Number를 부여하고, 구별해내는 Task가 가능함
⚫ 발전 가능성
▪ 실제로 인원 제한을 두고 있는 무인 점포 특성상, 적절한 수의 이용객은 정확하게 Tracking 할 수 있을 것으로 기대됨
▪ 본 프로젝트에서는 이미지, 영상 데이터만을 활용했지만, RFID를 이용한 스마트 선반, Sensor Fusion을 통해 고객의 행위를 분석 및
탐지해내는 기술을 접목시킨다면 무인 점포 활성화가 가능
▪ 보다 높은 해상도의 CCTV, 사각지대를 최소화할 수 있는 매장 구조가 갖추어진다면, 정확한 Tracking이 가능

34. Reference
▪ arXiv:1506.02640
▪ arXiv:1703.07402
▪ Dirir, Ahmed, et al. “An Advanced Deep Learning Approach for Multi-Object Counting in Urban Vehicular Environments.” Future Internet, vol. 13,
no. 12, Nov. 2021, p. 306. Crossref, https://doi.org/10.3390/fi13120306.
▪ Parekh, Himani S. et al. “A Survey on Object Detection and Tracking Methods.” International Journal of Innovative Research in Computer and
Communication Engineering 2 (2014): 2970-2978. https://api.semanticscholar.org/CorpusID:13836645
▪ https://github.com/ultralytics/yolov5
▪ https://github.com/HowieMa/DeepSORT_YOLOv5_Pytorch
▪ https://iq.opengenus.org/yolov5/
▪ https://byline.network/2023/04/0406-3/
▪ https://gngsn.tistory.com/94
▪ https://ctkim.tistory.com/category/Machine learning/CNN Network
▪ https://mickael-k.tistory.com/26
▪ https://gngsn.tistory.com/94
▪ https://www.waytoliah.com/1491
▪ https://www.youtube.com/watch?v=jxSbu-lDFFs&t=7s
▪ https://aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=realm&dataSetSn=69

35. 감사합니다.