제스쳐 인식과 신경망 모델을 활용한 지능형 앱 프로젝트 제안서

1. Project Proposal
Team: Argo
B411051 김종욱
B471008 김지현
Sign language recognition translator

2. Sign language recognition translator
프로젝트 제목 : A Real-time Sign language recognition translator (실시간 수화 인식 번역기)
프로젝트 목적 : Gesture recognition과 신경망 모델(CNN, RNN) 활용
è 청각 장애인들의 의사소통을 돕는 AI 앱 / 소프트웨어 개발

3. Sign Language Recognition translator
개발 내용 및 방법

4. 개발 내용
• 스마트폰의 카메라를 이용하여 수화 동작 인식
• 모바일 디바이스에서 추론이 가능하도록 머신 러닝 모델을 사용한 지능형 앱 구현
• 인식한 동작에 대한 결과를 텍스트로 화면에 출력
개발 환경
- iOS / MacOS(MacBook Pro 13 inch, 2018 과 MacBook Pro Retina 13 inch, Early 2015)
언어: C++ , Swift, Python
Development details and methods

5. - 개발 방법
신경망 모델 + OpenCV + Mediapipe + Core ML 활용
• 신경망 모델 training / test data 제작
• Hand detection을 위해 Google ML framework (Mediapipe) 사용
• CNN/RNN을 이용한 신경망 모델 제작
• Web Server를 만든 이후 학습이 완료된 신경망 모델을 Web Server에 구축함
• Apple ML framework (CoreML)을 사용하여 모바일 디바이스에 학습이 완료된 신경망 모델을 구축함
• 수화 인식률을 높이기 위한 다양한 테스트 시행
Development details and methods

6. Difficulties

7. Sign Language Recognition translator
예상되는 결과물

8. Gesture to Text or Audio
“
Simple UX/UI
동작을 인식할 구간을 카메라 버튼으로 지정
인식한 결과를 텍스트나 오디오로 출력

9. 1. Take a video of
sign language
2. Train a machine
learning model
3. Recognize gestures and
display text on app
What time is it?
Project model flow

10. 이 름 역할
김종욱
• 딥러닝 모델 분석 및 수정(영상데이터에서 단어 추출)
• 머신 러닝 모델 앱 통합 (CoreML 활용)
• 데이터 전처리(Hand detection API에서 들어오는 데이터를 처리하는 방법 구현)
• 웹 서버 구축
• 학습/테스트용 데이터 만들기
김지현
• iOS 앱 개발(UX/UI)
• 머신 러닝 모델 앱 통합 (CoreML 활용)
• Hand detection API수정(OpenAPI를 프로젝트의 방향에 알맞게 수정하는 작업이 필요)
• 문장 생성 언어 모델 분석 및 수정(추출된 단어를 이용하여 문장을 생성)
• 학습/테스트용 데이터 만들기
팀원 별 업무 분담 및 일정

11. Sign Language Recognition translator
현재까지 개발한 내용

12. 현재까지 개발한 내용
1. 기존의 RNN과 CNN을 이용한 수화 인식 신경망 모델을 활용하여 (github 소스코드 참고)
수화 단어(아르헨티나) 12개를 학습시키고 결과값 도출
기존 모델 정확도 87.3%
è 기존의 수화 인식 신경망 모델 수정 / 개선이 필요
자체 제작한 데이터셋으로 학습 / 평가가 필요

13. 현재까지 개발한 내용
2. Google의 hand tracking 오픈소스를 활용하여 손 인식 수행
아이폰에서 hand tracking 테스트
è 나오는 손의 좌표 값들의 사용 방법 연구 필요

14. Reference
• 수화 인식 신경망 모델 코드
https://github.com/hthuwal/sign-language-gesture-recognition
• Google AI에서 공개한 hand tracking 코드
https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md

15. Thank You