[2022]찰스의안드로이드컨퍼런스_텐서플로라이트를활용한안드로이드딥러닝_임태규.pptx

Speaker l
2022
찰스의 안드로이드
컨퍼런스
텐서플로 라이트 를
활용한 안드로이드 딥러닝
임태규

2022
컨퍼런스
Speaker
임태규
- 11년차 Android Engineer
- 정보관리 기술사
현) Presto Labs
전) 쿠팡
전) 삼성전자 무선사업부

2022
컨퍼런스
Presto Labs
싱가폴 기반의 시스템 트레이딩 회사
https://aqx.com 서비스

2022
컨퍼런스
목표
안드로이드
딥러닝

2022
컨퍼런스
목차
1. 인공지능과 모바일
2. 모바일 딥러닝 워크플로와 텐서플로 라이트
3. 텐서플로 라이트를 활용한 안드로이드 앱 개발

2022
컨퍼런스
인공지능 시장성

2022
컨퍼런스
인공지능과 모바일 엔지니어
- 모바일 엔지니어는 인공지능과 함께 무엇을 할 수 있을까?

2022
컨퍼런스
인공지능, 머신 러닝, 딥 러닝
딥 러닝
인공지능
머신러닝

2022
컨퍼런스
인공지능과 머신 러닝, 딥 러닝
- 인공 지능: 인지, 학습 등 인간의 지적 능력을 컴퓨터를 이용해 구현한 지능
- 머신 러닝 : 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘
- 딥 러닝: 은닉층이 2개 층 이상인 인공신경망을 활용한 머신 러닝 알고리즘

2022
컨퍼런스
딥 러닝이 잘 하는 분야
이미지
처리
자연어
처리
게임
(모바일) 서비스

2022
컨퍼런스
모바일 딥 러닝 서비스 아키텍처
서버-클라이언트
아키텍처
On-Device AI

2022
컨퍼런스
On Device AI 장점
- Latency : 서버와 통신 지연시간 X  실시간 서비스 가능
- Privacy : 개인정보가 기기 밖으로 유출되지 않음
- Connectivity : 항상 네트워크에 연결될 필요가 없음
- Memory : 모델 및 바이너리 크기가 작음
- Power : 효율적 추론으로 전력 소비 최소화
 Realtime Service, 민감 정보를 다루는 서비스, Mobile/IoT 기기

모바일 딥러닝 워크플로와
텐서플로 라이트

2022
컨퍼런스
모바일 딥러닝 워크플로
Python Java, Kotlin

2022
컨퍼런스
텐서플로 라이트?
모바일과 IoT 기기에 딥러닝 모델을 배포하고 추론하기 위해 구글에서 만든 라이브러리

2022
컨퍼런스
모델 선택

2022
컨퍼런스
사전 학습 모델 목록
- 추천 (Recommendation)
- 초해상도 (Super Resolution)
- 오디오 분류 (Audio Classification)
- 비디오 분류 (Video Classification)
- 강화 학습 (Reinforcement Learning)
- 광학 문자 인식 (OCR)
- 기기내 학습 (On-device Training)

2022
컨퍼런스
텐서플로 허브 (https://tfhub.dev)

2022
컨퍼런스
모델, 데이터셋 저장소

텐서플로 라이트를 활용한
안드로이드 앱 개발

2022
컨퍼런스
모바일 딥러닝 앱 샘플

2022
컨퍼런스
앱 구조는 어떻게 가져갈까?
보물 찾기
카메라 객체를 찾는 모듈 저장소
보물 등록
이미지 객체
이미지 객체
저장
비교

2022
컨퍼런스
앱 구조는 어떻게 가져갈까?
이미지 객체
Camera
Camera2
CameraX
SharedPreferen
ce
Sqlite
Network

2022
컨퍼런스
어떤 모델이 필요할까?
이미지 객체
모델
딥 러닝
모델
이미지 객체

2022
컨퍼런스
어떤 모델이 필요할까?
[객체1, 확률1], …
[객체1, 좌표1, 확률1], …
[이미지1], [이미지2], …

2022
컨퍼런스
모델의 입출력 값
Mobilenet.tflite
(Classification)
 trailer truck
ImageNet
Images: 100만+@
Classes: 1000
0 ~ 255
N
N
N x N x 3
Training
1000
0 0.003
1 0.001
…
867 0.754
…
998 0.001
999 0.002

2022
컨퍼런스
모델 활용 프로세스

2022
컨퍼런스
모델 로드 프로세스
- Tflite 파일을 읽어서, 앱에서 쓸 수 있는 형태(Object)로 변환

2022
컨퍼런스
텐서플로 라이트 의존성 추가
- 의존성 추가
- 압축 방지

2022
컨퍼런스
모델 추가
모델 포함 방법
- Asset에 추가
- Gradle Script 이용해서 Compile time에 Download
- Network 활용하여 Runtime에 Download

2022
컨퍼런스
모델 로드
mobilenet.tflite

2022
컨퍼런스
Interpreter 생성

2022
컨퍼런스
이미지 전처리

2022
컨퍼런스
모델 스펙 확인

2022
컨퍼런스
모델 스펙 확인
- 모델은 고정된 크기의 입, 출력 shape을 가짐

2022
컨퍼런스
모델 입력 크기 확인

2022
컨퍼런스
이미지 포맷 변환
- CameraX를 사용하는 경우
- Camera2를 사용하는 경우

2022
컨퍼런스
이미지 크기, 포맷 변환
- YUV 포맷일 경우 -> ARGB8888로 변환
- 전처리기에서 crop, resize와 normalize를 동시에 실행

2022
컨퍼런스
Crop은 왜 할까?
- 원본 비율 유지

2022
컨퍼런스
Normalize는 왜 할까?
- 모델 스펙에 맞춤

2022
컨퍼런스
Normalize는 왜 할까?
- 모델 성능 향상

2022
컨퍼런스
추론

2022
컨퍼런스
추론 결과 해석

2022
컨퍼런스
다음엔 무엇을 더 공부할까?
- 모델의 성능을 어떻게 개선할 수 있을까?
- 하드웨어를 활용하자!  멀티스레드, GPU, NNAPI
- 기기 환경에 맞게 모델을 최적화 하자  양자화
- 직접 모델을 만들어보자!
- Python (Language)
- 텐서플로 (Framework)
- Google Colab (Web IDE + Cloud Infra)

2022
컨퍼런스

2022
컨퍼런스
더 궁금한 사항은
- 도서명: 텐서플로 라이트를 활용한 안드로이드 딥러닝
- 유튜브 : https://www.youtube.com/playlist?list=PLZhSusUC5paYdk0pHjwuTO653ApaWo_1B
- 소스 코드 : https://github.com/dualcoder-pe/android_tflite
- 이메일 : dualcoder.pe@gmail.com

2022
컨퍼런스
감사합니
다

[2022]찰스의안드로이드컨퍼런스_텐서플로라이트를활용한안드로이드딥러닝_임태규.pptx

Recommended

Recommended

More Related Content

Similar to [2022]찰스의안드로이드컨퍼런스_텐서플로라이트를활용한안드로이드딥러닝_임태규.pptx

Similar to [2022]찰스의안드로이드컨퍼런스_텐서플로라이트를활용한안드로이드딥러닝_임태규.pptx (20)

[2022]찰스의안드로이드컨퍼런스_텐서플로라이트를활용한안드로이드딥러닝_임태규.pptx