안녕하세요, 전처리 담당 AI 프로젝트의 발표를 맡게 된 ING 팀의 손지현이라고 합니다. 우선 발표로 들어가기 전, 팀원 소개를 하고자 하는데요, 저희는 개발자 3명, 기획자 한 명으로 이루어졌습니다. 여기서 개발자이자 팀장님이신 심승철님께서 기술 Q&A를 맡기 위해, 저는 전반적인 발표를 맡기 위해 이 자리에 섰습니다. 우선 발표 콘텐츠를 설명 드리자면, 저희는 문제진단, 해결방안, 결과소개, 그리고 사업화, 이 네 가지로 발표를 나눴습니다. 하지만 문제진단을 하기 앞서, 간단하게 배경 설명을 해야 할 것 같은데요, 요즘 digital transformation이란 말이 뜨면서 사람들은 여러 분야에 관심을 가지게 되었는데, 여기서 저희가 집중하고자 하는 부분은 Big Data, 또는 데이터 산업입니다. 특히 AI의 학습에 쓰이는 데이터의 역할에 관심을 가지게 되었는데, 저희는 AI와 자동화 시스템을 통해 어떻게 이 분야를 더욱 효율적으로 바꿔나갈지를 고민하게 되었습니다. AI의 학습과정을 보자면 이렇게 정리가 되는데요, 여기서 시간 소모가 가장 큰 과정이 바로 여기 pre-processing, 혹은 데이터 전처리라고 합니다. 데이터 전처리 과정을 설명 드리자면, AI가 학습과정에 많은 데이터가 필요한데, AI가 이해할 수 있는 형식으로 데이터를 가공하고 정제하는 과정이 바로 데이터 전처리입니다. 현재 대부분 수작업으로 진행되기 때문에 가장 많은 시간과 인력을 소모하고 있죠. 그렇다면 이 부분에다가 RPA에 적용한다면 어떨까? 저희 프로젝트의 주제를 간단히 말씀 드리자면, AI를 학습시키는데 AI를 사용하자는 결론에 도달하는 거죠. 데이터 전처리 시장을 조사한 바, 현재 amazon mechanical turk와 crowdworks라는 두 기업이 자리잡고 있는데, 이 두 기업은 전처리 된 데이터가 필요한 기업과 전처리를 하고자 하는 일반인 아르바이트를 연결시켜주는 플랫폼이라 생각하시면 됩니다. 하지만 여기서 세가지 문제를 발견했는데, 이것은 한정된 유저 인터페이스, 데이트의 신뢰성 부족, 그리고 수작업으로 인한 비효율적 시스템입니다. 예시를 보여드리자면, 이게 AMT의 인터페이스인데요, 보시다시피 영수증 내용을 AI가 이해하도록 바꾸기 위해 일일이 내용을 옮겨 적어야 하는 형식입니다. 인터페이스도 웹으로만 접근 가능한거라 접근성도 안 좋고 상당히 번거롭죠. 그렇다면 저희가 생각해낸 솔루션들은? 첫째, 간편한 안드로이드 유저인터페이스를 만들고 UI/UX를 고칠 것, 둘째, 교차 인증 및 게이미피케이션 기능을 추가해서 정확도를 높일 것, 그리고 마지막으로 데이터전처리에 딥러닝 AI를 기반해서 사용자의 효율 및 정확성을 확보하는 것입니다. 특히 세번째가 중요한데, 제가 앞서 말씀 드린 AI를 이용해서 AI를 학습시킨다 개념에 들어간다고 생각하시면 됩니다. 앞에 두 솔루션을 설명 드리자면, UI/UX를 기존의 상품에 비해 사용자가 사용하기 편하게 고치고자 노력했습니다. 곧 제품시연 때 직접 체감하실 수 있을 것이라 믿고 다음 솔루션으로 넘어가겠습니다. 기존의 상품들의 경우, 본인의 성과를 체크하는 기능은 있어도 본인의 성과를 다른 작업자들과 비교하는 기능이 없었으며, 그나마 crowdworks에는 소수의 상위랭커 리스트만 있었습니다. 저희는 상대적 위치, 예를 들어 여기 상위 13%다, 등을 알려주며 사람들이 더욱 열심히 작업을 하도록 자극시키는 게이미피케이션 요소를 추가하고자 했습니다. 자, 마지막으로 가장 중요한 RPA의 응용으로 넘어갈텐데, 제품 시연이랑 함께 설명을 드리겠습니다. 저희 제품은 이미지 라벨링 자동화, 문자 라벨링 자동화, 그리고 음성 라벨링 자동화 이렇게 세 가지로 구성되어됩니다. 이미지 라벨링 자동화의 경우를 확인한다면 AI가 미리 이미지를 분석하고 확인한 다음, 세 가지 가능성을 제안한다면 사용자는 단순히 저 중 하나를 고르는 형식입니다. 다음 문자 라벨링의 경우, 아까 AMT 사진이랑 상당히 비교가 되는데, AI가 미리 문자를 인식해서 적어놓은 상태로 사용자는 단순히 맞는지 틀린지만 확인하고, 틀린 것들만 수정하는 형식입니다. 세번째도 두번째와 비슷한데, 이렇게 영상이 나왔을 때 AI가 인식하고 적어내린 것들을 작업자가 수정하는 형식입니다. 제품 시연을 넘어가기 전에 마지막으로 한 부분으로 보여드릴텐데요, 여기서 보시는 점수와 활동 내역은 사용자가 자신이 했던 것 일의 내역을 보고 자극될 수 있도록 시각화되어있는, 앞서 말씀드린 게이미피케이션의 일부라고 보시면 됩니다. 이 차트는 사용자가 했던 활동을 실시간 반영하며, 본인이 했던 것을 좀 더 예쁘게 볼 수 있도록 디자인되어있습니다. 이제 사업화를 할 시에 고려해야 할 것들을 몇 가지 제시하겠습니다. 제일 중요하다고 여긴 것들 은 시스템의 간편화, 경쟁업체의 고객화, 그리고 홍보였습니다. 간편화의 경우 특히 급여지급의 간편화가 필요한데, 복잡한 payment system을 가져 작업자의 의욕을 꺾었던 이전 서비스에 비해 저희는 카카오페이 등의 금융앱과의 제휴를 통해 인센티브 비용을 쉽게 제공하고자 합니다. 또, 이미 자리잡아있는 경쟁업체와 경쟁을 하기보다는 저희 RPA 솔루션을 제공하는 등의 협업을 생각했습니다. 마지막으로 홍보가 가장 중요한데, 일반인들도 작업자로써 활동할 수 있도록 데이터 전처리 플랫폼을 게임 광고, 가상화폐 대체 광고 등으로 가시화하는 것이 중요하다 생각합니다. 그렇다면 마지막으로 몇 가지 참고 장표들을 보여드릴 텐데요, 이 장표의 내용들은 안타깝게도 시간제한상 설명을 드리기 어렵지만 혹시나 저희 프로젝트에 대해서 궁금하실 분들을 위해 따로 마련해드렸습니다. 혹시 Q&A 때 알고 싶으신 점들이 있다면 언제든지 질문하시길 바랍니다. 이로써 발표를 마치겠습니다. 감사합니다.

1. 전처리 담당 AI,
오늘도 퇴사고프다
Team (전처리)‘Ing’
(전처리 좀 그만하고 싶다)

2. Team Intro.
Team Intro.
이정훈
Deep-learning
Engineer
손지현
Project Design
& Presentation
임슬아
Frontend
Developer
심승철
Backend
Developer
팀장님

3. Contents
문제 진단 해결 방안 결과 소개 사업화
01 02 03 04
Contents

4. Big DataIoTCloud Robotics Connectivity AI AR/VR Blockchain
프로젝트 소개
1. 문제 진단

5. Big DataIoTCloud Robotics Connectivity AI AR/VR Blockchain
Data Industry 란?
RPA를 통해 데이터산업의 린 타임을 확보할 수 있는가?
프로젝트 소개
1. 문제 진단

6. Data
Crawling
Pre-Processing
Train
Model
Evaluation
필요의 경우
AI의 학습과정
프로젝트 소개
1. 문제 진단

7. Data
Crawling
Pre-Processing
Train
Model
Evaluation
필요의 경우
RPA 적용
AI의 학습과정
프로젝트 소개
1. 문제 진단

8. 한정된 유저 인터페이스
데이터의 신뢰성
비효율적인 시스템
문제 진단
1. 문제 진단

9. 문제 진단
1. 문제 진단

10. 해결 방안
한정된 유저 인터페이스
데이터의 신뢰성
비효율적인 시스템
PROBLEMS
간편한 안드로이드 유저 인
터페이스 및 디자인
교차인증 및 게이미피케이션
딥러닝 AI를 기반해서 사용자
의 효율 및 정확성 확보
SOLUTIONS
2. 해결 방안

11. UI/UX & 게이미피케이션
UI/UX 게이미피케이션
요소 추가
3. 결과 소개

12. AI의 응용
1. 이미지 라벨링 자동화
Image Labelling Automation
2. 문자 라벨링 자동화
OCR Labelling Automation
3. 음성 라벨링 자동화
Sound Labelling Automation
RPA 응용
3. 결과 소개

13. AI의 응용
1. 이미지 라벨링 자동화
Image Labelling Automation
2. 문자 라벨링 자동화
OCR Labelling Automation
3. 음성 라벨링 자동화
Sound Labelling Automation
RPA 응용
3. 결과 소개

14. AI의 응용
1. 이미지 라벨링 자동화
Image Labelling Automation
2. 문자 라벨링 자동화
OCR Labelling Automation
3. 음성 라벨링 자동화
Sound Labelling Automation
RPA 응용
3. 결과 소개

15. AI의 응용
1. 이미지 라벨링 자동화
Image Labelling Automation
2. 문자 라벨링 자동화
OCR Labelling Automation
3. 음성 라벨링 자동화
Sound Labelling Automation
RPA 응용
3. 결과 소개

16. AI의 응용
1. 이미지 라벨링 자동화
Image Labelling Automation
2. 문자 라벨링 자동화
OCR Labelling Automation
3. 음성 라벨링 자동화
Sound Labelling Automation
RPA 응용
3. 결과 소개

17. AI의 응용
1. 이미지 라벨링 자동화
Image Labelling Automation
2. 문자 라벨링 자동화
OCR Labelling Automation
3. 음성 라벨링 자동화
Sound Labelling Automation
RPA 응용
3. 결과 소개

18. AI의 응용
1. 이미지 라벨링 자동화
Image Labelling Automation
2. 문자 라벨링 자동화
OCR Labelling Automation
3. 음성 라벨링 자동화
Sound Labelling Automation
RPA 응용
3. 결과 소개

19. 사업화 고려사항
경쟁업체 고객군시스템 간편화 홍보
4. 사업화

20. 참고 1. Lean Plan
핵심지표
비용구조
솔루션 고유 가치 제안 경쟁우위
채널
수익원
고객군
• 데이터 전처리는 21세
기 최첨단 노가다로서
인공지능 솔루션 개발
시 80% 시간이 소요됨
• 사람이 수동으로 일일
이 확인해야 하며 인건
비 과다 투입됨 QA/QC
문제가 큼
문제점
• 이미지 라벨링 과정에
서 RPA를 이용해서 효
율 극대화
• RPA를 이용한 점에서
차별성
• 안드로이드 인터페이스
이용
• 인공지능 학습 데이터
전처리 작업 자동화로
인건비 절감
• 앱 스토어
• 웹사이트
• 가진 데이터의 정확도를 높이고자 하는 회사들
• RPA 솔루션 판매
• 개발비용
• 작업자를 위한 인센티브 비용
• 절감 Manhour 시간 x
평균인건비 = 절감금액
• 머신러닝 데이터 플랫
폼 회사 (크라우드윅스,
AMT, 셀렉트스타 등)
• 데이터학습을 위해 데
이터가 필요한 인공지
능 회사
• 원격으로 편하게 돈 벌
고자 하는 작업자들
참고 1. Lean Plan

21. 클라이언트 물리서버
웹서버/웹어플리케이션
서버 (톰캣&스프링)
데이터베이스
AI
1
4
3
1.안드로이드에서 Sound Labelling
작업을 할 동영상 파일을 음성파일으
로 변환하는 요청을 합니다.
2. FFmpeg 인코더를 통해 동영상파
일 음성파일로 변환합니다.
3.Clova Speech Recognition API를
통해 음성파일에 대한 자막파일을 생
성합니다.
4.음성파일과 자막파일에 대한 정보
를 데이터베이스에 저장합니다.
인코더
2
참고 2. Sound Labelling Automation

22. 클라이언트
웹서버/웹어플리케이션
서버 (톰캣&스프링)
데이터베이스
1
3
1.안드로이드에서 OCR(Optical Char
acter Recognition) Labelling 작업
을 할 이미지 파일에서 텍스트 정보
추출을 요청을 합니다.
2. Tesseract-OCR을 통해 이미지에서
글자를 탐지(Detection)하고, 탐지한
글자를 인식(Recognition)하여 텍스
트를 생성합니다.
3. 이미지파일과 텍스트 정보를 데이
터베이스에 저장합니다.
AI
2
참고 3. OCR Labelling Automation
물리서버

23. 클라이언트
웹서버/웹어플리케이션
서버 (톰캣&스프링)
데이터베이스
1
3
1.안드로이드에서 Image Labelling
작업을 할 이미지 파일과 유사한 물체
3가지에 대한 텍스트 정보를 서버에
요청합니다.
2. CNN Layer를 사용해 학습한 모델
을 통해 요청한 이미지와 유사도가 가
장 높은 물체 3가지에 대한 텍스트
정보를 생성하고, 반환합니다.
3.이미지 파일과 사용자가 입력한 라
벨링 텍스트를 데이터베이스에 저장
합니다.
AI
2
CNN
참고 4. Image Labelling Automation
*부가설명
-cifar100* 데이터를 사용하여 학습 (*cifar100 : 물체 100개에 대해서 구성되어 있는 데이터 셋)
-CNN Layer를 사용해 학습, activation function은 relu 사용 -batch normalization으로 정규화
- loss function으로 categorical crossentropy 사용
-Input 32 x 32 크기로 이미지 받고 output layer 노드 개수는 100개로 물체가 100 개 이기 때문에 노드 개수를 100개로 설정
물리서버