AI 파이프라인과 실전 테스팅 전략

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

AI 파이프라인과
실전 테스팅 전략
데이터 품질 및 성능 지표
ONYCOM l CPO 손영수

배경
01.

머신러닝 분류
출처 : 생활코딩 머신러닝
3

머신러닝 분류
지도 학습
Supervised learning
강화학습
reinforcement learning
비지도 학습
unsupervised learning
정답이 있는 문제를 해결하는 것
데이터의 관찰을 통해 새...

회귀
출처 : 생활코딩 머신러닝
5

분류
6

분류 (종속변수, 독립변수)
출처 : 생활코딩 머신러닝
독립변수 종속변수 학습시킬 데이터를 만드는 방법
공부시간
합격 여부
(합격/불합격)
사람들의 공부시간을 입력받고, 최종 합격여부를 확인한다.
X-ray 사진과 영상...

강화학습
게임
환경
(Environment)
게이머
에이전트
(Agent)
게임화면
상태
(Status)
게이머의 조작
행동
(Action)
상과 벌
보상
(rewar)
게이머의 판단
정책
(policy)
8

AI PIPELINE (파이프라인)
튜닝
모델 선정
학습
데이터 준비
데이터 조사
ML Model Training
경량화 & 배포
모델 평가
재학습
9

AI 테스팅,품질 관리 담당자/기업이 해야 할일
원하는 AI 모델
원천 데이터
비 가공된 데이터
현실성 판단 불가
축적
활용
데이터 품질 체크
데이터 추출
학습 데이터 품질 체크
AI 모델 품질
모델 성능 측정 도구
평...

AI 생애주기
11
구분 1. 데이터 수집 및 전처리 2. AI 모델 설계 및 개발 3. 시스템 구현 및 배포 4. 운영
내용
• 수집
• 이용/제공 (전처리,가명처리)
• 파기/보관
• 설계/개발
• 모델적용/초기학습...

EDA (Exploratory Data Analysis)
SweetViz
https://github.com/fbdesignpro/sweetviz
두줄로 간단히 하는 EDA
https://bit.ly/3De2KBu
12

데이터의 품질 정합성 체크
13

데이터의 구문 정합성 (라벨링) 체크
14

데이터의 품질 정합성 체크
15

데이터의 편향성 체크가 핵심
정규분포
대부분의 데이터는 정규 분포 /이대
로 학습하면 편향성 발생
AI 스피커 인식시.
(소아, 장애인은 인식 못하는 경우)
균등분포
“그래서 데이터를 균등 분포를
만들어 학습 하는것이 ...

데이터 부족하면… (GAN)
GAN (Generative Adversarial Networking)
17

데이터 부족하면… (GAN)
GAN (Generative Adversarial Networking) 으로 생김새를…
18

AI PIPELINE (파이프라인) 설명
튜닝
모델 선정
학습
데이터 준비
데이터 조사
ML Model Training
경량화 & 배포
모델 평가
재학습
19

모델은 너무 많아요. (가져다 쓰시는게 편함)
안면 인식 모델 공개된 것만 16개 이상…
참고자료 https://github.com/seriousran/face-recognition
20

최고의 모델 + 최적의 매개변수 = 하이퍼 파라메터 최적화
신경망에서는 다수의 매개변수
(하이퍼 파라메터)가 존재
각 층의 뉴런 수
배치 크기
학습률
가중치 감소
21

성능 모니터링은 (Weight&Biases ->WandB.io)
22

AI PIPELINE (파이프라인) 설명
튜닝
모델 선정
학습
데이터 준비
데이터 조사
ML Model Training
경량화 & 배포
재학습
모델 평가
23

모델의 성능 평가지표 (혼동 행렬 = Confusion Matrix)
실제 정답
TRUE FALSE
분류 결과
TRUE
FALSE
True Positive(TP)
실제 True인 정답을 True라고
예측 (정답)
Fal...

모델의 성능 평가지표
Precision 정밀도란 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율
날씨 예측 모델이 맑다로 예측했는데, 실제 날씨가 맑았는지를 살펴보는 지표
Recall 재현율이란 실제 T...

모델의 성능 평가지표
실제 정답
TRUE FALSE
분류 결과
TRUE
FALSE
True Positive(TP) False Positive(FP)
False Negative(FN) True Negative(TN)
Ac...

모델의 성능 평가지표
Accuracy
정확도
정확도 의 단점
데이터가 편향되어 있을 경우…
이 경우에는 해당 data의 domain이 불균형 하게 되므로
맑은 것을 예측하는 성능은 높지만,
비가 오는 것을 예측하는 성능...

모델의 성능 평가지표
F1 Score 데이터가 편향되어 있을 경우… Precision, Recall 의 조화 평균
즉. 단순 평균보다 작은 쪽으로 치우치는 평균
28

모델의 성능 평가지표
Sensitivity
병에 걸린 사람이 검사결과 양성으로 나올 확률
TP / (TP + FN
민감도
Specificity
건강한 사람이 검사 결과 음성으로 나올 확률
TN/(TN+FP)
특이도
29

모델의 성능 평가지표
1) 적절한 평가 기준을 찾기
2) 모든 평가 기준에 최적의 해는?
ROC 수신자 조작 곡선 Receiving Operating Characteristic
평가하는 사람마다 기준이 다를 때.
30

모델의 성능 평가지표
ROC X,Y축
X = TPR(True Positive Rate = recall = sensitivity)은 실제 참(True)인데 참(Positive)이라 예측한 경우
Y = FPR(False P...

모델의 성능 평가지표
ROC-AUC (Area Under Curve) or AUROC (Area Under ROC)
하위 면적이 1(100)에 가까울수록 좋은 알고리즘
기준을 이렇게 해도, 저렇게 해도 잘 분류하는 알고...

그런데.. 알고리즘이 다들 너무 우수한 영역이라면
A 알고리즘 비정확도 = 0.0001%
A 알고리즘 정확도 = 99.9999%
B 알고리즘 비정확도 = 0.0009%
B 알고리즘 정확도 = 99.9991%
C 알고리즘...

모델의 성능 평가지표
ROC X,Y축을 못 맞추는 비율로 변경
X = FRR(False Rejection Rate = False Positive Rate)
정당한 주체가 잘못 거절되는 비율
(본인 거부율 = 생체인식에서...

못 맞추는 비율의 면적 (AUROC)이 0 에 수렴하면 좋은 그래프
35

지표보다 더 중요한건.. 평가 데이터 (사견)
튜닝
모델 선정
학습
데이터 준비
데이터 조사
ML Model Training
경량화 & 배포
모델 평가
재학습
36

평가 데이터 구성
노트북이라고 인식할 비율
99.9999%
하지만 현실은..
37

평가 데이터 구성 (이렇게 주면…)
장애물로 가려도 측면에서도 인식을 할 수 있나 포장지로 쌓여 있을 때는
? ? ?
38

데이터 편향성 체크가 핵심
39
백인, 남성
특권 그룹 Privileged group
비특권 그룹 unprivileged group
흑인, 여성

지표보다 더 중요한건.. 평가 데이터 (사견)
튜닝
모델 선정
학습
데이터 준비
데이터 조사
ML Model Training
경량화 & 배포
모델 평가
재학습
40

?
그 외에도..
임베디드 환경에서도 돌아가나?
CPU, 메모리 , GPU 사용율…
?
얼마나 빠르게 결과를 도출하느냐?
(TPS = 초당 판독율)…
41

실전개요
02.

사업소개 – 안면 인식의 필요성 (인천공항 법무부)
43

안면인식 시험 해외 사례 - NIST 미국 국립 표준 기술연구소 - FRVT
• 이미지 위주의 평가 분석
• C/C++ 언어만 지원 (DLL로 제출, 언어의 제약이 심함)
• GPU가 없는 제한된 환경에서 테스트 (임베...

• 다양한 밴더들이 참가할 수 있게
표준화된 Restful API 인터페이스 제공
• 공항 상황에서 여권 인식을
잘 수행하기 위한 최적화된 모델
• 인식률도 중요하나,
평균 5초, 최대 20초 안에 결과 출력 필수 됨
...

• 8채널 동시 테스트
• 실시간 이상행동 감지 테스트
• 공항에 최적화된 테스트 환경
다중 카메라에 의한 식별추적 예시
• 공항 상황에 최적화된 안면인식/ 이상행동 알고리즘 도출
• 낮은 해상도에서도 안면인식 알고리즘...

[심사 대기 구역]
[유인 심사대 구역]
기반환경 구축
47

학습 데이터 구축
03.

머신러닝 파이프라인
5000개의 이상행동 데이터 5000개의 이상행동 검증 데이터
튜닝
모델 선정
학습
데이터 준비
데이터 조사
ML Model Training
경량화 & 배포
모델 평가
재학습
1천만명 외국인 데이터
...

안면인식 이미지 구성 (19년도)
각도(D)
정면
상
하
좌
우
좌상
우상
좌하
우하
표정(F)
무표정
찡그림
웃음
눈감음
악세서리(A)
모자
목베개
사탕(막대사탕)
마스크(턱밑)
안경
귀걸이
안경 + 모자
모자 + 사...

안면인식 평가 이미지 구성 (20년도)
나이, 성별등을 고려한 균등 분포로 평가 데이터 셋 구성
51

이상행동 데이터 학습 데이터 생성
• 동영상에서 1:1, 1:N 식별
• 이상행동 요구사항
- 총 4종류의 이상행동 감지 : 돌진, 역방향 이동, 사람이 물건을 장시간 놓고 사라지는 행위, 2인 감지 (단, 2인 감지 ...

평가 모델 및 환경 구축
04.

기존 표준 분석 반영
[ FRVT ]
평가 유형 설명
FRVT 1:1
얼굴 인식 알고리즘 평가 및 몇 가지 다른 데이터 세트에서 FNMR (False
Non-Match Rate)로 측정 된 최고 1 : 1 성능의 알고리...

평가 모델 – 안면인식 이미지
• 안면인식 시스템 성능평가 [이미지]
- 이미지 1:1 평가: 두 개의 이미지를 입력 받아 두 이미지가 같은 사람인지 다른 사람인지 판단
- 이미지 1:N 평가: 하나의 이미지를 입력 받...

평가 모델 – 안면인식 동영상
• 안면인식 시스템 성능평가 [동영상]
- 동영상 1:1 검증 : 하나의 여권 사진과 동영상에 등장하는 사람이 같은 사람인지 다른 사람인지 판단
- 동영상 1:N 검증: 하나의 동영상을 입...

평가 모델 고도화 – 이상행동
[ 수행 구간 정의 ]
1s 2s 4s 5s
3s 6s
알고리즘이 예측한 ‘돌진＇
이상행동 구간
넓은 정의 구간 (loose interval)
대상 정의
loose interval
모호한 ...

평가수행 및 결과
05.

평가 모델 시스템 구축
RTMP
• 테스트 베드의 평가 시스템 요구사항
- 참여업체에서 개발된 프로그램을 동시에 검증할 수 있도록 평가 시스템 구축
- 참여업체에서 개발된 프로그램 소스코드 보안 필요
- 환경을 고려한 ...

평가 수행 사전 준비
• 평가 검증 절차 / 테스트 인터페이스 설명회 (네크워크 환경, 평가 검증 절차 및 안내 공지)
• 클라우드에서 접속 가능하도록 인터페이스 오픈
• 사전 테스트 기간 제공
[ 테스트 인터페이스 설...

평가 수행 후 결과 리포트 (이미지)
61

평가 수행 후 결과 리포트 (이미지)
62

평가 수행 후 결과 리포트 (이미지)
63

평가 수행 후 결과 리포트 (이미지)
64

AI 테스팅 전략
06.

AI 평가 모델 수행 전략
• 품질평가 기반 개선 포인트
컨설팅
- AI 품질 확보 방안 자문
- AI 성능 개선 자문
- AI 데이터 품질 자문
• 테스트 방법 컨설팅
- AI 테스트 가이드
• AI 모델 테스트(성능...

AI 시스템 테스트 방안 – AI 모델 테스트
ü 측정 지표를 통해 측정하며 신뢰 할 수 있는 측정값을 얻기 위해 다음 사항을 고려
1) AI 프로파일
2) AI 테스트 데이터 세트
3) AI 모델 측정지표(AI 모델별...

ML Task 세분화 및 성능지표
◎ 기계학습 태스크의 세분화 후 여기에 사용되는 성능지표를 정리해 제안요청서 상에 제시된 것을 포함하는
모든 성능지표를 파악에 컨설팅 대상기업이 사용하는 지표를 커버하고, 더 적합한 지...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1057327 views
Storytelling For The Web: Integrate... by Chiara Aliotta 973877 views
Artificial Intelligence, Data and C... by OECD Directorate ... 910242 views
How to Leverage AI to Boost Employe... by SocialHRCamp 385546 views
2024 State of Marketing Report – by... by Marius Sescu 218326 views
Everything You Need To Know About C... by Expeed Software 235577 views

View on Slideshare

1 of 68 Ad

View on Slideshare

1 of 68 Ad