NIST(미국 국립표준기술연구소)가 주관하는 안면인식 공급업체 테스트(Face Recognition Vendor Test, 이하 FRVT) 는 안면 정보를 이용하여 출입국 심사, 여권 불법 복제 탐지, 미성년자 이용 범죄 피해자 식별 등 민간, 사법, 보안 영역에서 활용하는 자동화된 얼굴 인식 기술의 성능을 측정하는 대회로 본 문서에서는 주요 4가지 평가 유형 및 특징에 대해 설명합니다. 안면인식 테스트 (이미지, 영상)과 이상행동 식별에 대한 테스트가 필요한 경우는mkbaek@onycom.com으로 연락 부탁드립니다.

1. 안면 인식 밴더 테스트
(미국 국립 표준 기술 연구소)
(Face Recognition Vendor Test, FRVT)
본 문서는 어니컴(주)이 발행하는 문서이며 저작권법에 의해 보호를 받는 저작물입니다.
원문 출처를 표기하는 조건 하에 원문 그대로 공유 가능하며, 수정 및 영리 사용은 금지됩니다.
Copyright © 2021 by ONYCOM Inc. All Rights Reserved.

2. Content
Ⅰ. FRVT 개요
Ⅱ. 평가 유형 및 특징
1. 1:1
2. 1:N
3. Morph
4. 품질 평가
5. Face Mask Effects
6. Demographic Effects
7. Paperless Travel

3. Ⅰ. FRVT 개요

4. Ⅰ. FRVT 개요
NIST(미국 국립표준기술연구소)가 주관하는 안면인식 공급업체 테스트(Face Recognition Vendor Test, 이하 FRVT는
안면 정보를 이용하여 출입국 심사, 여권 불법 복제 탐지, 미성년자 이용 범죄 피해자 식별 등 민간, 사법, 보안 영역에서
활용하는 자동화된 얼굴 인식 기술의 성능을 측정하는 대회로 주요 4가지 테스트가 있음
• 1:1 매칭 (두 사진 속 인물이 동일인인지 판별하는 능력)
• 1:N 매칭 (시스템에 입력된 사람이 DB에 있는 사람인지, 유사한 지를 사진 1장과 여러 사람 비교 후 매칭)
• Morph (시스템에 등록된 이미지가 합성된 이미지 있지 판별)
• 품질 (이미지 품질 평가)
대회 참가 기업은 2~4년에 걸쳐 4개월에 한 번씩 새로운 알고리즘을 제출하고,
NIST는 제출한 알고리즘 성능을 평가함. 결과는 리포트 형태로 웹사이트에 게시됨.
결과 리포트는 정확도, 속도, 스토리지 및 메모리 소비량, 유연성 측정 결과를 포함하고 있음.
4

5. Ⅰ. FRVT 개요
1. 참가 방법
- 개발자는 NIST에 참가 동의서를 제출
- 공개된 C++ API를 통해 프로토타입을 변환하여 제출
- 유효성 검증 패키지(제출 패키지 생성)로 라이브러리 실행
- 패키지 암호화 및 암호화된 패키지는 다운로드 링크로 제공
5
2. 참가 동의서
- FRVT는 미국 정부 기관인 NIST에서 수행 주관
- 참가비 무료
- 참가 동의서의 모든 페이지에 서명 후 실물 우편 발송
- PDF 스캔 사본 frvt@nist.gov로 제출
※ 참가 업체가 NIST와 서신을 주고받을 때는 기업 이메일 주소를 사용(gmail.com, mail.ru 등 불가)해야 하며,
참가 신청서의 연락처 란에 이메일 주소 필수 기재, 해당 기업의 공식 웹사이트가 존재해야 함.

6. Ⅰ. FRVT 개요
3. 암호화
- 모든 제출물은 NIST로 전송 전, 적절하게 암호화 및 서명을 거쳐야 함
- 지침에 따라 FRVT Ongoing 공개 키 이용
- 참가 기업은 공개 키를 NIST에 이메일로 발송
- 공개 키는 서명된 참가 동의서에 제공된 참가자의 공개 키 지문과 일치해야 함
6
4. 유효성 검증
- 모든 참가자는 제출 전에 업데이트된 유효성 검증 패키지를 실행해야 함
- 유효성 검사로 참가자 측 및 NIST 실행 간의 일관된 알고리즘 결과가 도출되는지 확인
※ 핵심 라이브러리의 제공 업체를 식별하는 이름은 소프트웨어 주요 제공자로서의 적절성, 대표성, 비 침해성을 준수하는 것이어야 하고,
조직의 대표성이 없는 이름으로 제출될 경우 NIST는 테스트 제출을 거부할 수 있음

7. Ⅰ. FRVT 개요
5. API 문서
- 모든 진행 중인 FRVT 트랙 간 공유되는 평가 사양 공통 정보
* 참고 - https://pages.nist.gov/frvt/api/FRVT_common.pdf
- API를 지원하는 HW 및 운영 체제 환경, 소프트웨어 요구 사항, 보고 및 API를 지원하는
공통 데이터구조를 포함해 일반적인 평가 규칙을 안내하고 있음
7
※ GitHub - https://github.com/usnistgov/frvt

8. Ⅰ. FRVT 개요
6. 제출
- NIST C++ 테스트 API에 적합하게 컴파일된 Black-box 라이브러리 형태로 제출
- 20MB 미만 암호화 파일 NIST(frvt@nist.gov) 이메일 제출
- 20MB 이상 암호화 파일 http 웹서버(예: Google 드라이브) 다운로드 링크 제공(단, Drop box 불가)
- 별도 사이트 가입 및 회원 제도 없음
- 참가자가 서명한 참가 동의서가 NIST로 전송되는 즉시 알고리즘 제출 가능
- FRVT 메일링 리스트에 가입 필수(피드백)
8
7. 결과
- NIST 테스트 완료 후 결과는 테스트 별로 사이트 보드에 게시
- 보통 약 1달에 1번 업데이트
8. 문의/의견
- frvt@nist.gov 제출

9. Ⅱ. 평가 유형 및 특징

10. ❖ 1:1 검증 개요
- 얼굴 인식 알고리즘 평가
- 몇 가지 다른 데이터 세트에서 FNMR (False Non-Match Rate)로 측정된
1 : 1 최고 성능의 알고리즘 평가
- 얼굴이 가려진 사진에 대한 알고리즘 실행을 통해 안면 마스크 착용 효과 검증 추가
10
1. FRVT 1:1 _ 개요

11. 1. FRVT 1:1 _ 주요 성능 검증 지표
❖ 정확도
- FNMR(False Non-Match Rate)에서 측정된 1:1 알고리즘 최고 성능 평가
- FNMR(False Non-Match Rate): 실제는 같으나 서로 일치하는 것으로 잘못 판단
- FMR(False Match Rate): 실제는 다르지만 일치하는 것으로 잘못 판단
11
(1)
(2)
(3)
(4)

12. 1. FRVT 1:1 _ 주요 성능 검증 지표
❖ 자원 성능
- FRVT에 제출된 알고리즘은 NIST의 API로 구현
- 업로드된 서버 클래스 시스템에서 C++ std::chrono::high resolution clock을 사용하여
모든 호출 함수의 지속 시간을 측정함
- 템플릿 생성, 완료, 검색 호출 지속 시간이 포함되어 있으며 알고리즘의 크기는
모델과 라이브러리의 두 부분으로 나타냄
12
❖ 자원 소비량
- HW, 전력, 냉각, 처리 시간, 메모리, 저장 공간 등

13. 1. FRVT 1:1 _ 데이터 셋
❖ 데이터 셋
1. 데이터를 미성년 착취 범죄, 입국자 비자, 디바이스 라이브용, 출입국 심사대, 범죄 범인의 머그샷,
실생활(Wild) 사진 분야로 나뉜 부분별 한 쌍의 사진에 대해 동일인 일치 여부를 식별함
2. 사용되는 이미지는 대부분 식별용 얼굴 사진(비자, 머그샷 등)이지만 위키미디어에서 찾아볼 수 있는
무보정 스틸 이미지와 웹 카메라로 촬영한 저 해상도 이미지 포함
13
비자 머그샷 실생활 사진 출입국 심사

14. ❖ 1:N 검증 개요
- FRVT 2018은 최소 1,000만 개 신원의 사진이 등록된 갤러리에서 찾고자 하는 사진과 유사한 얼굴을
인식하는 알고리즘 정확도와 속도에 대한 성능을 측정. 주로 기본 세로 이미지를 사용하며,
대상별 인구학적 통계 및 이미지별 품질 요인에 따라 어떻게 달라지는지를 계량화함.
* 참고: https://pages.nist.gov/frvt/html/frvt1N.html
- 중복 감지, 여권 및 운전면허증과 같은 신분증을 이용한 위조 앱 인증 감지, 토큰 없는 엑세스 제어,
감시, 소셜 미디어, 태킹, 유사 발견, 범죄 수사 및 포렌식 클러스터링 등 세계적으로 다양하게
활용되고 있음
14
2. FRVT 1:N _ 개요

15. ❖ 인식 성능
- 오류 조건의 빈도 정량화
1) False positives: 이전에 등록되지 않는 사람을 등록되어 있는 사람으로 인식
2) Misses: 등록된 사람을 올바른 신원으로 반환하지 않음
3) FPIR(False Positive Identification Rate): N명이 존재하는 DB에서 어떠한 사람을 인식했다는 결과가
나왔으나 그 결과가 틀릴 확률
4) FNIR(False Negative Identification Rate): 임계값 이상으로 짝을 반환하지 못한 짝 비율
15
2. FRVT 1:N _ 주요 성능 검증 지표
❖ 조사 성능
- 임계값이 ‘0’이고 알고리즘이 지원자를 고정된 수(50)로 반환할 때 FNIR를 보여줌
- FNIR는 알고리즘이 올바른 후보를 1순위로 두지 않고 매칭 한 검색 비율

16. ❖ 여권 관련 사진 이미지
- 신청서 사진(300*300 사이즈)
- 출입국 심사대 사진
- 키오스크 사진
16
2. FRVT 1:N _ 데이터 셋
평가에는 정면 머그샷, 프로필 뷰 머그샷, 데스크톱 웹 캠 사진, 비자와 유사한 이민 신청서 사진,
이민 레인 사진 및 등록된 여행자 키오스크 사진의 6가지 데이터 세트가 사용되며,
이러한 데이터 세트는 NIST에서 별도 분리되어 있어 교육 등의 이유로 개발자 액세스가 불가함
❖ 법 집행 시 취득한 이미지
- 머그샷
- 프로필 사진
- 웹 캡 이미지
❖ 사진 등록
- 정기 또는 비정기적으로 피험자의 생체 데이터를 두 번 이상 수집하고 등록하는 것을 포함
- 지난 테스트를 통해 과거의 이미지가 보존되고 사용된 경우 높은 정확성을 보임
- 최신, 전 생애 순으로 등록

17. 17
3. FRVT Morph
❖ Morph 검증 개요
- 얼굴 모핑은 이미지 조작 및 이를 감지하는 기능을 말하며, 하나의 얼굴 사진이
둘 이상의 얼굴로 모핑 또는 함께 혼합되어 나타남
- 프로토타입 얼굴 모핑 공격 탐지(MAD) 기술에 대해 지속적으로 독립적인 테스트를 제공
- 평가는 일반적으로 측정되는 값을 얻도록 설계되었으며, 개발자와 사용자에게 정보를 제공하기 위한
모프 감지 기능 평가
❖ 주요 결과 및 주목할 점
- 대부분 모핑에 사용되는 이미지가 정식 사진이기 때문에 모핑 감지 기술은 매우 낮은 오탐지율을 나타냄
- 단일 이미지 모핑 탐지
1) 이미지 변형
2) 프린팅, 스캐닝
3) 2개의 다른 모핑 탐지

18. 18
4. FRVT Quality Assessment (품질 검증)
Part 5: Face Image Quality Asssessment (안면 이미지 품질 검증)
❖ 스칼라 품질 점수 활용 예
- 이미지 X가 주어지면 이미지 품질 평가 알고리즘 F는
스칼라 품질 점수 Q=F(X)를 생성함
ex) 이미지 스칼라 품질 점수 활용한 4개의 얼굴 이미지
❖ 품질 검증 개요
- FRVT 안면 이미지 품질 검증은 얼굴 인식에 비해 상대적으로 덜 성숙한 분야로 NIST는 이 활동을
검증이 아닌 개발로 간주하고 있으며, 특히 성능 지표가 아직 개발이 완료되지 않아 최근 보고서에서는
현재 시도되는 방법에 대해 설명하고 있음
- FRVT 품질 검증 트랙은 이미지의 스칼라 품질 점수를 통해 알고리즘을 평가하여 불량 이미지의
자동 감지를 개선하고자 함
∙ 안면 인식 알고리즘의 경우 그간 다양한 방식의 시도로 인해 정확도가 크게 향상되고 있으며,
안면 이미지 호환 표준에 명시된 얼굴 이미지 상태와 관련된 요구 사항을 준수하는 요인 또한
알고리즘의 정확도 향상에 기여하는 측면이 있음
Q=95 Q=85 Q=62 Q=42

19. 19
4. FRVT Quality Assessment (품질 검증)
❖ 활용 사례
- 사진 승인: 스칼라 이미지 품질 점수를 사용하여 사진의 승인 또는 거부에 대해 결정할 수 있음
시스템이 저품질 이미지는 거부하고 새 이미지를 수집하게 하는데 카메라, 클라이언트 컴퓨터 또는
원격 서버상에서 이러한 절차를 구현할 수 있음. 특히 이전 참조 이미지 없는 대상일 경우 같은 초기
등록 시 유용하게 활용됨
- 품질 요약: 이미지 관리 지표로 유용함. 예로, 어떤 기업의 서로 다른 직원이 다른 장소/조건/주제로
얼굴 이미지를 수집할 때 일부 품질 값을 사용하여 수집의 효율성을 요약 관리할 수 있음.
이것은 평균 수준의 품질 또는 저품질 이미지의 비율 등의 통계를 사용하여 수행할 수 있으며,
A-B 테스트 반응 변수를 이용해 장소적 문제, 모집단 효과, 주행성 또는 계절적 변동을 밝히는 데 사용 가능함
- 사진 선택: 여러 개의 이미지 중 품질 점수를 계산해 가장 높은 점수를 도출한 이미지 1개를 선택
이 작업은 수신 시스템이 단 하나의 이미지 수신을 대기 중일 때, 그 하위 시스템에서는
수집된 여러 이미지 중 어떤 이미지를 전송해야 하는지 결정해야 할 때 유용

20. 20
4. FRVT Quality Assessment (품질 검증)
❖ 품질 알고리즘 성능 연구
- 품질 평가 알고리즘(QAA): 이미지에 나타난 자세나 조명 및 해상도의 비정형성을 다양하게 교차시켜
이미지가 일정한 수준을 충족하지 않을 때 낮은 품질 점수를 부여하는 성능에 대해 평가
- QAA는 두 가지 종류의 오류를 범할 수 있음
즉, 잘못된 거부(False rejection) – 이미지가 불량하지 않은데 불량하다고 하면 비용을 발생시키고,
잘못된 수용(False acceptance) – 이미지가 양호하지 않은데 양호하다고 하면 인식 오류가 발생함
- 인식 실패를 예측하기 위해 화질을 요구하는 이 방식은 기계학습으로 이미지에서 인식 점수로
측정치를 매핑하는 지문용 NFIQ 개발의 기초가 되었음
❖ 평가 결과
- 결과표는 QAA가 인식 실패를 예측하는 데 얼마나 효과적인지를 보여줌
- 33개의 정확한 FRVT 검증 알고리즘 집합에서 잘못된 비일치율(FNMR)이 1%가 되도록 인식
- 임계값을 설정하고 열거된 알고리즘에 의해 평가된 최저 품질 샘플 1과 5%를 폐기한 후 FNMR을 다시 계산
- 이상적인 경우 값의 1%를 삭제하면 완벽한 예측에 해당하는 FNMR = 0이 생성
- 그러나 실제로 QAA는 잘못된 비일치에 관련된 이미지에 대해 항상 낮은 품질 값을 할당하지는 않음

21. 21
5. FRVT Face Mask Effects (안면 마스크 효과)
❖ 진행 중인 FRVT Part 6B 연구: 안면 마스크 효과
전통적으로 얼굴 인식 시스템은 주요 얼굴 특징이 대부분 가려지지 않은 얼굴로 표시되나 전염병,
의료 환경 등 마스크로 얼굴이 가려지는 상황이 많이 발생함에 따라 마스크를 착용한 얼굴에 대해
알고리즘을 통한 최신 안면 인식 성능을 정량화하는 것을 목표로 안면 마스크 인식 정확도를 발표하였고
현재까지 FRVT 1:1에 198개 알고리즘이 누적 제출됨
❖ 정확도 결과표
- 프로브 이미지가 마스크 표시되고 등록 이미지가 마스크가 없는 상태인 VISA 데이터 셋의 결과를 보여줌
- 또한 두 이미지가 모두 마스크가 없는 경우 기준 FNMR를 포함
- FNMR 값은 보정된 고정 임계값이 마스크가 없는 이미지에서 FMR = 0.00001로 주어지는 상태
- FNMR은 지정된 FMR(False Match Rate)을 달성하기 위해 설정된 임계값 미만의 짝 비교 비율
- FMR은 해당 임계값 이상에서 가짜 비교 비율
* 참고 : https://pages.nist.gov/frvt/html/frvt_facemask.html

22. 22
5. FRVT Face Mask Effects (안면 마스크 효과)
❖ 참가 방법
- 현재 진행 중인 FRVT 1:1 검증 테스트에 제출된 모든 알고리즘은 마스킹 되지 않은
데이터 세트와 마스킹한 데이터 세트 모두에 대해 평가하고 있음
- 개발자는 아래와 같은 통합 패키지를 제출해야 함
∙ 마스크 되지 않은 이미지에서 전체 얼굴과 눈 주위 영역 모두에서 특징 추출
∙ 마스킹한 영상에서 눈 주위의 특징 추출
∙ 마스크 되지 않은 얼굴과 마스크 된 얼굴의 조합을 비교
- FMR은 모든 조합에 대해 거의 일정하게 나타남
- 테스트는 운영 현실을 모방하는 방식으로 설계되었음
- 일부 이미지에는 마스크가 있고 일부는 마스크 없음 (특히 DB 또는 ID 카드의 등록 샘플)

23. 23
5. FRVT Face Mask Effects (안면 마스크 효과)
❖ 성능 지표
- 일치 정확도
(1)
(2)
(3)
(4)
- 등록 실패(Failure to Enroll, FTE): 템플릿 생성을 시도했으나
실패한 비율
2. Wide, High
Coverage
3. Wide, Medium
Coverage
4. Wide, Low
Coverage
5. Round, High
Coverage
6. As row 3 in
White,
Light-Blue, Red,
and Black
1. Original Image

24. 24
6. FRVT Demographic Effects (인구통계학적 영향)
❖ 참가 방법
- 인구 통계적 의존성이 정확도 변화를 초래할 수 있다는 주장이 제기됨에 따라
NIST는 얼굴 인식 알고리즘에 대한 인구 통계학적 차이가 있는지 확인하기 위한 테스트를 실시
- 미국 내 수집한 머그샷, 이민 신청자 신청서, VISA, 입국자 심사대 중 앞 3개 분야의 경우
이미지 캡처 표준을 준수하나 마지막 입국자 심사대 이미지는 그렇지 않음
- 이 데이터 세트를 통해 189개의 상용 알고리즘(99명 개발자 제공)을 통해 849만 명에 대한
총 1,827만 개의 데이터를 처리 성별, 연령, 인종 또는 출생 국가로 정의된 인구통계학적
그룹에 대한 얼굴 인식 알고리즘 정확도 정량화

25. 25
6. FRVT Demographic Effects (인구통계학적 영향)
❖ 알아낸 사실
- 가장 정확도가 높은 알고리즘이 적은 오류를 보이고, 인구 통계적 차이도 더 적음
- 이미지의 품질이 좋으면 False positive(FP) 비율의 경우 서아프리카, 동아시아에서 가장 높고,
동유럽이 낮음, 다만 최근 중국의 알고리즘이 많아 동아시아 얼굴의 FP 비율이 낮아지면서 역전되는 중임
- 미국 내 법 집행 과정에서 취득한 이미지는 아메리칸 인디언, 아프리카 미국인, 아시아계에서 높은 FP를 보임
- 남성보다 여성에게서 FP가 더 높게 나타나며 이는 알고리즘과 데이터 셋에서 동일
- 노인과 어린이는 FP 높고, 그 영향은 최고령과 최연소에서 더 크고 중년 성인이 가장 적음

26. 26
7. FRVT Paperless Travel (무서류 여행)
❖ FRVT 프로그램의 새 보고서 Part 7
무서류로 여행 및 이민 시 사용하는 애플리케이션을 설명하고, 항공기 탑승과 공항 보안 지점 통과할 때
얼굴 인식에 따라 발생할 수 있는 생체 오류의 종류 및 결과를 설명하는 보고서임
❖ 동기
- 공항 환경에서 1:N 얼굴 인식이 활용되고 있으며, 여행객의 얼굴을 참석 예정자의 갤러리에서 매칭
- 기존 종이 탑승권은 카메라에 대한 생체 인식으로 대체될 수 있으며, 항공기에 탑승하는 동안 생체
인식은 두 가지 역할을 하는데, 첫째는 항공기에 대한 접근 통제를 위한 것이고, 둘째는 출국 비자를
소지한 사람의 편의를 위한 것임
❖ 성능 지표
- 여행자가 갤러리 사진과 일치하지 않으면 FNIR(False Negative Identification Rates)(“miss rates”)을 보여줌
- 이는 임계값에서 FPIR(False Positive Identification Rate)을 0.003으로 제한하도록 설정된 경우 수행됨

27. 27
7. FRVT Paperless Travel (무서류 여행)
❖ FRVT 프로그램의 새 보고서 Part 7
무서류로 여행 및 이민 시 사용하는 애플리케이션을 설명하고, 항공기 탑승과 공항 보안 지점 통과할 때
얼굴 인식에 따라 발생할 수 있는 생체 오류의 종류 및 결과를 설명하는 보고서임
❖ 동기
- 공항 환경에서 1:N 얼굴 인식이 활용되고 있으며, 여행객의 얼굴을 참석 예정자의 갤러리에서 매칭
- 기존 종이 탑승권은 카메라에 대한 생체 인식으로 대체될 수 있으며, 항공기에 탑승하는 동안 생체
인식은 두 가지 역할을 하는데, 첫째는 항공기에 대한 접근 통제를 위한 것이고, 둘째는 출국 비자를
소지한 사람의 편의를 위한 것임
❖ 성능 지표
- 여행자가 갤러리 사진과 일치하지 않으면 FNIR(False Negative Identification Rates)(“miss rates”)을 보여줌
- 이는 임계값에서 FPIR(False Positive Identification Rate)을 0.003으로 제한하도록 설정된 경우 수행됨

28. 본 문서는 어니컴(주)이 발행하는 문서이며 저작권법에 의해 보호를 받는 저작물입니다.
원문 출처를 표기하는 조건 하에 원문 그대로 공유 가능하며, 수정 및 영리 사용은 금지됩니다.
Copyright © 2021 by ONYCOM Inc. All Rights Reserved.
감 사 합 니 다
본 조사 내용 외 안면 인식 프로젝트 수행과 관련된 문의는
아래로 문의해주시기 바랍니다.
백민경 차장 | mkbaek@onycom.com
조사, 작성: 백민경
최종 검수: 손영수
편집, 디자인: 조아름이