mAP에 대한 설명 자료

1. mAP
(Mean Average Precision)
2018.09.18
김정훈 jhkim@dilab.co.kr

2. Mean Average Precision
 mAP
 검색 알고리즘의 성능을 평가하는 지표 중 하나
 AP; average of the maximum precisions at different recall values
 precision, recall and IoU
2

3. Confusion Matrix
 Binary Classfier 의 Prediction 결과
 Prediction 과 Ground Truth 의 일치여부로 True/False 를 정한다.
 Prediction 결과에 따라 Positive/Negative 를 정한다.
3

4. Precision & recall
 정밀도(Precision)
 Precision 은 분류기가 P로 예측한 sample 중에서 맞게 예측한 것의 비율
 재현율(Recall)
 Recall 은 Ground Truth 의 총 positive sample 중에서 positive로 맞게 예
측한 것의 비율
4

5. Precision & recall
 testing for cancer:
5

6. IoU (Intersection over union)
 how much overlap between 2 regions
6

7. AP; average precision
 average of the maximum precisions at different recall values
7

8. AP; average precision
 calculation of the average precision
 5 in the whole dataset
 IoU ≥ 0.5
8

9. AP; average precision
 calculation of the average precision (rank #3)
 Precision is the proportion of TP = 2/3 = 0.67.
 Recall is the proportion of TP out of the possible positives = 2/5 = 0.4.
9

10. AP; average precision
 calculation of the average precision
 Precision is the proportion of TP = 2/3 = 0.67.
 Recall is the proportion of TP out of the possible positives = 2/5 = 0.4.
10

11. AP; average precision
 calculation of the average precision
11

12. AP; average precision
 calculation of the average precision
 average of maximum precision at these 11 recall levels
 definition
12

13. AP; average precision
 calculation of the average precision
 AP = (5 × 1.0 + 4 × 0.57 + 2 × 0.5) /11 = 0.752
13

14. mAP
 mAP (mean Average Precision)
 just the average over all classes
 it is often called AP instead
14

15. The PASCAL Visual Object Classes (VOC)
Challenge
 Evaluation of Results
 Threshold 를 0으로 정해놓고 detection 알고리즘을 모든 test image 에
돌려본다
 bounding-box 에 해당하는 confidence score (객체일 확률)과 true
positive / false positive 여부를 Pair로 저장한다
 pair 를 확률값에 따라 내림차순으로 정렬한다
15

16.  Interpolated recall-precision 값 11개를 구한다
 11개의 recall 값 : [0.0, 0.1, …, 1.0] 의 evenly-spaced 11-values
 AP
 11개의 precision 값의 평균
 mAP
 여러개의 object 에 대해 AP 를 구하고 평균을 구한다
16
The PASCAL Visual Object Classes (VOC)
Challenge

17. COCO mAP
 COCO dataset
 AP is the average over multiple IoU
 AP@[.50:.05:.95]
 start from 0.5 to 0.95 with a step size of 0.05
 mAP@.75 means the mAP with IoU=0.75
17

18. mAP
 인식 threshold 에 의존성없이 성능평가가 가능하다.
 mAP 평가를 통해 최적 threshold 를 정할 수 도 있다.
 굉장히 느리다.
모든 Test Image 에서 Threshold 0 이상의 box 를 추출하
고 정렬하는 과정을 거쳐야 하므로.
18

19. Reference
 https://www.coursera.org/learn/ml-classification/home/week/6
 https://sites.google.com/site/hyunguk1986/personal-study/-ap-map-
recall-precision
 https://www.youtube.com/watch?v=pM6DJ0ZZee0
 http://better-today.tistory.com/3
 https://medium.com/@jonathan_hui/map-mean-average-precision-
for-object-detection-45c121a31173
 http://homepages.inf.ed.ac.uk/ckiw/postscript/ijcv_voc09.pdf
 http://cocodataset.org/#home
19

20. Q&A
20