객체검출 평가지표 AP(Average Precision)란? mAP, AP50, AP50:95, IoU 쉬운설명

1. PR curve 및 임계값이란

• Precision-Recall curve (PR curve)는 인공지능모델의 분류 및 객체검출 능력을 시각화하는 방법 중 하나입니다. 이를 그리기 위해, 모델의 결과를 임계값(threshold)에 따라 분류하여 Precision과 Recall 값을 계산합니다.
• Precision은 모델이 예측한 것 중 실제로 맞은 비율이고, Recall은 실제값 중 모델이 예측한 비율입니다. PR curve는 임계값을 달리하였을때, Recall 값을 x축으로, Precision 값을 y축으로 표시한 곡선입니다.
• 임계값(threshold)은 모델이 결과를 결정하는 기준값입니다. 예를 들어, 분류에서는 모델이 예측한 확률값 (confidence score) 기준을 정해서 기준 이상인 경우만 유효한 결과로 사용할 수 있고, 객체 검출을 하는 경우에는 IoU(Intersection over Union)를 임계값으로 사용하여 특정 IoU값 이상인 결과물만 유효한 검출로 인정할 수 있습니다. 

PRcurve 예시

분류(Classification) 성능 평가지표, 정확도, Precision, Recall, F1-score 쉬운 설명

 

 

 

2. IoU란

• Intersection over Union(IoU)은 객체 검출에서 자주 사용되는 지표 중 하나입니다. 
• IoU는 두 박스의 교집합 영역을 두 박스의 합집합 영역으로 나눈 값으로 계산됩니다.
• IoU 값은 0과 1 사이의 값으로, IoU가 높을수록 두 박스가 서로 겹치는 면적이 많다는 것을 의미합니다.
• IoU는 객체 검출에서 가장 중요한 지표 중 하나이며, 모델의 성능을 평가하는 데에 매우 유용합니다

 

 

3. AP(Average Precision)란

• Average Precision(AP)는 객체 검출(Object Detection)에서 모델의 성능을 평가하는 지표 중 하나입니다. 
• AP는 앞서 설명했던 Precision-Recall 곡선(PR curve) 아래 면적을 의미합니다. 이 곡선의 모양은 모델의 성능에 대한 정보를 제공합니다. 
• AP는 0과 1 사이의 값을 가지며, 값이 클수록 모델의 성능이 좋다는 것을 의미합니다.

 

 

4. AP50, AP50:95란

• AP50
  • AP50은 AP의 한 종류로, 정밀도-재현율 곡선에서 임계값(threshold)을 0.5로 설정하여 계산한 AP 값을 의미합니다. 이는 모델이 IoU가 0.5 이상인 bounding box를 검출한 경우를 기준으로 모델의 성능을 평가하는 지표입니다.
  • Average Precision at 50의 약자로, 객체 검출에서 IoU 임계값이 0.5일 때의 AP를 의미합니다.
  • IoU 임계값이 0.5일 때, 모델이 찾은 박스와 실제 박스가 50% 이상 겹치면 TP(True Positive)로 판단합니다.
• AP50:95
  • AP50:95는 AP 값을 계산할 때, 여러 임계값(threshold)을 사용하여 AP 값을 계산하는 방법입니다.
  • 보통 0.5에서 0.95까지 0.05단위로 임계값에 대한 AP 값을 평균 내어 계산합니다.
  • 이는 모델이 다양한 IoU 임계값에 대해 강건한 성능을 보일 수 있는지를 평가하는 지표입니다.

 

 

5. mAP란

• mean Average Precision(mAP)은 AP를 모든 클래스에 대해 평균을 내어 계산한 값입니다.
• 객체 검출 문제에서 다양한 클래스 객체에 대한 모델의 전반적인 성능을 측정하는 중요한 지표이며 가장 많이 사용되는 지표입니다.