Confusion Matrix로 분류모델 성능평가 지표(precision, recall, f1-score, accuracy) 구하는 방법
먼저 Confusion Matrix(혼동행렬)란, 이진분류(Binary Classification) 나 다중분류(Multiclass Classification)에서 어떤 모델의 분류가 잘 되었는지 평가하기 위해 모델의 결과를 시각화한 표 또는 행렬이다. Binary
kyull-it.tistory.com
PR curve; Precision-Recall curve
: 객체인식 결과에 대한 confidences에 대해 threshold를 지정하여 TP, FP를 구별해준다. 이를 통해 precision과 recall을 구해줄 수 있는데, threshold를 어떻게 정의하냐에 따라서 precision과 recall의 값이 달라진다. confidence에 대한 threshold의 변화에 따른 precision-recall의 값을 그래프로 표현한 것이 PR curve이다.
* 장점 - 전반적인 성능평가에는 성능이 좋음
* 단점 - 하지만 정량적으로는(quantitatively) 비교하기에 어려움
PR curve를 보완하여, mAP는 하나의 수로 정량적으로 모델을 평가할 수 있도록 개발되었다.
mAP; mean Average Precision
- object detection의 정확도 평가는 대부분 mAP로 한다.
- PR curve 그래프의 면적으로 계산할 수 있다.
- 또는 class당 AP를 구한 후, 해당 AP들을 클래스개수로 나눈 평균을 구하면 된다.
- python으로 mAP 계산하기 : https://github.com/Cartucho/mAP
추가로 구체적인 설명은 bskyvision님의 글에 잘 정리되어 있으니 참고하면 좋겠다.
물체 검출 알고리즘 성능 평가방법 AP(Average Precision)의 이해
물체 검출(object detection) 알고리즘의 성능은 precision-recall 곡선과 average precision(AP)로 평가하는 것이 대세다. 이에 대해서 이해하려고 한참을 구글링했지만 초보자가 이해하기에 적당한 문서는 찾
bskyvision.com
'AI > Fundamental' 카테고리의 다른 글
| Transformer 모델 - Positional Encoding 포지셔널 인코딩에 대해서 알아보자. (1) | 2023.12.28 |
|---|---|
| 딥러닝에서 Multi Granularity Feature (다중 세분화 기능) 이란? (0) | 2023.12.15 |
| 회귀분석 평가지표 정리해보기 (Metrics ; MAE, MAPE, MPE / MSE, RMSE, MSLE / R2 score) (2) | 2023.11.02 |
| 다양한 관점에 따른 변수의 종류 모음. (수학, 데이터) (0) | 2023.10.16 |
| 정규화란? Normalization, Regularization 정규화 종류에 대해서 알아보자. (0) | 2023.09.13 |