Balanced Accuracy (균형 정확도)

Balanced Accuracy(균형 정확도) 는
class imbalance(클래스 불균형) 가 있는
classification(분류) 문제에서 사용하는
evaluation metric(평가지표)임.

Ordinary Accuracy

일반적인 Accuracy(정확도) 는 전체 sample 중 맞춘 비율임.

$$\text{Accuracy} = \frac{\text{맞춘 sample 수}}{\text{전체 sample 수}}$$

 

하지만,

• 특정 class의 sample 수가 매우 많으면,
• model(모델)이 majority class(다수 클래스)만 잘 맞춰도
• accuracy가 높게 나올 수 있음.

---

Balanced Accuray

앞서의 class imbalance 에서의 일반 accuracy가 가지는 문제점을 극복하기 위해

각 class별 Recall(재현율) 을 따로 계산한 뒤 평균낸 것이 Balanced Accuracy(균형 정확도) 임.

 

$$\text{Balanced Accuracy} = \frac{1}{K} \sum_{k=1}^{K} \text{Recall}_k$$

• 여기서 $K$는 class 개수임.

즉, Balanced Accuracy(균형 정확도)는

sample 수가 많은 class가 전체 성능을 과도하게 지배하지 못하도록,

각 class의 Recall(재현율)을 같은 비중으로 반영한 metric(평가지표)임.

---

4-class classification(4개 클래스 분류)의 예

다음과 같이 4개의 class가 있다고 하자.

실제 class	sample 수	맞춘 개수	Recall(재현율)
A	100	90	(90/100 = 0.90)
B	50	30	(30/50 = 0.60)
C	20	10	(10/20 = 0.50)
D	10	2	(2/10 = 0.20)

 

이때 Balanced Accuracy(균형 정확도)는 다음과 같음.

$$\text{Balanced Accuracy} = \frac{0.90+0.60+0.50+0.20}{4} = 0.55$$

즉, balanced accuracy는 55% 임.

 

반면 일반 accuracy는 다음과 같음.

$$\text{Accuracy} = \frac{90+30+10+2}{100+50+20+10} = \frac{132}{180} \approx 0.733$$

즉, 일반 accuracy는 약 73.3%임.

 

이 예에서 accuracy는 73.3%로 비교적 높아 보임.

• 하지만 class D의 recall은 $0.20$ 에 불과함.
• 즉, minority class(소수 클래스)인 D를 거의 맞추지 못하고 있음.

Balanced Accuracy(균형 정확도)는
각 class의 recall을 동일한 비중으로 평균내기 때문에,
이런 문제를 더 잘 드러냄.

---

참고: Binary Classification

Binary Classification(이진분류)에서는 negative class(음성클래스) 에 대한 Recall은 Specificity (특이도)라고도 불림.

 

때문에 다음과 같이 기재된 문헌도 많음:

$$\text{Balanced Accurayc} = \frac{\text{Sensitivity} + \text{Specificity}}{2} = \frac{\text{TPR}+\text{TNR}}{2}$$

 

* $\text{TPR}=\frac{\text{TP}}{\text{TP}+\text{FN}}$ : True Positive Rate(참양성률) = Recall = Sensitivity

* $\text{TNR}=\frac{\text{TN}}{\text{TN}+\text{FP}}$ : True Negative Rate(참음성률) = Specificity

 

위의 식은 앞서의 정의와 정확히 일치하나, 익숙치 않은 경우엔 다르게 보이므로 노파심(?)에서 다시 기재함.

 

참고로, 

ROC Curve에서 사용되는 Fallout(위양성률) 은 1-Specificity 으로 False Positive Rate라고도 불림.

https://dsaint31.me/mkdocs_site/ML/ch02/ml_cls_metrics/?h=roc#receiver-operating-characteristics-roc-and-auc

BME

---

요약

Balanced Accuracy(균형 정확도)는

• 각 class별 Recall(재현율)을
• 동일한 비중으로 평균낸 metric(지표)이며,
• class imbalance(클래스 불균형)가 있는 경우
• 일반 Accuracy(정확도)보다 더 적절한 평가 지표가 될 수 있음.

---

같이 보면 좋은 자료

https://ds31x.tistory.com/307

[ML] Classification 과 관련 metrics 에 대한 소개.

https://dsaint31.me/mkdocs_site/ML/ch02/ml_cls_metrics/

BME

---