분류 모형 평가: 오분류표와 ROC
쉽게 말하면
코로나 검사를 생각해 봐요. 실제 환자를 양성으로 잡아내는 비율이 민감도, 건강한 사람을 음성으로 맞히는 비율이 특이도예요. '양성' 판정을 받은 사람 중 진짜 환자의 비율이 정밀도예요. 환자가 아주 드물면 전부 음성이라고만 해도 정확도는 높아서, 정확도 하나로는 부족해요.
시험용 정의
오분류표(혼동행렬)는 분류 모형의 예측을 실제와 비교해 센 표다. 실제 양성을 양성으로 맞히면 TP, 음성으로 놓치면 FN, 실제 음성을 양성으로 잘못 잡으면 FP, 음성으로 맞히면 TN 이다. 여기서 정확도(TP + TN) / 전체, 오분류율 1 - 정확도, 민감도(= 재현율) TP / (TP + FN), 특이도 TN / (TN + FP), 정밀도 TP / (TP + FP), F1 = 2 × 정밀도 × 재현율 / (정밀도 + 재현율) 을 계산한다. 분류 기준값을 바꿔 가며 x 축에 1 - 특이도(거짓 양성 비율), y 축에 민감도를 그린 것이 ROC 곡선이고 그 아래 넓이가 AUC 다.
비유로 이해하기
화재경보기다. 실제 불이 났을 때 울리는 비율이 민감도, 불이 안 났을 때 조용한 비율이 특이도다. 경보가 울렸을 때 진짜 불인 비율이 정밀도다. 경보기를 예민하게 하면 불은 다 잡지만(민감도↑) 토스트만 구워도 울려서(특이도↓) 정밀도가 떨어진다.
자세히
그림으로 보기: 오분류표(혼동행렬)
오분류표
| 실제 양성 | 실제 음성 | |
|---|---|---|
| 예측 양성 | TP (참 양성) | FP (거짓 양성) |
| 예측 음성 | FN (거짓 음성) | TN (참 음성) |
지표 정리
| 지표 | 식 | 뜻 |
|---|---|---|
| 정확도 | (TP + TN) / 전체 | 전체 중 맞힌 비율 |
| 오분류율 | (FP + FN) / 전체 | 1 - 정확도 |
| 민감도 = 재현율 (TPR) | TP / (TP + FN) | 실제 양성 중 양성으로 맞힌 비율 |
| 특이도 | TN / (TN + FP) | 실제 음성 중 음성으로 맞힌 비율 |
| 거짓 양성 비율 (FPR) | FP / (TN + FP) | 1 - 특이도 |
| 정밀도 | TP / (TP + FP) | 양성 예측 중 진짜 양성 |
| F1 | 2PR / (P + R) | 정밀도 P 와 재현율 R 의 조화평균. 범주 불균형에 유용 |
ROC 곡선과 AUC
- x 축: 1 - 특이도 (FPR), y 축: 민감도 (TPR)
- 완벽한 모형은 왼쪽 위 (0, 1) 을 지난다
- 대각선(AUC = 0.5)은 무작위로 찍는 수준
- AUC 가 1 에 가까울수록 좋다. 0.9 이상이면 매우 좋은 편
그 밖의 평가 도구
| 도구 | 내용 |
|---|---|
| 향상도 곡선 (Lift) | 점수 상위 등급부터 실제 반응률이 기본 반응률보다 몇 배인지. 상위 등급의 향상도가 높고 급히 떨어질수록 좋은 모형 |
| 이익 도표 (Gain) | 상위 몇 % 를 고르면 전체 반응자의 몇 % 를 잡는지 누적으로 |
| PR 곡선 | x 축 재현율, y 축 정밀도. 양성이 드물 때 ROC 보다 차이가 잘 보인다 |
시험에 이렇게 나와요
- 예측 참 중 실제 참 → 정밀도, 실제 참 중 예측 참 → 재현율(민감도)
- 오분류표에서 민감도·F1·오분류율 계산 (F1 = 2TP / (2TP + FP + FN))
- ROC: x 축 1 - 특이도(FPR), y 축 민감도, 가장 좋은 점 (0, 1)
- 정밀도와 재현율의 조화평균, 불균형 자료에 유용 → F1
- 다른 데이터에도 유사한 결과 → 일반화
확인 문제
Q1. 모델이 '참'이라고 예측한 것 중 실제로도 참인 비율은?
- 특이도
- 재현율
- 정밀도
- 정확도
정답 보기
3번 정밀도
예측한 쪽(양성 판정)을 분모로 놓으면 정밀도, 실제 양성을 분모로 놓으면 재현율(민감도)이다.
Q2. TP = 30, FN = 10, FP = 20, TN = 40 일 때 민감도는?
- 0.6
- 0.67
- 0.7
- 0.75
정답 보기
4번 0.75
30 / (30 + 10) = 0.75.
Q3. 같은 오분류표(TP 30, FN 10, FP 20, TN 40) 의 정밀도는?
- 0.4
- 0.6
- 0.67
- 0.75
정답 보기
2번 0.6
30 / (30 + 20) = 0.6.
Q4. 같은 오분류표의 오분류율은?
- 0.1
- 0.2
- 0.3
- 0.7
정답 보기
3번 0.3
(20 + 10) / 100 = 0.3.
Q5. TP = 3, FP = 5, FN = 3 일 때 F1 점수는?
- 1/2
- 3/7
- 6/17
- 3/8
정답 보기
2번 3/7
2 × 3 / (2 × 3 + 5 + 3) = 6/14 = 3/7.
Q6. ROC 곡선의 x 축은?
- 재현율
- 민감도
- 정밀도
- 1 - 특이도
정답 보기
4번 1 - 특이도
y 축이 민감도, x 축이 1 - 특이도(거짓 양성 비율)다.
Q7. 양성이 1% 뿐인 자료에서 모두 음성으로 예측한 모형에 대한 설명으로 옳은 것은?
- 특이도가 0 이다
- 정확도는 99% 지만 재현율은 0 이다
- 정밀도가 100% 다
- 정확도와 재현율이 모두 99% 다
정답 보기
2번 정확도는 99% 지만 재현율은 0 이다
양성을 하나도 못 잡아 재현율 0. 정확도만 보면 속는다.
헷갈리기 쉬운 O·X
재현율은 모델이 참이라고 예측한 것 중 실제 참의 비율이다.
정답 보기
X 그건 정밀도다. 재현율은 실제 참 중 참으로 예측한 비율.
ROC 곡선이 왼쪽 위 모서리에 가까울수록 좋은 모형이다.
정답 보기
O
AUC 가 0.5 이면 매우 우수한 모형이다.
정답 보기
X 무작위로 찍는 수준이다.