불균형 데이터 처리
쉽게 말하면
카드 거래 1만 건 중 사기가 10건뿐이면, 모형이 '전부 정상'이라고만 해도 정확도가 99.9%예요. 그런데 사기는 하나도 못 잡죠. 이렇게 한쪽이 아주 적은 데이터는 적은 쪽을 늘리거나 많은 쪽을 줄여 균형을 맞추고, 정확도 대신 '사기를 몇 개 잡았나(재현율)' 같은 지표로 봐야 해요.
시험용 정의
불균형 데이터는 분류 문제에서 한 범주(다수 범주)가 다른 범주(소수 범주)보다 훨씬 많은 데이터다. 그대로 학습하면 모형이 다수 범주 쪽으로 치우쳐 정작 중요한 소수 범주(사기, 불량, 질병)를 놓친다. 처리 방법은 데이터를 바꾸는 언더샘플링(다수 범주를 줄임)·오버샘플링(소수 범주를 늘림)·SMOTE(소수 범주 사이에 새 점을 합성), 모형 쪽을 바꾸는 임곗값 이동과 비용 민감 학습(소수 범주를 틀리면 벌점을 크게), 그리고 앙상블이다. 평가는 정확도 대신 재현율·정밀도·F1·AUC를 본다.
비유로 이해하기
반에 왼손잡이가 2명뿐이면 '모두 오른손잡이'라고 찍어도 거의 맞는다. 왼손잡이를 제대로 알아보는 법을 배우려면, 오른손잡이 예시를 줄이거나(언더샘플링), 왼손잡이 예시를 늘리거나(오버샘플링), 왼손잡이를 틀리면 벌점을 크게 매긴다(비용 민감 학습).
자세히
샘플링 방법
| 방법 | 하는 일 | 장점 | 단점 |
|---|---|---|---|
| 랜덤 언더샘플링 | 다수 범주에서 무작위로 일부만 남김 | 학습이 빠름 | 버린 데이터의 정보를 잃음 |
| 토멕 링크 | 서로 가장 가까운 다른 범주 점 쌍에서 다수 범주 점을 지움 | 경계를 깔끔하게 | 줄어드는 양이 적음 |
| 랜덤 오버샘플링 | 소수 범주를 그대로 복제 | 정보 손실 없음 | 같은 점이 반복돼 과대적합 위험 |
| SMOTE | 소수 범주 점과 k-최근접 이웃 사이 선 위에 새 점 합성 | 복제보다 과대적합이 덜함 | 겹치는 영역에 잡음 점이 생길 수 있음 |
| ADASYN·Borderline-SMOTE | 분류하기 어려운 경계 근처에 더 많이 합성 | 경계 학습에 집중 | 잡음에 민감할 수 있음 |
모형 쪽 방법
- 임곗값 이동: 확률 0.5 대신 0.2 처럼 기준을 낮춰 소수 범주로 더 쉽게 분류
- 비용 민감 학습: 소수 범주를 틀렸을 때 손실(가중치)을 크게 줌
- 앙상블: 균형을 맞춘 여러 표본으로 여러 모형을 만들어 합침
꼭 지킬 순서
먼저 학습·평가 데이터로 나눈 뒤, 학습 데이터에만 샘플링한다. 평가 데이터까지 늘리거나 줄이면 실제 분포와 달라져 성능이 부풀려진다. SMOTE 로 만든 점이 평가 데이터에 섞이면 정보가 새는 셈이다.
평가 지표 고르기
| 지표 | 보는 것 |
|---|---|
| 재현율 (민감도) | 실제 소수 범주 중 잡아낸 비율. 놓치면 큰일인 문제(질병, 사기) |
| 정밀도 | 소수 범주라고 한 것 중 진짜 비율. 잘못 경보하면 비용이 큰 문제 |
| F1 점수 | 정밀도와 재현율의 조화평균 |
| AUC | 임곗값과 관계없이 두 범주를 얼마나 잘 가르나 |
시험에 이렇게 나와요
- 불균형이면 정확도가 속인다: 다수 범주만 맞혀도 높음
- 언더샘플링(정보 손실) vs 오버샘플링(과대적합)
- SMOTE: 소수 범주와 최근접 이웃 사이에 합성
- 토멕 링크는 언더샘플링, ADASYN 은 오버샘플링
- 분할 후 학습 데이터에만 샘플링
- 평가: 재현율·정밀도·F1·AUC
출제기준 2과목 '불균형 데이터 처리'
확인 문제
Q1. 정상 990건, 불량 10건인 데이터에서 모든 제품을 '정상'으로 예측하면 정확도는?
- 1%
- 50%
- 99%
- 100%
정답 보기
3번 99%
990 / 1000 = 99%. 하지만 불량은 하나도 못 잡았다(재현율 0). 불균형 데이터에서 정확도가 속이는 이유다.
Q2. 소수 범주 점과 그 최근접 이웃 사이에 새로운 점을 합성하는 방법은?
- SMOTE
- 랜덤 언더샘플링
- 토멕 링크
- 임곗값 이동
정답 보기
1번 SMOTE
SMOTE 는 이웃 사이 선분 위에 가상의 소수 범주 점을 만든다.
Q3. 랜덤 오버샘플링의 대표적인 단점은?
- 과대적합
- 학습 속도 증가
- 다수 범주 증가
- 정보 손실
정답 보기
1번 과대적합
같은 점을 복제하므로 그 점들에 과하게 맞춰질 수 있다.
Q4. 다음 중 언더샘플링 기법은?
- ADASYN
- Borderline-SMOTE
- SMOTE
- 토멕 링크
정답 보기
4번 토멕 링크
토멕 링크는 경계의 다수 범주 점을 지우는 언더샘플링이다.
Q5. 불균형 데이터 샘플링 순서로 알맞은 것은?
- 샘플링 후 평가 데이터를 버린다
- 학습·평가로 나눈 뒤 학습 데이터에만 샘플링한다
- 전체에 샘플링한 뒤 학습·평가로 나눈다
- 평가 데이터에만 샘플링한다
정답 보기
2번 학습·평가로 나눈 뒤 학습 데이터에만 샘플링한다
평가 데이터는 실제 분포를 유지해야 성능을 바르게 잰다.
Q6. 질병 진단처럼 환자를 놓치면 큰일인 불균형 문제에서 가장 중요하게 볼 지표는?
- 재현율
- 정확도
- 오분류율
- 특이도
정답 보기
1번 재현율
실제 환자 중 잡아낸 비율인 재현율(민감도)이다.
헷갈리기 쉬운 O·X
불균형 데이터에서 정확도가 99% 이면 소수 범주도 잘 맞힌다고 볼 수 있다.
정답 보기
X 다수 범주만 맞혀도 정확도가 높게 나온다.
언더샘플링은 다수 범주 데이터를 버리므로 정보 손실이 생길 수 있다.
정답 보기
O
임곗값 이동은 데이터를 늘리는 오버샘플링 기법이다.
정답 보기
X 임곗값 이동은 데이터가 아니라 분류 기준(확률 컷오프)을 바꾸는 방법이다.