회귀 모형 평가와 모형 진단
쉽게 말하면
숫자를 맞히는 모형은 '평균적으로 얼마나 틀렸나'로 평가해요. 틀린 크기를 그대로 평균 내면 MAE, 제곱해서 평균 내면 MSE, 그걸 다시 제곱근하면 원래 단위로 돌아온 RMSE예요. 그리고 모형이 통계 가정을 잘 지키는지(잔차가 고르게 흩어지는지) 진단하고, 데이터를 돌려 가며 여러 번 시험 봐서(교차 검증) 운이 아닌 실력을 확인해요.
시험용 정의
회귀 모형 평가는 예측값과 실제값의 차이(오차, 잔차)로 한다. MAE(평균 절대 오차)는 |오차|의 평균, MSE(평균 제곱 오차)는 오차²의 평균, RMSE는 √MSE 로 원래 단위다. MAPE(평균 절대 백분율 오차)는 |오차 ÷ 실제값|의 평균 × 100 이다. 결정계수(R²)는 반응변수 변동 중 모형이 설명한 비율이고, 수정 결정계수는 변수 수를 고려해 벌점을 준다. 분석모형 진단은 잔차가 정규성·등분산성·독립성을 만족하는지 본다. 계수가 0 이 아닌지는 모수 유의성 검정(t검정, 모형 전체는 F검정)으로, 데이터가 어떤 분포를 따르는지는 적합도 검정(카이제곱, 콜모고로프-스미르노프, 샤피로-윌크)으로 본다. 성능이 운이 아닌지는 교차 검증으로 확인한다.
비유로 이해하기
다트 실력을 잰다면, 과녁 중심에서 떨어진 거리의 평균이 MAE, 거리를 제곱해 평균 내면 크게 빗나간 한 발이 점수를 크게 깎는 MSE 다. 같은 다트판에서만 연습해 잘 던지는지 보려고 여러 다트판을 돌아가며 시험 보는 것이 교차 검증이다.
자세히
회귀 평가 지표
| 지표 | 식 | 특징 |
|---|---|---|
| MAE | Σ|y - ŷ| / n | 해석이 쉽고 이상값에 덜 민감 |
| MSE | Σ(y - ŷ)² / n | 큰 오차에 큰 벌점, 단위가 제곱 |
| RMSE | √MSE | 원래 단위, 큰 오차에 민감 |
| MAPE | Σ|(y - ŷ) / y| / n × 100 | 백분율이라 규모가 다른 대상 비교에 좋음. 실제값이 0 이면 못 씀 |
| R² | 1 - SSE / SST | 0~1, 클수록 설명력이 큼. 변수를 넣기만 해도 늘어남 |
| 수정 R² | 1 - (1 - R²)(n - 1) / (n - p - 1) | 쓸모없는 변수를 넣으면 줄어듦 |
분석모형 진단 (잔차 가정)
| 가정 | 확인 방법 | 어기면 |
|---|---|---|
| 선형성 | 잔차 대 적합값 그림에 패턴이 없는지 | 변수 변환, 다항항 추가 |
| 정규성 | Q-Q 그림, 샤피로-윌크 검정 | 변환, 비모수 방법 |
| 등분산성 | 잔차 그림이 깔때기 모양이 아닌지, 브로이시-페이건 검정 | 로그 변환, 가중 최소제곱 |
| 독립성 | 더빈-왓슨 통계량 (2 근처면 자기상관 없음) | 시계열 모형 사용 |
| 다중공선성 | 분산팽창계수(VIF) 10 이상이면 의심 | 변수 제거, 규제 회귀, 주성분 |
모수 유의성과 적합도 검정
| 검정 | 묻는 것 |
|---|---|
| 계수의 t검정 | 그 회귀계수가 0 인가 (변수가 쓸모 있나) |
| 모형의 F검정 | 모든 계수가 동시에 0 인가 (모형 전체가 쓸모 있나) |
| 카이제곱 적합도 검정 | 범주형 관측 빈도가 기대 분포에 맞나 |
| 콜모고로프-스미르노프 검정 | 연속형 표본이 특정 분포(정규 등)를 따르나, 누적분포 차이로 |
| 샤피로-윌크 검정 | 표본이 정규분포를 따르나 (작은 표본에 강함) |
교차 검증
| 방법 | 하는 일 |
|---|---|
| 홀드아웃 | 학습·평가로 한 번 나눔. 빠르지만 나누는 운에 따라 결과가 흔들림 |
| k-겹 교차 검증 | k 덩어리로 나눠 한 덩어리씩 검증, 나머지로 학습. k번 평균 |
| LOOCV | 관측값 하나씩만 검증에 씀 (k = n). 계산이 많음 |
| 층화 k-겹 | 덩어리마다 범주 비율을 원래와 같게 (불균형 분류) |
| 부트스트랩 | 복원 추출로 학습 표본을 만들고, 뽑히지 않은 약 36.8% 로 평가 |
시험에 이렇게 나와요
- MAE·MSE·RMSE·MAPE 계산과 성질 (MSE·RMSE 는 큰 오차에 민감)
- R² 는 변수만 넣어도 늘어남 → 수정 R² 로 비교
- 잔차 가정: 정규성(Q-Q, 샤피로-윌크), 등분산성, 독립성(더빈-왓슨 ≈ 2)
- VIF 10 이상 다중공선성 의심
- t검정(계수 하나) vs F검정(모형 전체)
- k-겹 교차 검증, LOOCV, 부트스트랩(36.8%)
출제기준 4과목 '평가 지표, 분석모형 진단, 교차 검증, 모수 유의성 검정, 적합도 검정'
확인 문제
Q1. 실제값 10, 20, 30 을 12, 18, 33 으로 예측했다. MAE 는?
- 2
- 2.33
- 5.67
- 7
정답 보기
2번 2.33
오차 절댓값 2, 2, 3 의 평균 = 7 ÷ 3 ≈ 2.33. MSE 는 (4 + 4 + 9) ÷ 3 ≈ 5.67 이다.
Q2. MSE 가 25 일 때 RMSE 는?
- 5
- 12.5
- 25
- 625
정답 보기
1번 5
5다. RMSE는 MSE의 제곱근이라 √25 = 5다. 원래 단위로 오차를 볼 수 있다.
Q3. 회귀 잔차의 자기상관(독립성)을 확인하는 통계량은?
- 향상도
- VIF
- 더빈-왓슨 통계량
- 지니 지수
정답 보기
3번 더빈-왓슨 통계량
더빈-왓슨 값이 2 근처면 자기상관이 없다고 본다.
Q4. 설명변수 개수가 다른 두 회귀모형의 설명력을 비교할 때 알맞은 지표는?
- 수정 결정계수
- 정확도
- 결정계수
- MAE
정답 보기
1번 수정 결정계수
결정계수는 변수를 넣기만 해도 늘어나므로 벌점이 있는 수정 결정계수로 비교한다.
Q5. 표본이 정규분포를 따르는지 검정하는 방법이 아닌 것은?
- 샤피로-윌크 검정
- Q-Q 그림
- 콜모고로프-스미르노프 검정
- 더빈-왓슨 검정
정답 보기
4번 더빈-왓슨 검정
더빈-왓슨은 잔차의 자기상관을 본다.
Q6. 데이터를 5덩어리로 나눠 한 덩어리씩 검증에 쓰고 결과를 평균 내는 방법은?
- 5-겹 교차 검증
- 부트스트랩
- LOOCV
- 홀드아웃
정답 보기
1번 5-겹 교차 검증
k = 5 인 k-겹 교차 검증이다.
헷갈리기 쉬운 O·X
MAE 는 MSE 보다 큰 오차(이상값)에 더 민감하다.
정답 보기
X 제곱하는 MSE·RMSE 가 큰 오차에 더 민감하다.
결정계수는 쓸모없는 변수를 추가해도 줄어들지 않는다.
정답 보기
O 그래서 수정 결정계수를 함께 본다.
MAPE 는 실제값이 0 인 데이터에서도 문제없이 계산된다.
정답 보기
X 실제값으로 나누므로 0 이면 계산할 수 없다.