변수 선택과 다중공선성
쉽게 말하면
회귀식에 변수를 많이 넣는다고 좋은 게 아니에요. 쓸모없는 변수는 빼고 꼭 필요한 것만 남겨야 해석도 쉽고 새 데이터에도 잘 맞아요. 또 '키(cm)'와 '키(inch)'처럼 거의 같은 변수를 둘 다 넣으면 식이 흔들려요. 이것이 다중공선성이에요.
시험용 정의
변수 선택은 회귀모형에 넣을 독립변수를 고르는 일이다. 전진 선택법은 절편만 있는 모형에서 시작해 모형을 가장 좋게 하는 변수를 하나씩 추가하고, 후진 제거법은 모든 변수를 넣고 시작해 가장 덜 중요한 변수를 하나씩 제거하며, 단계적 선택법은 추가하면서 이미 들어간 변수도 다시 따져 빼기를 반복한다. 모형끼리 비교할 때는 적합도와 변수 수를 함께 보는 AIC, BIC 같은 정보 기준을 쓰며 값이 작을수록 좋다. 독립변수끼리 강한 상관이 있는 다중공선성은 VIF(분산팽창지수)로 진단한다.
비유로 이해하기
여행 가방 싸기다. 빈 가방에 꼭 필요한 것부터 하나씩 넣으면 전진 선택, 다 넣고 시작해 안 쓸 것을 하나씩 빼면 후진 제거다. 비슷한 겉옷 두 벌을 같이 넣으면 무게만 늘고 어느 옷이 쓸모 있었는지 구분이 안 된다. 그게 다중공선성이다.
자세히
먼저 알아 둘 말
| 말 | 뜻 |
|---|---|
| 과대적합 | 학습 데이터에만 지나치게 맞아 새 데이터에서는 성능이 떨어지는 것. 변수가 너무 많으면 생긴다 |
| 정보 기준 | 모형이 데이터에 맞는 정도와 변수 수(복잡도)를 함께 따진 점수 |
| 벌점(정규화) | 계수가 커지는 것에 비용을 매겨 계수를 작게 만드는 것 |
선택 방법 세 가지
| 방법 | 시작 | 진행 |
|---|---|---|
| 전진 선택법 | 절편만 있는 모형 | 가장 도움 되는 변수를 하나씩 추가, 더 좋아지지 않으면 멈춤 |
| 후진 제거법 | 모든 변수를 넣은 모형 | 가장 덜 중요한 변수를 하나씩 제거 |
| 단계적 선택법 | 전진처럼 시작 | 추가할 때마다 기존 변수도 다시 평가해 필요하면 제거 |
모형 비교 기준
| 기준 | 식 | 특징 |
|---|---|---|
| AIC | -2 log L + 2k | 작을수록 좋음 |
| BIC | -2 log L + k log n | n ≥ 8 이면 벌점이 AIC 보다 커서 더 단순한 모형을 고른다 |
| 수정 결정계수 | 변수 수를 고려한 R² | 클수록 좋음 |
| 멜로우즈 Cp | 작고 변수 수에 가까울수록 좋음 |
다중공선성
- 독립변수끼리 상관이 높으면 계수의 분산(표준오차)이 커져 추정이 불안정하다. 계수 부호가 상식과 반대로 나오기도 한다
- VIFj = 1 / (1 - Rj²). Rj² 는 j 번째 변수를 나머지 독립변수로 회귀한 결정계수. 보통 10 이상이면 심각
- 해결: 상관 높은 변수 하나 제거, 주성분분석으로 묶기, 릿지·라쏘·엘라스틱넷 회귀
- 로지스틱 회귀는 범주형 종속변수를 위한 모형이지 다중공선성 해결책이 아니다
정규화 회귀
| 모형 | 벌점 | 결과 |
|---|---|---|
| 릿지 (Ridge) | 계수 제곱의 합 (L2) | 계수를 0 쪽으로 줄이지만 0 이 되지는 않음 |
| 라쏘 (Lasso) | 계수 절댓값의 합 (L1) | 일부 계수가 정확히 0 이 되어 변수 선택 효과 |
| 엘라스틱넷 | L1 + L2 | 둘을 섞음. 상관 높은 변수들이 함께 남거나 빠짐 |
시험에 이렇게 나와요
- 독립변수 간 강한 상관 = 다중공선성
- 다중공선성이 있으면 계수 분산이 커짐 ('분산은 항상 동일'은 틀림), VIF 로 측정, 변수 제거로 해결
- 해결책: 라쏘·릿지·엘라스틱넷 (로지스틱 회귀는 아님)
- 전체에서 하나씩 제거 = 후진 제거법 (교차검증은 변수 선택법이 아님)
- AIC·BIC 작을수록 좋음, BIC 가 벌점이 더 큼
확인 문제
Q1. 후보 독립변수를 모두 넣은 모형에서 시작해 덜 중요한 변수를 하나씩 빼는 방법은?
- 전진 선택법
- 단계적 선택법
- 후진 제거법
- 교차검증법
정답 보기
3번 후진 제거법
전체에서 하나씩 빼면 후진 제거법, 빈 모형에서 하나씩 더하면 전진 선택법이다.
Q2. 다중공선성을 해결하는 방법으로 알맞지 않은 것은?
- 상관 높은 변수 제거
- 로지스틱 회귀
- 릿지 회귀
- 라쏘 회귀
정답 보기
2번 로지스틱 회귀
로지스틱 회귀는 종속변수가 범주형일 때 쓰는 모형이다.
Q3. 다중공선성을 진단하는 지표는?
- IQR
- AUC
- VIF
- F1
정답 보기
3번 VIF
분산팽창지수 VIF. 10 이상이면 심각하다고 본다.
Q4. 일부 회귀계수를 정확히 0 으로 만들어 변수 선택 효과가 있는 방법은?
- 최소제곱법
- 주성분 회귀
- 라쏘
- 릿지
정답 보기
3번 라쏘
라쏘다. L1 벌점이라 계수를 0으로 만들어 변수를 고르는 효과가 있다. 릿지는 L2 벌점으로 계수를 줄이기만 하고 0으로 만들지 않는다.
Q5. 절편만 있는 모형에서 시작해 변수를 하나씩 추가하는 방법은?
- 후진 제거법
- 전진 선택법
- 단계적 선택법
- 전수 조사법
정답 보기
2번 전진 선택법
전진 선택법이다. 후진 제거법은 모든 변수에서 하나씩 빼고, 단계적 선택법은 넣고 빼기를 함께 한다.
Q6. AIC 와 BIC 에 대한 설명으로 옳은 것은?
- 값이 클수록 좋은 모형이다
- 값이 작을수록 좋은 모형이다
- BIC 는 AIC 보다 벌점이 작다
- 변수 수와 관계없다
정답 보기
2번 값이 작을수록 좋은 모형이다
둘 다 작을수록 좋고 BIC 는 표본이 크면 벌점이 더 크다.
Q7. 어떤 변수를 나머지 독립변수로 회귀한 결정계수가 0.9 다. 이 변수의 VIF 는?
- 0.1
- 1.9
- 9
- 10
정답 보기
4번 10
1 / (1 - 0.9) = 10.
헷갈리기 쉬운 O·X
다중공선성이 있어도 회귀계수의 분산은 항상 그대로다.
정답 보기
X 분산이 커져 계수가 불안정해진다.
단계적 선택법은 변수를 추가하면서 이미 들어간 변수도 다시 평가해 뺄 수 있다.
정답 보기
O
릿지 회귀는 계수를 정확히 0 으로 만들어 변수를 제거한다.
정답 보기
X 그건 라쏘다. 릿지는 0 에 가깝게 줄이기만 한다.