로지스틱 회귀
쉽게 말하면
합격할까 불합격할까처럼 답이 둘 중 하나인 문제에 쓰는 회귀예요. 일반 회귀식은 값이 마이너스나 1 넘게도 나오니까, 결과를 S 자 곡선에 넣어 0 ~ 1 사이 확률로 바꿔요. 공부 시간이 늘수록 합격 확률이 S 자로 올라가는 모습이에요.
시험용 정의
로지스틱 회귀는 종속변수가 범주형(주로 0·1 두 범주)일 때 독립변수로 사건이 일어날 확률 p 를 추정해 분류하는 모형이다. 사건이 일어날 확률과 안 일어날 확률의 비 오즈 p / (1 - p) 에 로그를 씌운 로짓 log(p / (1 - p)) 을 독립변수의 선형식으로 놓는다: log(p / (1 - p)) = β0 + β1x. 이를 p 에 대해 풀면 S 자 모양의 시그모이드 함수 p = 1 / (1 + e-(β0 + β1x)) 가 된다. 계수는 최대우도법으로 추정하며, x 가 1 늘면 로그 오즈가 β1 만큼, 오즈는 exp(β1) 배가 된다. R 에서는 glm(y ~ x, family = binomial) 으로 적합한다.
비유로 이해하기
경마 배당이다. '이길 확률 0.8' 을 '이긴다 4 : 진다 1', 즉 오즈 4 로 말하는 것과 같다. 오즈에 로그를 씌우면 -∞ ~ ∞ 로 펴져서 직선 식으로 다룰 수 있다. 계수 exp(β) = 2 라면 조건이 하나 좋아질 때마다 '이길 배당'이 두 배가 된다는 뜻이다.
자세히
먼저 알아 둘 말
| 말 | 뜻 | 범위 |
|---|---|---|
| 확률 p | 사건이 일어날 가능성 | 0 ~ 1 |
| 오즈 | p / (1 - p). 일어날 확률이 안 일어날 확률의 몇 배인가 | 0 ~ ∞ |
| 로짓 (로그 오즈) | log(p / (1 - p)) | -∞ ~ ∞ |
| 시그모이드 | 로짓을 다시 확률로 바꾸는 S 자 함수 | 0 ~ 1 |
| 최대우도법 | 관측된 결과가 나올 가능성(우도)이 가장 큰 계수를 고르는 방법 |
계수 해석
| 값 | x 가 1 늘 때 |
|---|---|
| β1 | 로짓(로그 오즈)이 β1 만큼 변한다 (더하기) |
| exp(β1) | 오즈가 exp(β1) 배가 된다 (곱하기). 0.489 면 오즈가 0.489 배, 약 51% 감소 |
| β1 > 0 | 확률이 커지는 방향 |
| β1 < 0 | 확률이 작아지는 방향 |
선형회귀와 비교
| 선형회귀 | 로지스틱 회귀 | |
|---|---|---|
| 종속변수 | 연속형 | 범주형 (0·1) |
| 추정법 | 최소제곱법 | 최대우도법 |
| 계수 검정 | t 검정 | z 검정 (왈드 검정) |
| 모형 평가 | 결정계수 | 이탈도(deviance), AIC, 오분류표 |
| R | lm() | glm(family = binomial) |
식에서 로짓 읽기
p = 1 / (1 + e(4.6 - 0.6x)) 처럼 주어지면 e 의 지수에 마이너스를 붙인 것이 로짓이다. 로짓 = -4.6 + 0.6x 이므로 x 가 1 늘면 로짓은 0.6 증가, 오즈는 e0.6 배가 된다. 확률은 로짓이 0 일 때 0.5 이고, 로짓이 커질수록 1 에 가까워진다.
시험에 이렇게 나와요
- exp(β) = 0.489 → x 가 1 늘면 오즈가 0.489 배 (로짓이 48.9% 감소는 틀림)
- p = 1 / (1 + e^(4.6 - 0.6x)) → 로짓 = -4.6 + 0.6x, x 1 증가 시 로짓 0.6 증가
- 적용 사례: 성공 여부 같은 범주 예측 (가격·수명 예측, 상관 분석은 아님)
- 계수는 설명변수 1 단위 증가에 따른 로그 오즈 변화량, 계수 부호로 확률 증감 방향 판단
- 연결함수는 로짓 (시그모이드는 그 역함수), 로짓과 독립변수가 선형
- 출력의 z 식에 값을 넣어 확률 계산: p = 1 / (1 + e^-z)
확인 문제
Q1. 다음 중 로지스틱 회귀를 쓰기에 가장 알맞은 문제는?
- 키와 몸무게의 상관 정도
- 고객이 마케팅에 반응할지 여부 예측
- 제품 수명(시간) 예측
- 주택 가격 예측
정답 보기
2번 고객이 마케팅에 반응할지 여부 예측
반응한다/안 한다처럼 범주형 결과를 맞히는 문제다. 가격·수명 같은 연속값은 선형회귀를 쓴다.
Q2. 로지스틱 회귀에서 exp(β₁) = 2 일 때 x₁ 이 1 증가하면?
- 확률이 2 배가 된다
- 오즈가 2 배가 된다
- 확률이 2 증가한다
- 로짓이 2 배가 된다
정답 보기
2번 오즈가 2 배가 된다
오즈가 2배가 된다. exp(계수)는 오즈비다. 확률이 2배가 되는 것은 아니다.
Q3. 확률 p = 0.75 일 때 오즈는?
- 0.25
- 0.75
- 1.33
- 3
정답 보기
4번 3
3이다. 오즈 = p ÷ (1 - p) = 0.75 ÷ 0.25다.
Q4. 로지스틱 회귀의 계수 추정 방법은?
- k-평균법
- 주성분법
- 최소제곱법
- 최대우도법
정답 보기
4번 최대우도법
최대우도법이다. 관측된 결과가 나올 확률(우도)을 가장 크게 하는 계수를 찾는다. 최소제곱법은 선형 회귀에서 쓴다.
Q5. 로짓 log(p / (1 - p)) = -2 + 0.5x 에서 x = 4 일 때 확률은?
- 0.12
- 0.5
- 0.73
- 0.88
정답 보기
2번 0.5
로짓 = -2 + 2 = 0, 확률 1 / (1 + e⁰) = 0.5.
Q6. R 에서 로지스틱 회귀를 적합하는 식은?
- lm(y ~ x)
- glm(y ~ x, family = binomial)
- glm(y ~ x, family = gaussian)
- aov(y ~ x)
정답 보기
2번 glm(y ~ x, family = binomial)
이항(binomial) 분포를 쓰는 일반화 선형모형이다.
Q7. 로지스틱 회귀 결과 balance 의 계수가 0.0056 (유의) 이다. 옳은 해석은?
- balance 가 클수록 오즈가 작아진다
- 계수가 작아서 의미가 없다
- 다른 변수가 같으면 balance 가 클수록 사건 확률이 커진다
- balance 가 1 늘면 확률이 0.0056 늘어난다
정답 보기
3번 다른 변수가 같으면 balance 가 클수록 사건 확률이 커진다
계수가 양수면 로그 오즈가 커져 확률도 커진다. 확률 자체가 0.0056 씩 느는 것은 아니다.
헷갈리기 쉬운 O·X
로지스틱 회귀의 계수는 x 가 1 늘 때 확률의 변화량이다.
정답 보기
X 로그 오즈의 변화량이다. 확률 변화는 x 위치에 따라 다르다.
로지스틱 회귀는 종속변수가 범주형일 때 쓰는 회귀분석이다.
정답 보기
O
로지스틱 회귀의 예측값은 -∞ 에서 ∞ 사이 확률로 나온다.
정답 보기
X 시그모이드로 0 ~ 1 사이 확률이 나온다. -∞ ~ ∞ 는 로짓.