가설검정과 p값
쉽게 말하면
새 공부법이 효과가 있는지 보려면 '효과 없다'를 기본으로 두고(귀무가설), 데이터가 그 기본과 얼마나 안 맞는지 봐요. '효과가 없다면 이런 결과가 나올 확률'이 p값이에요. 그 확률이 아주 작으면(보통 5% 미만) '효과 없다'는 말을 버려요. 무죄 추정처럼, 증거가 충분할 때만 유죄(효과 있음)로 판단해요.
시험용 정의
가설검정은 표본으로 모집단에 대한 주장이 맞는지 판단하는 절차다. 먼저 '차이가 없다, 효과가 없다'는 귀무가설(H0)과 연구자가 입증하려는 대립가설(H1)을 세운다. 데이터로 검정통계량(t, 카이제곱, F 등 검정 방법마다 다름)을 계산하고, 귀무가설이 참이라고 할 때 그 값만큼 또는 더 극단적인 값이 나올 확률인 p값을 구한다. p값이 미리 정한 유의수준 α(보통 0.05)보다 작으면 귀무가설을 기각한다. 판단은 틀릴 수 있다. 참인 H0 를 기각하는 제1종 오류(확률 α)와 거짓인 H0 를 기각하지 못하는 제2종 오류(확률 β)가 있고, H1 이 참일 때 H0 를 제대로 기각할 확률 1 - β 를 검정력이라 한다.
비유로 이해하기
재판이다. 귀무가설은 '피고는 무죄'다. 검사가 내놓은 증거가 '무죄라면 이런 증거가 나올 리 거의 없다'(p값이 작음)고 할 만큼 강해야 유죄(H0 기각)를 선고한다. 증거가 약하면 '무죄 확정'이 아니라 '유죄라 할 수 없음'(기각하지 못함)이다. 무고한 사람을 유죄로 만드는 것이 제1종 오류, 진범을 풀어 주는 것이 제2종 오류다.
자세히
먼저 알아 둘 말
| 말 | 뜻 |
|---|---|
| 귀무가설 H0 | '같다, 차이 없다, 효과 없다'. 등호(=)가 들어간다 |
| 대립가설 H1 | 연구자가 주장하고 싶은 것. ≠, >, < |
| 검정통계량 | 데이터가 H0 에서 얼마나 벗어났는지 나타낸 값. 검정 방법마다 다르다 |
| 유의수준 α | 제1종 오류를 허용할 최대 확률. 미리 정한다 |
| 기각역 | 검정통계량이 이 영역에 들어오면 H0 를 기각 |
판단 규칙
| 결과 | 판단 |
|---|---|
| p값 < α | H0 기각, H1 채택 (통계적으로 유의하다) |
| p값 ≥ α | H0 를 기각하지 못함 (H0 가 참이라는 증명은 아님) |
| p값이 작을수록 | H1 을 지지하는 증거가 강하다 |
두 가지 오류
| H0 가 실제로 참 | H1 이 실제로 참 | |
|---|---|---|
| H0 기각 | 제1종 오류 (α) | 올바른 판단 (검정력 1 - β) |
| H0 기각 못함 | 올바른 판단 (1 - α) | 제2종 오류 (β) |
알아 둘 관계
- 표본 크기가 같으면 α 를 줄일수록 β 가 커진다
- 표본 크기를 늘리면 α 와 β 를 함께 줄일 수 있다
- 표본이 아주 크면 실제로는 미미한 차이도 통계적으로 유의하게 나온다. 통계적 유의성과 실질적인 중요성은 다르다
- 양측검정은 '다르다'(≠), 단측검정은 '크다'(>) 또는 '작다'(<)를 본다. 같은 데이터면 단측 p값이 양측의 절반이다
동전으로 계산해 보기
공정한 동전(H0: 앞면 확률 0.5)을 6번 던져 6번 모두 앞면이 나왔다. 양측검정이면 '모두 앞면' 또는 '모두 뒷면'처럼 이만큼 극단적인 결과의 확률을 더한다. 2 × (1/2)⁶ = 1/32 ≈ 0.031 < 0.05 라서 H0 를 기각한다. 5번 던져 5번 모두 앞면이면 2 × (1/2)⁵ = 1/16 ≈ 0.063 이라 기각하지 못한다.
시험에 이렇게 나와요
- p < α → H0 기각 / p > α → H0 기각 못함 ('p < α 면 대립가설 기각', 'p 가 크면 H0 기각'은 틀림)
- p 가 작을수록 H1 지지, '가능성이 작을수록 H0 채택'은 틀림
- 제1종: 참인 H0 기각, 제2종: 참인 H1 인데 H0 기각 못함, 검정력 1 - β
- 유의수준은 제1종 오류의 최대 허용 한계 ('최소'는 틀림), α 너무 작으면 β 증가
- 검정통계량은 검정 방법에 따라 다름 ('항상 하나로 유일'은 틀림)
- 동전 5번 모두 앞면: 양측 p = 1/16 → 5% 에서 기각 못함
확인 문제
Q1. 유의수준 5% 로 검정했더니 p값이 0.02 였다. 올바른 판단은?
- 판단할 수 없다
- 대립가설을 기각한다
- 귀무가설을 채택한다
- 귀무가설을 기각한다
정답 보기
4번 귀무가설을 기각한다
p값 0.02 가 유의수준 0.05 보다 작으니 귀무가설을 기각하고 대립가설을 받아들인다.
Q2. 귀무가설이 실제로 참인데 기각하는 오류는?
- 제1종 오류
- 제2종 오류
- 표본오차
- 비표본오차
정답 보기
1번 제1종 오류
무고한 사람을 유죄로 판단하는 오류, 확률 α.
Q3. 가설검정에 대한 설명으로 옳지 않은 것은?
- p값이 유의수준보다 크면 귀무가설을 기각한다
- 대립가설은 연구자가 입증하려는 가설이다
- 유의수준은 제1종 오류의 허용 확률이다
- 귀무가설은 보통 '차이가 없다'는 가설이다
정답 보기
1번 p값이 유의수준보다 크면 귀무가설을 기각한다
p값이 클 때는 기각하지 못한다.
Q4. 검정력(power)이란?
- 귀무가설이 참일 때 채택할 확률
- p값과 같은 값
- 제1종 오류의 확률
- 대립가설이 참일 때 귀무가설을 기각할 확률
정답 보기
4번 대립가설이 참일 때 귀무가설을 기각할 확률
대립가설이 참일 때 귀무가설을 기각할 확률(1 - β)이다. 제1종 오류(α)는 귀무가설이 참인데 기각할 확률이다.
Q5. 표본 크기를 고정하고 유의수준을 0.05 에서 0.01 로 줄이면?
- 검정력이 커진다
- 제1종 오류 확률이 커진다
- 아무것도 변하지 않는다
- 제2종 오류 확률이 커진다
정답 보기
4번 제2종 오류 확률이 커진다
기각을 더 어렵게 하면 거짓인 H0 도 놓치기 쉬워진다.
Q6. 공정한 동전을 4번 던져 4번 모두 앞면이 나왔다. 양측 p값은?
- 1/8
- 1/16
- 1/32
- 1/4
정답 보기
1번 1/8
2 × (1/2)⁴ = 2/16 = 1/8.
Q7. p값의 뜻으로 알맞은 것은?
- 귀무가설이 참일 때 관측값만큼 또는 더 극단적인 결과가 나올 확률
- 귀무가설이 참일 확률
- 대립가설이 참일 확률
- 제2종 오류의 확률
정답 보기
1번 귀무가설이 참일 때 관측값만큼 또는 더 극단적인 결과가 나올 확률
p값은 H0 가 참이라는 가정 아래 계산한 확률이다. H0 자체가 참일 확률이 아니다.
헷갈리기 쉬운 O·X
유의수준은 제1종 오류를 범할 확률의 최소 허용 한계다.
정답 보기
X 최대 허용 한계다.
검정통계량은 검정 방법과 관계없이 항상 하나로 정해진다.
정답 보기
X t, z, 카이제곱, F 등 방법마다 다르다.
표본이 매우 크면 아주 작은 차이도 통계적으로 유의하게 나올 수 있다.
정답 보기
O