상관분석과 공분산
쉽게 말하면
키가 큰 사람이 몸무게도 많이 나가는 경향처럼 두 값이 함께 움직이는 정도를 상관이라고 해요. 상관계수는 -1 에서 1 사이 숫자로, 1 에 가까우면 함께 늘고, -1 에 가까우면 하나가 늘 때 다른 하나는 줄고, 0 이면 직선 모양의 관계가 없어요. 아이스크림 판매와 물놀이 사고가 함께 늘어도 아이스크림이 사고를 일으키는 건 아니에요.
시험용 정의
공분산 Cov(X, Y) = Σ(x - x̄)(y - ȳ) / (n - 1) 은 두 변수가 평균에서 같은 방향으로 벗어나면 양수, 반대면 음수다. 방향은 알려 주지만 측정 단위에 따라 크기가 달라져 강도를 비교하기 어렵다. 피어슨 상관계수 r = Cov(X, Y) / (sX sY) 는 단위를 없앤 값으로 -1 이상 1 이하이며, 등간·비율척도 같은 연속형 변수의 직선 관계를 잰다. 스피어만 상관계수는 값을 순위로 바꿔 피어슨 공식을 쓴 것으로 서열척도에 쓰고 한쪽이 늘 때 다른 쪽도 계속 늘거나 주는 단조 관계면 곡선이어도 잡는다. 켄달의 타우도 순위로 계산한다. 상관계수가 0 이 아니라고 말할 수 있는지는 상관계수 검정(귀무가설 ρ = 0)으로 본다.
비유로 이해하기
두 사람이 나란히 걷는 모습이다. 한 사람이 오른쪽으로 가면 다른 사람도 오른쪽으로 가는 정도가 상관이다. 걸음을 미터로 재든 센티미터로 재든(단위 변환) 함께 움직이는 정도는 같다. 다만 한 사람이 거울 속에 있다면(음수 곱하기) 방향만 반대로 보인다. 둘이 같은 음악에 맞춰 움직였을 뿐이라면 한 사람이 다른 사람을 끌고 가는 것(인과)은 아니다.
자세히
먼저 알아 둘 말
| 말 | 뜻 |
|---|---|
| 산점도 | 가로축에 X, 세로축에 Y 를 놓고 점을 찍은 그림. 상관을 눈으로 본다 |
| 선형 관계 | 점들이 직선 근처에 모이는 관계 |
| 단조 관계 | X 가 늘 때 Y 가 계속 늘기만(또는 줄기만) 하는 관계. 곡선이어도 된다 |
| 인과관계 | 한 변수가 다른 변수의 원인이 되는 관계 |
세 가지 상관계수
| 계수 | 자료 | 특징 |
|---|---|---|
| 피어슨 | 연속형 (등간·비율) | 직선 관계, 이상값에 민감 |
| 스피어만 | 서열형, 또는 연속형을 순위로 | 단조 비선형 관계도 잡음, 이상값에 덜 민감 |
| 켄달 타우 | 서열형 | 순위가 같은 방향인 쌍과 반대 방향인 쌍의 차이 |
공분산과 상관계수 비교
| 공분산 | 상관계수 | |
|---|---|---|
| 범위 | 제한 없음 | -1 ~ 1 |
| 단위의 영향 | 받는다 (cm → mm 면 10배) | 받지 않는다 |
| 알 수 있는 것 | 방향 | 방향과 강도 |
변환하면 어떻게 되나
X 를 aX + b, Y 를 cY + d 로 바꾸면 공분산은 ac 배가 되지만 상관계수는 a × c 가 양수면 그대로, 음수면 부호만 반대다. 상관계수 0.2 인 x, y 에서 -2x + 1 과 y - 1 의 상관계수는 -0.2 다. -x 와 -2y 는 둘 다 음수를 곱해 원래 상관계수 그대로다.
해석할 때 조심할 것
- r = 0 이어도 U 자 같은 곡선 관계는 있을 수 있다
- r = -1 은 관계가 가장 약한 것이 아니라 완벽한 음의 직선 관계다
- 상관이 높아도 인과를 보장하지 않는다. 제3의 변수(계절, 소득 등)가 둘을 함께 움직일 수 있다
- 상관분석은 관계의 정도를 볼 뿐, 한 변수로 다른 변수 값을 예측하는 것은 회귀분석이다
- 상관계수 검정: t = r√(n - 2) / √(1 - r²), 자유도 n - 2
시험에 이렇게 나와요
- 선형 변환: (X + 0.3, Y + 0.2) 는 그대로, -2x + 1 과 y - 1 은 부호만 반대 (0.2 → -0.2), (-X, -2Y) 는 그대로
- 공분산은 단위의 영향을 받고 범위 제한 없음 ('항상 -1 ~ 1' 은 틀림)
- 스피어만은 명목척도 불가, 서열·단조 비선형 관계에 적합 ('범주형 변수의 선형관계'는 틀림)
- r = -1 은 가장 약한 것이 아니라 완벽한 음의 선형 관계
- 상관은 인과가 아님 ('광고비를 늘리면 매출이 는다는 것을 알 수 있다'는 틀림), 예측은 회귀
- r = 0.8, p = 0.01 → 양의 선형 관계, 0.05 에서 유의 ('유의수준과 무관하게 유의'는 틀림)
- 상관 행렬 출력 읽기: 대각선 1, 절댓값이 큰 쌍이 강한 관계
- 표본 공분산 계산: Σ(x - x̄)(y - ȳ) / (n - 1)
확인 문제
Q1. x 와 y 의 상관계수가 0.4 일 때, -3x + 5 와 y 의 상관계수는?
- -1.2
- -0.4
- 0
- 0.4
정답 보기
2번 -0.4
곱하고 더해도 상관의 크기는 그대로다. 음수를 곱했으니 부호만 뒤집혀 -0.4 다.
Q2. x 와 y 의 상관계수가 0.6 일 때 (3x - 1) 과 (-y + 2) 의 상관계수는?
- -1.8
- -0.6
- 0.6
- 1.8
정답 보기
2번 -0.6
3 × (-1) 이 음수라 부호만 바뀐다.
Q3. 공분산에 대한 설명으로 옳지 않은 것은?
- 항상 -1 과 1 사이 값을 갖는다
- 측정 단위에 영향을 받는다
- 부호로 관계의 방향을 알 수 있다
- 양수면 두 변수가 같은 방향으로 움직이는 경향이 있다
정답 보기
1번 항상 -1 과 1 사이 값을 갖는다
-1과 1 사이 값을 갖는 것은 상관계수다. 공분산은 단위에 따라 크기가 달라지고, 부호로 방향만 알 수 있다.
Q4. 변수 간 단조로운 비선형 관계를 파악하기에 알맞은 것은?
- 피어슨 상관계수
- 공분산
- 스피어만 상관계수
- 결정계수
정답 보기
3번 스피어만 상관계수
순위로 계산해 곡선이라도 한 방향이면 잡는다.
Q5. x = (1, 2, 3), y = (2, 4, 9) 의 표본 공분산은?
- 2.5
- 3.5
- 4.5
- 7
정답 보기
2번 3.5
x̄ = 2, ȳ = 5. 편차곱 (−1)(−3) + 0 × (−1) + 1 × 4 = 7, n - 1 = 2 로 나눠 3.5.
Q6. 상관분석에 대한 설명으로 옳지 않은 것은?
- 절댓값이 1 에 가까울수록 선형 관계가 강하다
- 상관계수의 유의성을 검정할 수 있다
- 상관분석으로 독립변수에 따른 종속변수 값을 예측할 수 있다
- 피어슨은 연속형 변수의 선형 관계를 잰다
정답 보기
3번 상관분석으로 독립변수에 따른 종속변수 값을 예측할 수 있다
예측은 회귀분석이 한다. 상관분석은 두 변수가 함께 움직이는 정도와 방향을 볼 뿐, 독립변수로 종속변수를 예측하지 않는다.
Q7. 상관계수 r = 0 에 대한 설명으로 옳은 것은?
- 두 변수는 완전히 독립이다
- 직선 관계가 없지만 곡선 관계는 있을 수 있다
- 공분산이 1 이다
- 두 변수는 반비례한다
정답 보기
2번 직선 관계가 없지만 곡선 관계는 있을 수 있다
U 자 관계도 r = 0 이 될 수 있다.
헷갈리기 쉬운 O·X
상관계수가 -1 이면 두 변수의 상관관계가 가장 약하다.
정답 보기
X 완벽한 음의 직선 관계로 가장 강하다. 가장 약한 것은 0.
스피어만 상관계수는 혈액형 같은 명목척도 변수에도 쓸 수 있다.
정답 보기
X 순위가 의미 있어야 한다. 명목은 순서가 없다.
두 변수의 상관계수가 높아도 인과관계가 있다고 단정할 수 없다.
정답 보기
O