공든탑앱 열기

거리와 유사도

ADsP (데이터분석 준전문가) · 군집분석 · 약 11분

쉽게 말하면

군집분석은 '가까운 것끼리 묶기'라서 먼저 무엇이 가까운지 정해야 해요. 지도 위 직선 거리가 유클리드, 바둑판 길을 따라 걷는 거리가 맨해튼이에요. 키(cm)와 몸무게(kg)처럼 단위가 다르면 큰 숫자가 거리를 독차지하니 표준화를 해요.

시험용 정의

개체 사이의 거리가 작을수록(또는 유사도가 클수록) 비슷하다고 본다. 연속형 변수에는 직선 거리인 유클리드 거리 √Σ(xi - yi)², 좌표 차이의 절댓값 합인 맨해튼 거리 Σ|xi - yi|, 이 둘을 일반화한 민코프스키 거리 (Σ|xi - yi|m)1/m, 가장 큰 좌표 차이인 체비셰프 거리를 쓴다. 단위 차이를 없애려 각 변수를 표준편차로 나눈 표준화 거리, 변수 사이의 상관까지 공분산 행렬로 반영한 마할라노비스 거리도 있다. 범주형·이진 자료에는 자카드 계수(교집합 / 합집합)와 단순 일치 계수, 방향을 보는 코사인 유사도를 쓴다.

비유로 이해하기

택시 요금과 헬리콥터 요금이다. 헬리콥터는 목적지까지 직선으로 날아가니 유클리드, 택시는 바둑판 같은 도로를 따라 가로·세로로만 가니 맨해튼이다. 택시가 헬리콥터보다 짧게 갈 수는 없다.

자세히

먼저 알아 둘 말

말뜻
거리작을수록 비슷함
유사도클수록 비슷함. 1 - 유사도를 거리로 쓰기도 한다
표준화각 변수에서 평균을 빼고 표준편차로 나눠 단위를 없애는 것
공분산 행렬변수들의 분산과 서로 간 공분산을 모은 표

연속형 거리

거리계산특징
유클리드√Σ(차이)²가장 많이 씀. 직선 최단 거리
맨해튼Σ|차이|격자 길. 유클리드보다 크거나 같다
민코프스키(Σ|차이|m)1/mm = 1 맨해튼, m = 2 유클리드
체비셰프max|차이|가장 많이 차이 나는 한 좌표만
표준화 거리차이를 표준편차로 나눠 유클리드단위·척도 차이 제거
마할라노비스공분산 행렬의 역행렬 사용변수 간 상관까지 고려한 통계적 거리

범주형·이진 유사도

지표계산쓰임
자카드 계수|A ∩ B| / |A ∪ B|장바구니, 이진 특성 (함께 0 인 것은 무시)
단순 일치 계수일치한 항목 수 / 전체 항목 수이진 특성 (함께 0 도 일치로 셈)
코사인 유사도A·B / (|A| |B|)문서·단어 벡터, 크기보다 방향

왜 표준화하나

연봉(만 원)과 나이(세)로 거리를 재면 연봉 차이 1000 이 나이 차이 10 을 압도한다. 각 변수를 표준화하면 두 변수가 비슷한 무게로 거리에 들어간다. R 에서는 dist(scale(x)) 처럼 쓴다.

시험에 이렇게 나와요

확인 문제

Q1. 점 (1, 1) 과 (4, 5) 사이의 맨해튼 거리는?

  1. 4
  2. 5
  3. 7
  4. 25
정답 보기

3번 7

좌표 차이의 절댓값을 더한다. |1 - 4| + |1 - 5| = 3 + 4 = 7. 유클리드 거리는 √(9 + 16) = 5 다.

Q2. 점 (2, 3) 과 (5, 7) 사이의 유클리드 거리는?

  1. 4
  2. 5
  3. 7
  4. 25
정답 보기

2번 5

5다. 유클리드 거리 = √((5-2)² + (7-3)²) = √(9 + 16) = 5다.

Q3. 변수 간 상관관계까지 고려해 통계적 거리를 재는 방법은?

  1. 마할라노비스 거리
  2. 유클리드 거리
  3. 맨해튼 거리
  4. 체비셰프 거리
정답 보기

1번 마할라노비스 거리

공분산 행렬을 써서 상관을 반영한다.

Q4. 연속형 변수의 거리 측정 방법이 아닌 것은?

  1. 유클리드 거리
  2. 자카드 거리
  3. 맨해튼 거리
  4. 마할라노비스 거리
정답 보기

2번 자카드 거리

자카드 거리다. 이진·집합 자료의 유사도로 쓴다. 맨해튼·유클리드·마할라노비스는 연속형 변수의 거리다.

Q5. 민코프스키 거리에서 m = 1 일 때와 같은 거리는?

  1. 체비셰프 거리
  2. 마할라노비스 거리
  3. 맨해튼 거리
  4. 유클리드 거리
정답 보기

3번 맨해튼 거리

맨해튼 거리다. m = 1이면 차이의 절댓값 합(맨해튼), m = 2이면 유클리드 거리다.

Q6. A = {사과, 빵, 우유}, B = {빵, 우유, 계란, 치즈} 의 자카드 계수는?

  1. 2/5
  2. 3/5
  3. 2/4
  4. 2/3
정답 보기

1번 2/5

교집합 {빵, 우유} 2 개, 합집합 5 개.

Q7. 점 (0, 0) 과 (3, 8) 의 체비셰프 거리는?

  1. 11
  2. 3
  3. √73
  4. 8
정답 보기

4번 8

좌표 차이 3 과 8 중 큰 값.

헷갈리기 쉬운 O·X

맨해튼 거리는 항상 유클리드 거리보다 작거나 같다.

정답 보기

X 크거나 같다. 직선이 가장 짧다.

변수의 단위가 서로 다르면 표준화한 뒤 거리를 계산하는 것이 좋다.

정답 보기

O

자카드 계수는 연속형 변수 사이의 거리를 재는 대표적인 방법이다.

정답 보기

X 이진·집합 자료의 유사도다.

함께 보면 좋은 개념