혼합분포 군집과 SOM
쉽게 말하면
키 데이터를 모아 보니 봉우리가 두 개라면 남자 키 분포와 여자 키 분포가 섞였다고 볼 수 있죠. 혼합분포 군집은 이렇게 '분포 몇 개가 섞였나'로 생각해 묶는 방법이에요. SOM 은 많은 특징을 가진 데이터를 바둑판 위에 비슷한 것끼리 이웃하게 늘어놓는 지도예요.
시험용 정의
혼합분포 군집은 데이터가 k 개의 확률분포(주로 정규분포, 이 경우 가우시안 혼합 모형)의 가중합으로 만들어졌다고 가정하는 모형 기반 군집이다. 각 분포의 평균·분산과 섞인 비율을 추정한 뒤, 각 개체를 사후확률이 가장 큰 분포의 군집으로 본다. 어느 분포에서 왔는지 모르는 잠재변수가 있어서 최대가능도를 바로 구하기 어려우므로 EM 알고리즘을 쓴다. 자기조직화지도(SOM)는 입력층과 2차원 격자 모양의 경쟁층으로 이뤄진 비지도 신경망이다. 입력이 들어오면 가중치가 가장 가까운 노드(BMU)가 이기고, BMU 와 이웃 노드의 가중치를 입력 쪽으로 조금씩 옮기는 경쟁 학습을 반복해 비슷한 데이터가 지도 위 가까운 칸에 모이게 한다.
비유로 이해하기
SOM 은 학교 운동장 줄 세우기다. 학생(입력)이 들어오면 자기와 가장 닮은 칸(BMU)에 서고, 그 칸과 옆 칸이 학생을 닮도록 조금씩 바뀐다. 이걸 반복하면 운동장 한쪽엔 키 큰 운동부, 다른 쪽엔 독서부가 모이는 식으로 비슷한 학생끼리 가까이 선다.
자세히
먼저 알아 둘 말
| 말 | 뜻 |
|---|---|
| 모형 기반 군집 | 데이터가 어떤 확률 모형에서 나왔다고 보고 군집하는 방법 |
| 잠재변수 | 직접 관측하지 못하는 변수. 혼합분포에서는 '어느 분포에서 왔나' |
| 최대가능도 추정 | 관측 데이터가 나올 가능성이 가장 큰 모수를 고르는 방법 |
| 경쟁 학습 | 가장 가까운 노드 하나가 이겨 그 노드(와 이웃)만 학습하는 방식 |
EM 알고리즘
| 단계 | 하는 일 |
|---|---|
| 초기화 | 각 분포의 평균·분산·비율을 임의로 정한다 |
| E (Expectation) | 현재 모수로 각 개체가 각 분포에 속할 확률(사후확률)을 계산 |
| M (Maximization) | 그 확률을 가중치로 평균·분산·비율을 다시 추정 |
| 반복 | 가능도가 거의 늘지 않을 때까지 E·M 을 반복 |
k-평균과 혼합분포
| k-평균 | 혼합분포 (GMM) | |
|---|---|---|
| 소속 | 한 군집에 딱 배정 (하드) | 군집별 소속 확률 (소프트) |
| 군집 모양 | 둥근 모양, 비슷한 크기 | 분포마다 분산이 달라 타원·크기 다양 |
| 추정 | 중심 재계산 반복 | EM 알고리즘 |
| 공통 | k 를 정해야 하고 초깃값에 영향을 받음 |
SOM 정리
- 입력층과 경쟁층(2차원 격자) 두 층. 입력층의 모든 노드가 경쟁층의 모든 노드와 완전 연결된다
- 오차 역전파를 쓰지 않고, 한 번의 전방 패스로 BMU 를 찾아 학습해 빠르다
- 고차원 데이터를 2차원 지도로 줄여 차원 축소와 군집화를 함께 하고 시각화하기 좋다
- 입력 공간의 위상(가까운 것은 가깝게)을 지도 위에서 지킨다
시험에 이렇게 나와요
- 혼합분포 군집에서 최대가능도 추정을 보완 → EM 알고리즘
- GMM 도 초기값 설정이 필요, DBSCAN 은 초기 중심 불필요
- SOM: 경쟁 학습 신경망, 차원 축소·시각화, 입력과 가장 가까운 노드 = BMU, 완전 연결 ('부분적으로 연결'은 틀림)
- SOM 은 고차원을 저차원 격자에 배치
확인 문제
Q1. 혼합분포 군집에서 모수를 추정할 때 주로 쓰는 알고리즘은?
- k-NN 알고리즘
- Apriori 알고리즘
- EM 알고리즘
- 역전파
정답 보기
3번 EM 알고리즘
각 개체가 어느 분포에서 왔는지 모르는 상태에서 소속 확률(E)과 모수(M)를 번갈아 추정하는 EM 알고리즘을 쓴다.
Q2. EM 알고리즘의 E 단계에서 하는 일은?
- 평균과 분산을 다시 추정한다
- 가중치를 역전파한다
- 각 개체가 각 분포에 속할 확률을 계산한다
- 군집 수를 정한다
정답 보기
3번 각 개체가 각 분포에 속할 확률을 계산한다
E 는 기댓값(소속 확률), M 은 모수 재추정.
Q3. SOM 에서 입력 벡터와 가장 가까운 경쟁층 노드는?
- 중심점
- BMU
- 서포트 벡터
- 끝마디
정답 보기
2번 BMU
Best Matching Unit.
Q4. SOM 에 대한 설명으로 옳지 않은 것은?
- 차원 축소와 시각화에 쓴다
- 입력층과 경쟁층이 부분적으로만 연결된다
- 경쟁 학습을 하는 신경망이다
- 비지도 학습이다
정답 보기
2번 입력층과 경쟁층이 부분적으로만 연결된다
SOM은 입력층과 경쟁층이 완전 연결되어 있다. 경쟁 학습을 하는 비지도 신경망으로 차원 축소와 시각화에 쓴다.
Q5. k-평균과 비교한 혼합분포 군집의 특징은?
- 각 개체에 군집별 소속 확률을 준다
- 범주형 목표변수가 필요하다
- 초깃값이 필요 없다
- 군집 수를 정하지 않아도 된다
정답 보기
1번 각 개체에 군집별 소속 확률을 준다
각 개체에 군집별 소속 확률을 준다(소프트 군집). k-평균은 한 군집에만 딱 나눈다. 둘 다 군집 수와 초깃값이 필요하다.
Q6. 가우시안 혼합 모형이 가정하는 각 군집의 분포는?
- 지수분포
- 균일분포
- 포아송분포
- 정규분포
정답 보기
4번 정규분포
정규분포다. 여러 정규분포가 섞인 것으로 보고 EM 알고리즘으로 각 분포의 모수를 추정한다.
헷갈리기 쉬운 O·X
SOM 은 오차 역전파로 가중치를 학습한다.
정답 보기
X 경쟁 학습으로 BMU 와 이웃의 가중치를 옮긴다.
혼합분포 군집에서는 EM 알고리즘으로 모수를 추정한다.
정답 보기
O
SOM 은 저차원 데이터를 고차원으로 확장해 보여 준다.
정답 보기
X 고차원을 2차원 격자로 줄인다.