비지도 학습: 군집과 차원 축소
k-평균을 직접 구현해 중심이 자리를 잡아 가는 과정을 보고, 엘보와 실루엣으로 묶음 개수를 정해요. 반달 모양 데이터에서 k-평균이 실패하고 DBSCAN이 성공하는 이유, 단위를 맞추지 않으면 군집이 엉뚱해지는 함정, PCA로 64차원 손글씨를 2차원 지도로 펼치는 법, 그리고 정답 없이 이상한 거래를 찾아내는 이상 탐지까지 다뤄요.
정답이 붙은 데이터는 귀해요. 사진 10만 장에 일일이 이름을 붙이려면 사람이 몇 주를 일해야 하죠. 반면 정답 없는 데이터는 어디에나 넘쳐요. 쇼핑몰의 구매 기록, 앱의 사용 로그, 공장 센서 값이요. 비지도 학습은 이런 데이터에서 "어떻게 생겼나"를 알아내요. 비슷한 것끼리 묶고(군집), 핵심만 남겨 줄이고(차원 축소), 튀는 것을 찾아요(이상 탐지).
k-평균: 가장 기본적인 군집
학습 방식 강의에서 고객을 세 묶음으로 나눌 때 썼던 방법이에요. 알고리즘은 놀랄 만큼 단순해요.
- 중심 개를 아무렇게나 정해요.
- 배정: 각 점을 가장 가까운 중심의 묶음에 넣어요.
- 갱신: 각 묶음의 평균 위치로 중심을 옮겨요.
- 중심이 더 이상 움직이지 않을 때까지 2와 3을 반복해요.
이 과정은 "각 점과 자기 중심 사이 거리 제곱의 합"(관성, inertia)을 계속 줄여요. 직접 구현해 볼게요.
import numpy as np
from sklearn.datasets import make_blobs
from sklearn.metrics import adjusted_rand_score
X, y = make_blobs(n_samples=400, centers=4, cluster_std=0.9, random_state=3) # 숨은 묶음 4개
rng = np.random.default_rng(0)
C = X[rng.choice(len(X), 4, replace=False)] # 1. 점 4개를 골라 첫 중심으로
for it in range(1, 11):
d = ((X[:, None, :] - C[None, :, :]) ** 2).sum(-1) # 모든 점과 모든 중심 사이의 거리 제곱
lab = d.argmin(1) # 2. 가장 가까운 중심으로 배정
inertia = d[np.arange(len(X)), lab].sum()
newC = np.array([X[lab == k].mean(0) for k in range(4)]) # 3. 묶음의 평균으로 중심 이동
moved = np.abs(newC - C).max()
C = newC
print(it, round(inertia, 1), round(moved, 3))
if moved < 1e-6:
break
print(round(adjusted_rand_score(y, lab), 3)) # 1.0
| 반복 | 관성 | 중심이 움직인 거리 |
|---|---|---|
| 1 | 8,828 | 4.31 |
| 2 | 2,576 | 2.01 |
| 3 | 1,135 | 1.22 |
| 4 | 660 | 0.19 |
| 5 | 651 | 0 (멈춤) |
다섯 번 만에 자리를 잡았고, 숨겨 둔 묶음과 완전히 일치해요(일치 점수 1.0). 선형대수 트랙의 벡터 거리, 확률과 통계 트랙의 평균만으로 만든 알고리즘이에요.
다만 첫 중심을 운 나쁘게 고르면 나쁜 답에 갇힐 수 있어요. 그래서 실무에서는 첫 중심을 서로 멀리 떨어지게 고르는 **k-평균++**를 쓰고, 여러 번(n_init=10) 돌려 가장 좋은 결과를 골라요. scikit-learn이 기본으로 해 줘요.
묶음은 몇 개로?
k-평균은 몇 개로 나누라고 하든 나눠 줘요. 개수는 사람이 정해야 해요. 두 가지 도구가 있어요.
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
for k in range(2, 8):
km = KMeans(n_clusters=k, n_init=10, random_state=0).fit(X)
print(k, round(km.inertia_, 1), round(silhouette_score(X, km.labels_), 3))
| 묶음 수 | 관성 | 실루엣 점수 |
|---|---|---|
| 2 | 6,167 | 0.636 |
| 3 | 2,639 | 0.632 |
| 4 | 651 | 0.754 |
| 5 | 574 | 0.651 |
| 6 | 512 | 0.537 |
| 7 | 459 | 0.429 |
- 엘보: 관성은 묶음을 늘릴수록 무조건 줄어요(점마다 묶음 하나면 0). 그래서 "줄어드는 속도가 확 꺾이는 팔꿈치"를 찾아요. 4까지는 크게 줄다가(2,639에서 651) 그 뒤로는 찔끔 줄어요.
- 실루엣 점수: 각 점이 "자기 묶음과는 가깝고 옆 묶음과는 먼" 정도를 -1에서 1 사이로 잰 평균이에요. 4에서 가장 높아요.
실제 데이터에서는 이렇게 깔끔하게 안 나오는 경우가 많아요. 그럴 땐 쓰임새로 정해요. 마케팅팀이 다룰 수 있는 고객 유형이 4개라면 4개로 나누는 거죠.
k-평균이 실패하는 곳
둥글지 않은 묶음
k-평균은 "중심에서 가까운 것끼리"라서 동그란 묶음만 잘 찾아요. 반달 두 개가 맞물린 데이터에서는 실패해요. 이럴 때는 밀도로 묶는 DBSCAN을 써요. "주변에 이웃이 충분히 많은 점들을 이어 붙여" 묶음을 만들어서 모양에 상관없이 찾아요.
from sklearn.datasets import make_moons
from sklearn.cluster import DBSCAN
Xm, ym = make_moons(n_samples=500, noise=0.06, random_state=0)
km2 = KMeans(n_clusters=2, n_init=10, random_state=0).fit(Xm)
db = DBSCAN(eps=0.2, min_samples=5).fit(Xm)
print(round(adjusted_rand_score(ym, km2.labels_), 3), round(adjusted_rand_score(ym, db.labels_), 3)) # 0.253 1.0
k-평균은 반달을 가로로 반 잘라 버려서 일치 점수가 0.25에 그쳐요. DBSCAN은 두 반달을 정확히 찾아요(1.0). DBSCAN은 묶음 개수를 미리 정할 필요가 없고, 어디에도 속하지 않는 점을 잡음으로 따로 표시해 줘요. 대신 eps(이웃 거리)를 잘 골라야 해요.
단위가 다른 특징
거리를 쓰는 방법은 단위에 아주 민감해요. 고객의 월 방문 횟수(2회, 10회)와 월 지출(30만 원 근처)로 묶어 볼게요. 진짜 차이는 방문 횟수에 있어요.
from sklearn.preprocessing import StandardScaler
rng = np.random.default_rng(5)
g1 = np.column_stack([rng.normal(2, 0.5, 150), rng.normal(300000, 60000, 150)]) # 가끔 오는 손님
g2 = np.column_stack([rng.normal(10, 1.0, 150), rng.normal(300000, 60000, 150)]) # 자주 오는 손님
Xs = np.vstack([g1, g2])
ys = np.array([0] * 150 + [1] * 150)
raw = KMeans(n_clusters=2, n_init=10, random_state=0).fit(Xs)
scaled = KMeans(n_clusters=2, n_init=10, random_state=0).fit(StandardScaler().fit_transform(Xs))
print(round(adjusted_rand_score(ys, raw.labels_), 3), round(adjusted_rand_score(ys, scaled.labels_), 3)) # -0.002 1.0
단위를 맞추지 않으면 일치 점수가 0, 즉 무작위로 나눈 것과 같아요. 지출의 숫자 크기(수십만)가 방문 횟수(한 자릿수)를 압도해서, 방문 횟수 차이가 거리 계산에서 사라져 버렸기 때문이에요. 표준화하면 완벽하게 나눠요. 선형 모델 강의의 경사 하강법과 같은 교훈이에요. 거리나 경사를 쓰는 방법 앞에는 표준화.
차원 축소: 64차원을 2차원으로
손글씨 숫자 한 장은 픽셀 64개, 즉 64차원 공간의 점이에요. 사람은 3차원까지만 볼 수 있죠. 차원 축소는 정보를 최대한 남기면서 차원을 줄여요. 선형대수 트랙의 SVD와 PCA 강의에서 원리를 배웠으니, 여기서는 쓰임새를 봐요.
from sklearn.datasets import load_digits
from sklearn.decomposition import PCA
Xd, yd = load_digits(return_X_y=True)
pca = PCA().fit(Xd)
cum = np.cumsum(pca.explained_variance_ratio_)
print(pca.explained_variance_ratio_[:2].round(3), round(cum[1], 3)) # [0.149 0.136] 0.285
print(int(np.searchsorted(cum, 0.9) + 1), int(np.searchsorted(cum, 0.95) + 1)) # 21 29
p20 = PCA(n_components=20, random_state=0).fit(Xd)
rec = p20.inverse_transform(p20.transform(Xd))
print(round(((Xd - rec) ** 2).mean() / Xd.var(), 3)) # 0.055
- 첫 두 주성분이 전체 변동의 28.5%를 담아요. 이 둘로 점을 찍으면 64차원 데이터의 지도를 2차원으로 볼 수 있어요. 같은 숫자끼리 대체로 모여 보여요.
- 변동의 90%를 담으려면 21개, 95%면 29개면 돼요. 64개 중 절반도 안 써요. 픽셀들이 서로 강하게 얽혀 있어서(가장자리 픽셀은 거의 늘 0이고, 이웃 픽셀은 비슷하고) 진짜 정보는 훨씬 적은 차원에 있다는 뜻이에요.
- 20개만 남겼다가 되돌려도 원래 변동의 94.5%가 복원돼요. 그래서 PCA는 압축과 잡음 제거에도 써요.
차원을 줄이면 잃는 것도 있다
2차원으로 줄인 손글씨에 k-평균을 돌리면 일치 점수가 0.39예요. 64차원 그대로 했을 때(학습 방식 강의의 0.67)보다 떨어져요. 지도는 보기 좋지만, 접힌 정보가 있어요. 그래서 PCA는 시각화나 전처리로 쓰고, 줄일 차원 수는 목적에 맞게 정해요.
t-SNE와 UMAP
PCA는 직선(선형) 방향으로만 줄여요. t-SNE와 UMAP은 "원래 공간에서 가까운 점은 지도에서도 가깝게"를 목표로 비선형으로 펼쳐서, 묶음이 훨씬 또렷하게 보이는 지도를 만들어요. 다만 조심할 점이 있어요. 이 지도에서 묶음 사이의 거리나 묶음의 크기는 의미가 없어요. 같은 데이터도 설정에 따라 모양이 꽤 달라져요. 탐색용으로만 쓰고 결론의 근거로 쓰지 마세요.
이상 탐지: 정답 없이 튀는 것 찾기
사기 거래, 고장 직전의 기계, 해킹 시도는 드물고, 새로운 수법은 정답 데이터에 없어요. 이상 탐지는 "대부분과 다르게 생긴 것"을 찾아요. 아이솔레이션 포레스트는 무작위로 자르기를 반복할 때 빨리 혼자 떨어져 나오는 점을 이상하다고 봐요. 평범한 점은 무리 속에 있어서 여러 번 잘라야 혼자가 되거든요.
from sklearn.ensemble import IsolationForest
rng = np.random.default_rng(7)
normal = rng.normal(0, 1, size=(1000, 2)) # 평범한 거래 1,000건
odd = rng.uniform(-6, 6, size=(40, 2))
odd = odd[np.linalg.norm(odd, axis=1) > 4][:20] # 멀리 떨어진 이상 거래 20건
Xa = np.vstack([normal, odd])
ya = np.array([0] * 1000 + [1] * len(odd))
score = -IsolationForest(random_state=0).fit(Xa).score_samples(Xa) # 클수록 이상해요
top = np.argsort(score)[::-1][:len(odd)]
print(int(ya[top].sum()), "/", len(odd)) # 20 / 20
정답을 한 번도 알려 주지 않았는데, 이상 점수 상위 20건이 숨겨 둔 이상 거래 20건과 정확히 일치해요. 실제 데이터는 이렇게 깔끔하지 않아서, 보통 이상 탐지로 후보를 추리고 사람이 확인한 결과를 모아 지도 학습 모델로 발전시켜요.
비지도 학습은 어디에 쓰나
| 일 | 방법 | 예 |
|---|---|---|
| 고객 나누기 | 군집 | 유형별 맞춤 쿠폰 |
| 데이터 둘러보기 | 차원 축소 | 고차원 데이터를 지도로 보기 |
| 이상 찾기 | 이상 탐지 | 사기, 고장, 침입 |
| 지도 학습 돕기 | 차원 축소, 군집 번호를 특징으로 | 특징이 너무 많을 때 압축 |
| 비슷한 것 찾기 | 임베딩 + 거리 | 비슷한 상품 추천, 비슷한 문서 검색 |
마지막 줄이 요즘 가장 많이 쓰이는 형태예요. LLM 트랙에서 배울 임베딩은 글이나 사진을 의미가 담긴 벡터로 바꾸고, 그 공간에서 가까운 것끼리 묶거나 찾아요. 검색 증강 생성(RAG)의 핵심이 바로 이거예요.
실습
- k-평균 구현에서 첫 중심을 일부러 한쪽에 몰아서 골라 보세요(예: 같은 묶음에서 4개). 결과가 나빠지나요?
n_init이 왜 필요한지 확인하세요. - 반달 데이터에서 DBSCAN의
eps를 0.05, 0.1, 0.3, 0.5로 바꿔 보세요. 묶음 수와 잡음 점 수가 어떻게 변하나요? - 손글씨 데이터를 PCA 2차원으로 줄여 숫자별 색으로 산점도를 그려 보세요. 어떤 숫자끼리 많이 겹치나요?
- 이상 탐지 예제에서 이상 거래를 원점 가까이(거리 2에서 3 사이)에 두면 몇 건이나 잡히나요?
자주 하는 실수
- 표준화 없이 거리 기반 군집 쓰기. 숫자가 큰 특징 하나가 결과를 정해 버려요.
- 군집 결과를 정답처럼 믿기. 알고리즘은 요청한 대로 나눌 뿐이에요. 의미는 사람이 확인해야 해요.
- t-SNE 지도의 거리와 크기를 해석하기. 탐색용이에요.
- 모든 묶음이 둥글다고 가정하기. 모양이 복잡하면 DBSCAN 같은 다른 방법을 쓰세요.
점검 문제
- k-평균의 한 번 반복은 어떤 두 단계로 이뤄지나요?
- 관성(inertia)만 보고 묶음 수를 정하면 안 되는 이유는?
- 반달 데이터에서 k-평균이 실패하고 DBSCAN이 성공하는 이유는?
- PCA로 64차원 데이터의 95% 변동을 29차원에 담을 수 있다는 것은 무엇을 뜻하나요?
- 아이솔레이션 포레스트는 어떤 점을 이상하다고 보나요?
정답
- 각 점을 가장 가까운 중심에 배정하는 단계와, 각 묶음의 평균으로 중심을 옮기는 단계예요.
- 묶음을 늘릴수록 관성은 무조건 줄어들어서, 가장 작은 값을 고르면 점 하나하나가 묶음이 돼요. 줄어드는 속도가 꺾이는 곳이나 실루엣 점수를 함께 봐요.
- k-평균은 중심에서 가까운 것끼리 묶어서 둥근 묶음만 찾지만, DBSCAN은 이웃이 촘촘히 이어진 점들을 모양에 상관없이 묶기 때문이에요.
- 픽셀들이 서로 강하게 얽혀 있어서, 진짜 정보는 64개보다 훨씬 적은 방향에 담겨 있다는 뜻이에요.
- 무작위로 자르기를 반복할 때 빨리 혼자 떨어져 나오는 점, 즉 다른 점들과 멀리 떨어진 점이에요.
다음 강의
머신러닝 트랙의 마지막 강의에서는 지금까지 배운 것을 모두 엮어 scikit-learn으로 처음부터 끝까지 프로젝트를 해요. 문제 정의, 데이터 둘러보기, 기준점, 특징 공학, 모델 비교, 교차 검증, 최종 평가, 모델 저장까지 실제 일의 흐름을 따라가요.