결정 트리와 앙상블: 랜덤 포레스트와 부스팅
스무고개처럼 질문을 이어 붙여 예측하는 결정 트리가 질문을 고르는 법, 깊어질수록 외우기만 하는 과적합, 데이터가 조금만 바뀌어도 모양이 달라지는 불안정함을 확인해요. 나무 수백 그루의 다수결로 안정시키는 랜덤 포레스트, 앞 나무의 실수를 다음 나무가 고쳐 나가는 부스팅을 직접 구현하며, 표 데이터에서 이 방법들이 왜 지금도 최강인지 알아봐요.
"사용 시간이 월 5시간보다 적은가요?" "예." "문의를 3번 넘게 했나요?" "예." "그럼 해지할 가능성이 높아요." 스무고개처럼 예/아니오 질문을 이어 가며 답에 다가가는 모델이 결정 트리예요. 사람이 읽을 수 있는 규칙이 나오고, 특징의 단위를 맞출 필요도 없어요. 그리고 이 나무를 수백 그루 모은 랜덤 포레스트와 그래디언트 부스팅은 엑셀 같은 표 데이터에서 지금도 딥러닝보다 강한 경우가 많아요.
결정 트리가 질문을 고르는 법
정보 이론 강의의 끝에서 결정 트리가 정보 이득이 가장 큰 질문을 먼저 던진다는 걸 봤어요. 실제 라이브러리는 비슷한 지표인 지니 불순도를 주로 써요.
한 묶음 안에 한 종류만 있으면 0(순수), 반반 섞여 있으면 0.5예요. 트리는 모든 특징, 모든 나눌 위치를 따져 보고 나눈 뒤의 불순도가 가장 많이 줄어드는 질문을 골라요. 그리고 나뉜 묶음마다 같은 일을 반복해요.
직접 해 보기: 구독 해지 예측
구독 서비스 회원 2,000명의 월 사용 시간, 가입 개월 수, 문의 횟수로 해지 여부를 예측해 볼게요. 사용이 적으면 해지하기 쉽고, 문의가 잦은 사람(불만이 있는 사람)도 해지하기 쉽게 만들어 둔 데이터예요.
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_text
rng = np.random.default_rng(1)
n = 2000
hours = rng.uniform(0, 40, n) # 월 사용 시간
months = rng.integers(1, 37, n) # 가입 개월 수
asks = rng.poisson(1.0, n) # 문의 횟수
risk = np.where(hours < 5, 0.75, 0.08) + np.where(asks >= 3, 0.35, 0) - np.where(months > 24, 0.05, 0)
churn = (rng.random(n) < np.clip(risk, 0.02, 0.97)).astype(int) # 해지 1, 유지 0
X = np.column_stack([hours, months, asks])
names = ["사용시간", "가입개월", "문의횟수"]
X_tr, X_te, y_tr, y_te = train_test_split(X, churn, test_size=0.25, random_state=0)
small = DecisionTreeClassifier(max_depth=2, random_state=0).fit(X_tr, y_tr)
print(export_text(small, feature_names=names, decimals=1, show_weights=True))
print(round(small.score(X_te, y_te), 3)) # 0.912
출력된 나무는 이래요(weights는 [유지, 해지] 인원이에요).
|--- 사용시간 <= 5.0
| |--- 사용시간 <= 0.8
| | |--- weights: [2.0, 24.0] class: 1
| |--- 사용시간 > 0.8
| | |--- weights: [48.0, 100.0] class: 1
|--- 사용시간 > 5.0
| |--- 문의횟수 <= 2.5
| | |--- weights: [1130.0, 78.0] class: 0
| |--- 문의횟수 > 2.5
| | |--- weights: [66.0, 52.0] class: 0
| 규칙 | 회원 수 | 해지 비율 |
|---|---|---|
| 사용 0.8시간 이하 | 26명 | 92% |
| 사용 0.8시간 초과 5시간 이하 | 148명 | 68% |
| 사용 5시간 초과, 문의 2회 이하 | 1,208명 | 6.5% |
| 사용 5시간 초과, 문의 3회 이상 | 118명 | 44% |
데이터를 만들 때 숨겨 둔 규칙(사용 5시간, 문의 3회)을 트리가 정확히 찾아냈어요. 마지막 줄의 해지 비율이 44%라 "유지"로 분류됐지만, 해지 위험이 평소(6.5%)의 7배인 묶음이라는 걸 바로 읽을 수 있어요. 마케팅 팀에 그대로 가져가도 될 만큼 읽기 쉬운 결과예요. 그리고 처음 보는 회원 500명의 91.2%를 맞혔어요.
깊어질수록 외운다
질문을 계속 이어 가면 언젠가는 모든 묶음이 순수해져요. 학습 데이터를 100% 맞히는 거죠.
for depth in [2, 4, 8, None]:
t = DecisionTreeClassifier(max_depth=depth, random_state=0).fit(X_tr, y_tr)
print(depth, round(t.score(X_tr, y_tr), 3), round(t.score(X_te, y_te), 3), t.get_n_leaves())
| 최대 깊이 | 학습 정확도 | 시험 정확도 | 잎 개수 |
|---|---|---|---|
| 2 | 0.880 | 0.912 | 4 |
| 4 | 0.889 | 0.902 | 14 |
| 8 | 0.923 | 0.904 | 80 |
| 제한 없음 | 1.000 | 0.844 | 265 |
깊이 제한을 풀면 잎이 265개나 되고 학습 데이터는 전부 맞히지만, 시험 정확도는 0.844로 가장 나빠요. 선형 모델 강의에서 본 과적합이에요. 우연히 해지한 회원 한 명 한 명을 위한 규칙까지 외워 버린 거예요. 그래서 트리는 깊이, 잎의 최소 샘플 수 같은 가지치기 설정이 중요해요.
데이터가 조금만 바뀌어도 모양이 바뀐다
결정 트리의 또 다른 약점은 불안정함이에요. 위쪽 질문이 조금만 달라져도 아래 전체가 바뀌거든요. 곡선 경계가 있는 데이터(두 개의 반달 모양)로 확인해 볼게요. 학습 데이터를 반으로 나눠 나무를 하나씩 키웠어요.
from sklearn.datasets import make_moons
from sklearn.ensemble import RandomForestClassifier
Xm, ym = make_moons(n_samples=1000, noise=0.25, random_state=0)
Xm_tr, Xm_te, ym_tr, ym_te = train_test_split(Xm, ym, test_size=0.3, random_state=0)
half = len(Xm_tr) // 2
ta = DecisionTreeClassifier(random_state=0).fit(Xm_tr[:half], ym_tr[:half])
tb = DecisionTreeClassifier(random_state=0).fit(Xm_tr[half:], ym_tr[half:])
print(round((ta.predict(Xm_te) != tb.predict(Xm_te)).mean(), 3)) # 0.1
ra = RandomForestClassifier(n_estimators=300, random_state=0).fit(Xm_tr[:half], ym_tr[:half])
rb = RandomForestClassifier(n_estimators=300, random_state=1).fit(Xm_tr[half:], ym_tr[half:])
print(round((ra.predict(Xm_te) != rb.predict(Xm_te)).mean(), 3)) # 0.057
같은 방법, 비슷한 데이터인데 두 나무는 시험 데이터의 10%에서 서로 다른 답을 내요. 아래에서 배울 랜덤 포레스트로 같은 실험을 하면 엇갈림이 5.7%로 줄어요.
랜덤 포레스트: 다양한 나무의 다수결
한 사람의 판단보다 서로 다른 관점을 가진 여러 사람의 다수결이 더 안정적인 것과 같은 원리예요. 단, 모두 같은 생각을 하면 다수결의 의미가 없으니 나무마다 다르게 만들어야 해요.
- 부트스트랩: 나무마다 학습 데이터에서 복원 추출로 표본을 새로 뽑아요. 가설 검정 강의의 부트스트랩과 같은 방법이에요.
- 특징 무작위 선택: 질문을 고를 때마다 전체 특징 중 일부만 후보로 줘요. 그래서 가장 강한 특징 하나가 모든 나무를 지배하지 못해요.
- 다수결: 분류는 투표, 회귀는 평균으로 답을 정해요.
나무 하나하나는 과적합되어 있어도, 서로 다른 방향으로 틀리기 때문에 평균을 내면 실수가 상쇄돼요. 표본과 추정 강의에서 평균을 내면 흔들림이 으로 줄어든다고 배웠죠. 나무들이 완전히 독립은 아니라서 그만큼은 아니어도, 같은 원리예요.
그래디언트 부스팅: 앞 나무의 실수를 고쳐 나가기
랜덤 포레스트가 나무를 동시에, 따로 키운다면, 부스팅은 차례로 키워요. 각 나무는 지금까지의 예측이 틀린 만큼(잔차)을 맞히도록 배워요. 작은 나무로 직접 구현해 볼게요. 사인 곡선을 맞혀 볼 거예요.
from sklearn.tree import DecisionTreeRegressor
rng = np.random.default_rng(0)
x = np.sort(rng.uniform(0, 6, 200))
y = np.sin(x) + rng.normal(0, 0.2, 200)
Xx = x.reshape(-1, 1)
pred = np.full_like(y, y.mean()) # 처음엔 평균 하나로 예측해요
for m in range(1, 101):
resid = y - pred # 지금까지 틀린 만큼
tree = DecisionTreeRegressor(max_depth=2).fit(Xx, resid)
pred += 0.1 * tree.predict(Xx) # 그걸 맞히는 작은 나무를 조금만 더해요
if m in (1, 5, 20, 50, 100):
print(m, round(((y - pred) ** 2).mean(), 4))
| 나무 수 | 평균 제곱 오차 |
|---|---|
| 0 (평균만) | 0.522 |
| 1 | 0.437 |
| 5 | 0.228 |
| 20 | 0.056 |
| 50 | 0.032 |
| 100 | 0.025 |
깊이 2짜리 작은 나무(4칸짜리 계단)를 100개 이어 붙였을 뿐인데 부드러운 사인 곡선을 따라가요. 이게 그래디언트 부스팅인 이유는, 제곱 오차에서 잔차가 곧 손실의 음의 그래디언트이기 때문이에요. 함수 공간에서 경사 하강법을 하는 셈이죠. 0.1을 곱한 것은 학습률이에요. 한 번에 다 고치지 않고 조금씩 고쳐야 과적합이 덜해요.
마지막 오차 0.025는 데이터에 섞은 잡음의 분산()보다 작아요. 잡음까지 외우기 시작했다는 신호예요. 그래서 나무를 몇 개까지 더할지는 검증 데이터로 정해요. 평가 강의에서 다뤄요.
실무에서는 이 아이디어를 빠르고 정교하게 다듬은 XGBoost, LightGBM, CatBoost 같은 라이브러리를 써요. scikit-learn에도 비슷한 HistGradientBoostingClassifier가 있어요.
한자리에서 비교하기
반달 데이터로 지금까지의 모델을 한 번에 비교해 볼게요.
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import HistGradientBoostingClassifier
models = [
("로지스틱 회귀", LogisticRegression()),
("결정 트리(제한 없음)", DecisionTreeClassifier(random_state=0)),
("결정 트리(깊이 5)", DecisionTreeClassifier(max_depth=5, random_state=0)),
("랜덤 포레스트", RandomForestClassifier(n_estimators=300, random_state=0)),
("그래디언트 부스팅", HistGradientBoostingClassifier(random_state=0)),
]
for name, model in models:
model.fit(Xm_tr, ym_tr)
print(name, round(model.score(Xm_tr, ym_tr), 3), round(model.score(Xm_te, ym_te), 3))
| 모델 | 학습 정확도 | 시험 정확도 |
|---|---|---|
| 로지스틱 회귀 | 0.863 | 0.827 |
| 결정 트리 (제한 없음) | 1.000 | 0.910 |
| 결정 트리 (깊이 5) | 0.953 | 0.913 |
| 랜덤 포레스트 | 1.000 | 0.953 |
| 그래디언트 부스팅 | 0.999 | 0.940 |
직선 하나로 나누는 로지스틱 회귀는 반달 모양을 따라가지 못해 가장 낮아요. 트리는 계단 모양 경계로 곡선을 흉내 내고, 앙상블이 가장 좋아요. 랜덤 포레스트는 학습 데이터를 100% 맞히면서도 시험 성적이 가장 좋다는 점이 흥미로워요. 나무 하나하나가 외운 것을 다수결이 걸러 줬기 때문이에요.
어떤 특징이 중요했을까
트리 계열 모델은 각 특징이 불순도를 얼마나 줄였는지 합산한 특징 중요도를 줘요. 해지 데이터에서 랜덤 포레스트로 구해 보면 사용 시간 0.73, 문의 횟수 0.19, 가입 개월 0.08이에요.
rf = RandomForestClassifier(n_estimators=300, min_samples_leaf=20, random_state=0).fit(X_tr, y_tr)
print(round(rf.score(X_te, y_te), 3), dict(zip(names, rf.feature_importances_.round(3))))
다만 이 숫자는 조심해서 읽어야 해요. 값의 종류가 많은 특징(연속값)을 과대평가하는 경향이 있고, 서로 비슷한 특징 두 개가 있으면 중요도를 나눠 가져요. 더 믿을 만한 방법은 특징 하나를 무작위로 섞어 버렸을 때 성능이 얼마나 떨어지는지 보는 순열 중요도예요. 그리고 회귀 강의에서 배운 대로, 중요도는 예측에 쓸모 있다는 뜻이지 원인이라는 뜻이 아니에요.
표 데이터에서는 왜 트리가 강할까
- 단위를 맞출 필요가 없어요(질문은 "면적 80보다 큰가?"처럼 크기 비교뿐이라).
- "사용 5시간 미만이면서 문의 3회 이상"처럼 특징 사이의 상호작용을 자연스럽게 잡아요.
- 범주형 값, 빠진 값, 이상치에 강해요.
- 표 데이터는 이미지나 글처럼 "가까운 픽셀끼리 관계가 있다" 같은 구조가 없어서, 딥러닝의 강점이 잘 살지 않아요.
그래서 데이터 분석 대회의 표 데이터 문제에서는 지금도 부스팅이 우승을 휩쓸어요. 반대로 이미지, 음성, 글처럼 구조가 있는 데이터는 딥러닝이 압도적이에요.
실습
- 해지 예제에서
max_depth대신min_samples_leaf(잎의 최소 인원)를 5, 20, 50으로 바꿔 가며 시험 정확도를 비교해 보세요. - 랜덤 포레스트의
n_estimators를 1, 10, 100, 500으로 바꿔 시험 정확도가 어떻게 변하는지 보세요. 나무가 많아지면 과적합이 심해지나요? - 부스팅 구현에서 학습률 0.1을 1.0과 0.01로 바꿔, 나무 100개 뒤의 오차를 비교해 보세요.
sklearn.inspection.permutation_importance로 해지 예제의 순열 중요도를 구해, 위의 특징 중요도와 비교해 보세요.
자주 하는 실수
- 트리 깊이를 제한하지 않기. 학습 데이터 100% 정확도에 속지 마세요.
- 특징 중요도를 원인으로 해석하기. 예측에 쓸모 있다는 뜻일 뿐이에요.
- 랜덤 포레스트에 나무가 많으면 과적합된다고 생각하기. 나무 수를 늘려도 대체로 성능이 떨어지지 않고 안정돼요. 시간만 더 걸려요. 반대로 부스팅은 나무가 많을수록 과적합될 수 있어요.
- 표 데이터에 무조건 딥러닝부터 쓰기. 부스팅을 기준점으로 먼저 돌려 보세요.
점검 문제
- 한 묶음에 해지 30명, 유지 70명이 있어요. 지니 불순도는?
- 결정 트리의 깊이 제한을 풀면 학습 정확도와 시험 정확도는 어떻게 되나요?
- 랜덤 포레스트가 나무를 서로 다르게 만드는 두 가지 방법은?
- 그래디언트 부스팅에서 다음 나무는 무엇을 맞히도록 배우나요?
- 랜덤 포레스트와 부스팅 중 나무 수를 늘릴수록 과적합 위험이 큰 것은?
정답
- 예요.
- 학습 정확도는 100%에 가까워지고, 시험 정확도는 오히려 떨어지기 쉬워요(과적합).
- 나무마다 부트스트랩으로 다른 표본을 뽑고, 질문을 고를 때마다 특징을 일부만 후보로 줘요.
- 지금까지 예측이 틀린 만큼, 즉 잔차(손실의 음의 그래디언트)예요.
- 부스팅이에요. 앞의 실수를 계속 고치다 보면 잡음까지 맞추게 돼요.
다음 강의
지금까지 "시험 정확도"라는 숫자 하나로 모델을 비교했어요. 그런데 해지 고객이 전체의 16%뿐이라면, 모두 "유지"라고 찍기만 해도 정확도가 84%예요. 다음 강의에서는 모델 평가를 제대로 하는 법을 배워요. 정밀도와 재현율, ROC 곡선, 교차 검증, 그리고 평가를 망치는 데이터 누수까지요.