모델 평가: 과적합, 교차 검증, 지표 고르기
사기 거래가 6%뿐인 데이터에서 정확도 94%가 왜 거의 쓸모없는 숫자인지 확인하고, 혼동 행렬, 정밀도와 재현율, 비용으로 기준값 정하기, ROC와 AUC를 익혀요. 학습·검증·시험 데이터를 나누는 이유, 교차 검증으로 하이퍼파라미터 고르기, 그리고 순수한 잡음에서 정확도 91%를 만들어 내는 데이터 누수까지 직접 재현해요.
모델을 만드는 것보다 모델이 정말 좋은지 판단하는 것이 더 어려워요. 잘못된 평가는 실패보다 위험해요. 실패한 모델은 버리지만, 잘못 평가된 모델은 자신 있게 배포되거든요. 이번 강의에서는 숫자에 속지 않는 법을 배워요.
정확도의 함정
카드 결제 1만 건 중 사기 거래를 찾는 모델을 만든다고 해 볼게요. 사기는 640건, 전체의 6.4%뿐이에요.
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.dummy import DummyClassifier
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.metrics import accuracy_score, confusion_matrix, precision_score, recall_score, f1_score
rng = np.random.default_rng(0)
n = 10000
X = rng.normal(size=(n, 6)) # 결제 특징 6가지
logit = -4.2 + 1.6 * X[:, 0] - 1.1 * X[:, 1] + 0.8 * X[:, 2] * X[:, 3]
y = (rng.random(n) < 1 / (1 + np.exp(-logit))).astype(int) # 사기 1, 정상 0
print(y.mean()) # 0.064
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0, stratify=y)
dummy = DummyClassifier(strategy="most_frequent").fit(X_tr, y_tr) # 무조건 "정상"이라고 찍는 모델
print(round(accuracy_score(y_te, dummy.predict(X_te)), 4)) # 0.936
model = HistGradientBoostingClassifier(random_state=0).fit(X_tr, y_tr)
p = model.predict_proba(X_te)[:, 1] # 사기일 확률
pred = (p >= 0.5).astype(int)
print(round(accuracy_score(y_te, pred), 4)) # 0.9407
아무것도 배우지 않고 무조건 "정상"이라고 찍는 모델의 정확도가 93.6%예요. 열심히 학습한 모델은 94.1%로 겨우 0.5%p 높아요. 정확도만 보면 둘 다 훌륭해 보이지만, 찍는 모델은 사기를 단 한 건도 잡지 못해요. 이렇게 한쪽이 드문 데이터(불균형 데이터)에서 정확도는 거의 아무것도 알려 주지 않아요.
stratify=y도 눈여겨보세요. 학습과 시험 데이터에 사기 비율이 똑같이 6.4%씩 들어가도록 나눠 줘요. 드문 쪽이 한쪽에 몰리는 걸 막아요.
혼동 행렬: 무엇을 어떻게 틀렸나
print(confusion_matrix(y_te, pred)) # [[2780 28]
# [ 150 42]]
| 모델: 정상 | 모델: 사기 | |
|---|---|---|
| 실제 정상 (2,808건) | 2,780 (참 음성) | 28 (거짓 양성) |
| 실제 사기 (192건) | 150 (거짓 음성) | 42 (참 양성) |
시험 데이터의 사기 192건 중 42건만 잡았어요. 150건은 놓쳤고요. 확률의 기초 강의의 양성 판정 표, 가설 검정 강의의 1종·2종 오류 표와 같은 모양이에요. 거짓 양성이 1종 오류(헛경보), 거짓 음성이 2종 오류(놓침)예요.
정밀도와 재현율
- 정밀도: 사기라고 경보를 울린 것 중 진짜 사기의 비율. "경보를 믿을 수 있나?"
- 재현율: 진짜 사기 중 잡아낸 비율. "얼마나 놓치지 않나?"
- F1: 둘의 조화 평균. 둘 다 높아야 높아요.
print(round(precision_score(y_te, pred), 3), round(recall_score(y_te, pred), 3), round(f1_score(y_te, pred), 3))
# 0.6 0.219 0.321
정밀도 0.6은 경보 10번 중 6번이 진짜라는 뜻이고, 재현율 0.219는 사기 5건 중 4건을 놓친다는 뜻이에요. 정확도 94%에 가려져 있던 진짜 모습이에요.
기준값은 비용으로 정한다
모델이 주는 건 사기일 확률이에요. 몇 % 이상을 사기로 볼지는 우리가 정해요. 기준을 낮추면 더 많이 잡지만 헛경보도 늘어요.
경보 한 건을 사람이 확인하는 데 1만 원, 사기 한 건을 놓치면 평균 50만 원을 잃는다고 해 볼게요.
for th in [0.5, 0.3, 0.1, 0.05]:
tn, fp, fn, tp = confusion_matrix(y_te, (p >= th).astype(int)).ravel()
cost = (tp + fp) * 1 + fn * 50 # 만 원 단위
print(th, tp, fp, fn, round(tp / (tp + fp), 3), round(tp / (tp + fn), 3), cost)
| 기준값 | 잡은 사기 | 헛경보 | 놓친 사기 | 정밀도 | 재현율 | 총비용 |
|---|---|---|---|---|---|---|
| 0.5 | 42 | 28 | 150 | 0.600 | 0.219 | 7,570만 원 |
| 0.3 | 70 | 81 | 122 | 0.464 | 0.365 | 6,251만 원 |
| 0.1 | 115 | 276 | 77 | 0.294 | 0.599 | 4,241만 원 |
| 0.05 | 144 | 442 | 48 | 0.246 | 0.750 | 2,986만 원 |
정밀도와 재현율은 한쪽이 오르면 다른 쪽이 내려가는 교환 관계예요. 어느 쪽이 정답인지는 수학이 아니라 틀렸을 때의 대가가 정해요. 놓친 사기가 훨씬 비싼 이 상황에서는 헛경보를 감수하고 기준을 0.05까지 낮추는 게 가장 싸요. 반대로 스팸 필터라면 중요한 메일을 스팸함에 넣는 실수(헛경보)가 더 아파서 기준을 높게 잡아요.
ROC 곡선과 AUC: 기준값과 상관없는 실력
기준값을 0부터 1까지 바꿔 가며 (거짓 양성 비율, 재현율)을 찍은 것이 ROC 곡선이고, 그 아래 넓이가 AUC예요.
from sklearn.metrics import roc_auc_score
from sklearn.linear_model import LogisticRegression
print(round(roc_auc_score(y_te, p), 3)) # 0.885
lr = LogisticRegression().fit(X_tr, y_tr)
print(round(roc_auc_score(y_te, lr.predict_proba(X_te)[:, 1]), 3)) # 0.88
AUC는 이렇게 읽으면 쉬워요. "사기 거래 하나와 정상 거래 하나를 무작위로 뽑았을 때, 모델이 사기 쪽에 더 높은 점수를 줄 확률." 0.5면 동전 던지기, 1이면 완벽해요. 0.885면 꽤 쓸 만한 순서를 매긴다는 뜻이에요. 기준값을 정하기 전에 모델 자체의 실력을 비교할 때 써요. 다만 아주 불균형한 데이터에서는 정밀도와 재현율로 그린 PR 곡선이 더 솔직할 때가 많아요.
학습, 검증, 시험: 데이터를 세 쪽으로
모델을 고르고 설정을 바꿀 때마다 시험 데이터 성적을 보면 어떻게 될까요? 수십 번 고르다 보면 결국 시험 데이터에 우연히 잘 맞는 설정을 고르게 돼요. 가설 검정 강의의 "여러 번 검정하기" 함정과 똑같아요. 그래서 데이터를 세 쪽으로 나눠요.
| 데이터 | 용도 | 언제 보나 |
|---|---|---|
| 학습 | 모델의 가중치를 배워요 | 매번 |
| 검증 | 모델 종류, 하이퍼파라미터를 골라요 | 고를 때마다 |
| 시험 | 최종 성능을 보고해요 | 맨 마지막에 딱 한 번 |
시험 데이터는 봉인된 수능 시험지예요. 모의고사(검증)로 공부 방법을 정하고, 수능은 한 번만 봐요.
교차 검증: 운에 덜 휘둘리는 평가
검증 데이터를 한 번만 떼면, 어떤 데이터가 거기 들어갔느냐는 운에 따라 성적이 출렁여요. k겹 교차 검증은 학습 데이터를 k등분해서, 돌아가며 한 조각을 검증용으로 쓰고 나머지로 학습해요. 성적 k개의 평균과 흔들림을 함께 봐요.
from sklearn.model_selection import StratifiedKFold, cross_val_score
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
gb_scores = cross_val_score(HistGradientBoostingClassifier(random_state=0), X_tr, y_tr, cv=cv, scoring="roc_auc")
lr_scores = cross_val_score(LogisticRegression(), X_tr, y_tr, cv=cv, scoring="roc_auc")
print(gb_scores.round(3), round(gb_scores.mean(), 3)) # [0.839 0.883 0.868 0.885 0.862] 0.867
print(lr_scores.round(3), round(lr_scores.mean(), 3)) # [0.871 0.891 0.869 0.898 0.876] 0.881
흥미로운 결과예요. 시험 데이터 한 번으로는 부스팅(0.885)이 로지스틱 회귀(0.880)보다 조금 나아 보였어요. 그런데 교차 검증 평균은 로지스틱 회귀(0.881)가 오히려 높아요. 그리고 같은 부스팅도 어느 조각이냐에 따라 0.839에서 0.885까지 출렁여요. 차이가 흔들림보다 작으면 둘 중 누가 낫다고 말할 수 없어요. 이럴 때는 더 단순하고 빠르고 설명하기 쉬운 쪽을 고르는 게 현명해요.
하이퍼파라미터 고르기
교차 검증으로 설정값 후보를 하나씩 평가해 가장 좋은 걸 고르는 일을 자동으로 해 주는 도구가 있어요.
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
grid = GridSearchCV(RandomForestClassifier(n_estimators=200, random_state=0),
{"min_samples_leaf": [1, 5, 20, 50]}, cv=cv, scoring="roc_auc").fit(X_tr, y_tr)
print(grid.best_params_, round(grid.best_score_, 3)) # {'min_samples_leaf': 20} 0.873
print(round(roc_auc_score(y_te, grid.predict_proba(X_te)[:, 1]), 3)) # 0.888 (시험은 마지막에 한 번)
잎의 최소 샘플 수 후보 4개를 각각 5겹 교차 검증(총 20번 학습)으로 비교해 20을 골랐어요. 그리고 고른 모델로 시험 데이터를 한 번 평가했어요.
데이터 누수: 평가를 속이는 가장 흔한 실수
데이터 누수는 학습할 때 알 수 없어야 할 정보가 몰래 들어가는 거예요. 성적이 실제보다 훨씬 좋게 나오고, 배포하면 무너져요. 극단적인 예로 확인해 볼게요. 특징 5,000개가 전부 무작위 잡음이고, 정답도 동전 던지기로 정했어요. 맞힐 방법이 아예 없는 데이터예요.
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.pipeline import make_pipeline
rng = np.random.default_rng(1)
Xn = rng.normal(size=(100, 5000)) # 아무 의미 없는 특징 5,000개
yn = rng.integers(0, 2, 100) # 동전 던지기로 정한 정답
# 잘못된 방법: 전체 데이터로 "정답과 관련 있어 보이는" 특징 20개를 먼저 고른 뒤 교차 검증
Xs = SelectKBest(f_classif, k=20).fit(Xn, yn).transform(Xn)
print(round(cross_val_score(LogisticRegression(max_iter=1000), Xs, yn, cv=5).mean(), 3)) # 0.91
# 올바른 방법: 특징 고르기까지 교차 검증 안에서, 학습 조각으로만
pipe = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression(max_iter=1000))
print(round(cross_val_score(pipe, Xn, yn, cv=5).mean(), 3)) # 0.47
순수한 잡음인데 잘못된 방법으로는 정확도가 **91%**로 나와요. 특징 5,000개 중에는 우연히 정답과 잘 맞는 것이 있게 마련인데, 그걸 고를 때 검증 조각의 정답까지 봐 버렸기 때문이에요. 시험지를 미리 보고 공부한 셈이죠. 특징 고르기를 교차 검증 안에 넣으면 47%, 즉 동전 던지기 수준이라는 진실이 드러나요. 파이프라인으로 전처리와 모델을 묶어 두면 이런 실수를 구조적으로 막을 수 있어요.
누수는 다양한 모습으로 숨어 있어요.
- 전처리 누수: 표준화, 빠진 값 채우기, 특징 고르기를 데이터를 나누기 전에 전체로 하는 것
- 정답 누수: 정답이 정해진 뒤에야 알 수 있는 특징을 쓰는 것. 해지 예측에 "해지 위약금 안내 발송 여부"를 넣으면, 해지 신청한 사람에게만 보내는 안내라 정답을 미리 보는 셈이에요.
- 시간 누수: 시간 순서가 있는 데이터를 무작위로 섞어 나누는 것. 미래 데이터로 과거를 맞히게 돼요. 주가나 수요 예측은 반드시 과거로 학습하고 미래로 평가해야 해요.
- 중복 누수: 같은 고객, 같은 환자의 데이터가 학습과 시험에 나눠 들어가는 것. 사람을 외워서 맞혀요. 사람 단위로 나눠야 해요.
성적이 너무 좋으면 먼저 누수를 의심하세요. 경험 많은 데이터 과학자들의 첫 번째 습관이에요.
회귀 모델의 지표
| 지표 | 뜻 | 특징 |
|---|---|---|
| MAE | 오차 절댓값의 평균 | "평균 4,400만 원 틀린다"처럼 읽기 쉬워요 |
| RMSE | 오차 제곱 평균의 제곱근 | 큰 오차를 더 무겁게 쳐요 |
| 변동 중 설명한 비율 | 0이면 평균으로 찍은 것과 같아요 | |
| MAPE | 오차를 실제값으로 나눈 비율의 평균 | 실제값이 0에 가까우면 터져요 |
실습
- 사기 예제에서 놓친 사기의 비용을 50만 원 대신 5만 원으로 바꾸면 가장 싼 기준값이 어떻게 바뀌나요?
sklearn.metrics.precision_recall_curve로 PR 곡선을 그리고, ROC 곡선과 모양을 비교해 보세요.- 교차 검증의 조각 수를 3, 5, 10으로 바꿔 평균과 표준편차가 어떻게 변하는지 보세요.
- 데이터 누수 예제에서 특징 수를 5,000개에서 50개로 줄이면 잘못된 방법의 점수가 어떻게 변하나요? 이유를 설명해 보세요.
자주 하는 실수
- 불균형 데이터에서 정확도만 보고하기. "무조건 다수 쪽으로 찍는 모델"과 먼저 비교하세요.
- 시험 데이터로 모델을 고르기. 시험 데이터는 마지막에 한 번만 봐요.
- 나누기 전에 전처리하기. 파이프라인을 쓰세요.
- 시간 데이터를 무작위로 섞어 나누기. 과거로 배우고 미래로 평가하세요.
- 작은 차이로 우열 가리기. 교차 검증의 흔들림과 함께 보세요.
점검 문제
- 사기가 1%인 데이터에서 "전부 정상"이라고 찍으면 정확도와 재현율은?
- 경보 100건 중 진짜 사기가 30건이고, 전체 사기가 60건이에요. 정밀도와 재현율은?
- 암 검진 모델에서 기준값을 낮추면 정밀도와 재현율은 각각 어떻게 변하기 쉬운가요?
- AUC 0.5는 무엇을 뜻하나요?
- 하이퍼파라미터를 시험 데이터 성적으로 고르면 왜 안 되나요?
정답
- 정확도 99%, 재현율 0이에요.
- 정밀도 , 재현율 예요.
- 더 많은 사람을 양성으로 판정하니 재현율은 오르고 정밀도는 내려가기 쉬워요.
- 무작위로 찍는 것과 같은 순서 매기기 실력이에요.
- 시험 데이터에 우연히 잘 맞는 설정을 고르게 돼서, 시험 성적이 실제 성능보다 좋게 부풀려지기 때문이에요.
다음 강의
평가하는 법을 알았으니, 이제 성능을 끌어올리는 가장 확실한 방법을 배워요. 다음 강의는 데이터 전처리와 특징 공학이에요. 빠진 값 채우기, 범주형 값 바꾸기, 날짜에서 요일 뽑기처럼 데이터를 모델이 먹기 좋게 다듬는 일이 모델 선택보다 성능을 더 크게 바꾸는 경우가 많아요.