선형 회귀와 로지스틱 회귀: 가장 단순한 모델의 힘
여러 특징으로 값을 예측하는 선형 회귀를 경사 하강법으로 직접 구현하고, 특징의 단위를 맞추지 않으면 학습이 왜 멈추거나 터지는지 확인해요. 시그모이드와 로그 손실로 합격 확률을 내는 로지스틱 회귀, 숫자 10종을 고르는 소프트맥스 회귀, 과적합을 막는 릿지와 라소까지 scikit-learn 결과와 맞춰 보며 익혀요.
딥러닝이 화제의 중심이지만, 현업에서 새 문제를 받으면 가장 먼저 돌려 보는 모델은 대개 선형 모델이에요. 학습이 1초면 끝나고, 결과를 사람이 읽을 수 있고, 생각보다 성능이 좋아요. 그리고 신경망의 뉴런 하나가 바로 선형 모델이라, 이걸 정확히 이해하면 딥러닝의 절반은 이해한 셈이에요.
선형 회귀: 특징 여러 개로 값 예측하기
회귀 강의에서는 공부 시간 하나로 점수를 예측했어요. 특징이 여러 개면 각 특징에 가중치를 곱해 더하면 돼요.
집 500채의 면적, 방 수, 역까지 걸리는 시간으로 집값(억)을 예측해 볼게요. 연습이니 진짜 규칙을 알고 만들어 둘게요. 면적 1㎡에 0.08억, 방 하나에 0.3억, 역에서 1분 멀어질 때마다 0.05억 싸지는 규칙이에요.
import numpy as np
from sklearn.model_selection import train_test_split
rng = np.random.default_rng(42)
n = 500
area = rng.uniform(40, 140, n) # 면적(㎡)
rooms = rng.integers(1, 6, n) # 방 수
dist = rng.uniform(1, 30, n) # 역까지(분)
price = 0.08 * area + 0.3 * rooms - 0.05 * dist + 1.0 + rng.normal(0, 0.5, n) # 집값(억)
X = np.column_stack([area, rooms, dist])
X_tr, X_te, y_tr, y_te = train_test_split(X, price, test_size=0.2, random_state=0)
경사 하강법으로 직접 학습하기
손실은 평균 제곱 오차예요. 미적분 트랙에서 구했듯이 그래디언트는 이고, 그 반대 방향으로 조금씩 움직이면 돼요.
def gd(X, y, lr, steps):
w, b = np.zeros(X.shape[1]), 0.0
with np.errstate(over="ignore", invalid="ignore"):
for _ in range(steps):
err = X @ w + b - y
w -= lr * 2 * X.T @ err / len(y)
b -= lr * 2 * err.mean()
return w, b, ((X @ w + b - y) ** 2).mean()
print(gd(X_tr, y_tr, lr=1e-4, steps=1000)) # w=[0.09, 0.145, -0.025], b=0.02, 오차 0.437
print(gd(X_tr, y_tr, lr=1e-3, steps=50)[2]) # 6e+125, 발산!
이상해요. 학습률 0.0001로는 1,000번을 돌려도 방 수의 가중치가 0.145(진짜는 0.3), 절편이 0.02(진짜는 1.0)로 한참 모자라요. 학습률을 0.001로 올리면 50번 만에 오차가 로 터져요.
범인은 단위 차이
면적은 40에서 140, 방 수는 1에서 5예요. 숫자의 크기가 수십 배 차이 나죠. 그러면 손실 함수의 모양이 한 방향으로만 길쭉한 골짜기가 돼요. 최적화 강의에서 본 것처럼, 길쭉한 골짜기에서는 가파른 방향(면적)에 맞춰 학습률을 작게 잡아야 터지지 않는데, 그러면 완만한 방향(방 수, 절편)으로는 거의 움직이지 못해요.
해결책은 간단해요. 각 특징을 평균 0, 표준편차 1로 맞추는 표준화예요.
mu, sd = X_tr.mean(axis=0), X_tr.std(axis=0)
Z = (X_tr - mu) / sd # 표준화 (평균과 표준편차는 학습 데이터로만 구해요)
w, b, _ = gd(Z, y_tr, lr=0.1, steps=300)
print(w.round(3), round(b, 3)) # [ 2.326 0.432 -0.398] 8.296
# 원래 단위로 되돌리면
print((w / sd).round(4), round(b - (w * mu / sd).sum(), 3)) # [ 0.0801 0.3033 -0.047 ] 0.895
학습률 0.1로 300번 만에 수렴했어요. 원래 단위로 되돌리면 면적 0.0801, 방 0.3033, 거리 -0.047로 진짜 규칙(0.08, 0.3, -0.05)을 거의 정확히 찾아냈어요. 경사 하강법을 쓰는 모델에서는 표준화가 거의 필수예요. 신경망도 마찬가지예요.
scikit-learn으로 확인
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_absolute_error
lin = LinearRegression().fit(X_tr, y_tr)
print(lin.coef_.round(4), round(lin.intercept_, 3)) # [ 0.0801 0.3033 -0.047 ] 0.895
pred = lin.predict(X_te)
print(round(r2_score(y_te, pred), 3), round(mean_absolute_error(y_te, pred), 3)) # 0.947 0.441
print(lin.predict([[84, 3, 10]]).round(2)) # [8.06]
정규 방정식으로 푼 답과 똑같아요. 시험 데이터에서 은 0.947, 평균 절대 오차는 0.44억이에요. 84㎡, 방 3개, 역 10분인 집은 8.06억으로 예측해요.
선형 모델의 큰 장점은 읽을 수 있다는 것이에요. "역에서 1분 멀어지면 약 470만 원 싸진다"처럼 가중치가 곧 설명이에요. 대출 심사처럼 결과를 설명해야 하는 분야에서 지금도 선형 모델을 쓰는 이유예요. 다만 회귀 강의에서 배운 대로, 이건 "다른 특징이 같을 때"의 관계이고 인과는 아니에요.
로지스틱 회귀: 확률로 분류하기
이번에는 공부 시간과 수면 시간으로 시험 합격 여부(합격 1, 불합격 0)를 맞혀 볼게요. 선형 회귀를 그대로 쓰면 출력이 -3이나 1.7처럼 확률일 수 없는 값이 나와요. 그래서 선형 결합을 시그모이드 함수에 넣어 0과 1 사이로 눌러요.
손실은 정보 이론 강의의 교차 엔트로피예요. 정답이 두 가지라 로그 손실이라고도 불러요.
놀랍게도 그래디언트는 선형 회귀와 거의 같은 모양인 예요. 정보 이론 강의에서 본 "예측 빼기 정답"이 여기서도 나와요.
rng = np.random.default_rng(7)
m = 400
study = rng.uniform(0, 10, m) # 공부 시간
sleep = rng.uniform(4, 9, m) # 수면 시간
p_true = 1 / (1 + np.exp(-(0.9 * study + 0.8 * sleep - 9.5)))
passed = (rng.random(m) < p_true).astype(int) # 합격 1, 불합격 0
Xs = np.column_stack([study, sleep])
Xs_tr, Xs_te, ys_tr, ys_te = train_test_split(Xs, passed, test_size=0.25, random_state=0)
mu2, sd2 = Xs_tr.mean(axis=0), Xs_tr.std(axis=0)
Zs = (Xs_tr - mu2) / sd2
sigmoid = lambda z: 1 / (1 + np.exp(-z))
w2, b2 = np.zeros(2), 0.0
for _ in range(2000):
p = sigmoid(Zs @ w2 + b2)
w2 -= 0.5 * Zs.T @ (p - ys_tr) / len(ys_tr) # 예측 빼기 정답
b2 -= 0.5 * (p - ys_tr).mean()
print((w2 / sd2).round(3), round(b2 - (w2 * mu2 / sd2).sum(), 3)) # [0.811 0.949] -9.778
acc = ((sigmoid((Xs_te - mu2) / sd2 @ w2 + b2) >= 0.5) == ys_te).mean()
print(round(acc, 3)) # 0.92
진짜 규칙(0.9, 0.8, -9.5)에 가까운 값을 찾았고, 처음 보는 학생 100명 중 92명의 합격 여부를 맞혔어요. scikit-learn으로도 해 볼게요.
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression().fit(Xs_tr, ys_tr)
print(clf.coef_.round(3), clf.intercept_.round(3), clf.score(Xs_te, ys_te)) # [[0.796 0.918]] [-9.512] 0.92
for s, sl in [(2, 6), (5, 7), (8, 8)]:
print(s, sl, clf.predict_proba([[s, sl]])[0, 1].round(3))
| 공부 시간 | 수면 시간 | 합격 확률 |
|---|---|---|
| 2 | 6 | 8.2% |
| 5 | 7 | 71.0% |
| 8 | 8 | 98.5% |
scikit-learn의 가중치가 조금 작은 건 기본으로 L2 정규화가 켜져 있어서예요(아래에서 다뤄요). 로지스틱 회귀의 진짜 가치는 "합격"이라는 답만이 아니라 확률을 준다는 거예요. 기본은 0.5를 넘으면 합격으로 판정하지만, 상황에 맞게 이 기준값을 바꿀 수 있어요. 암 검사라면 놓치는 게 더 위험하니 기준을 0.2로 낮추는 식이에요. 평가 강의에서 이 선택을 정밀도와 재현율로 따져 봐요.
결정 경계
가 되는 곳은 , 즉 공부 시간과 수면 시간 평면 위의 직선이에요. 로지스틱 회귀는 이 직선 하나로 합격과 불합격을 나눠요. 그래서 이름에 "선형"이 붙어요. 직선 하나로 나눌 수 없는 문제에는 다음 강의의 트리나 딥러닝이 필요해요.
여러 종류로 분류하기: 소프트맥스
손글씨 숫자처럼 정답이 10가지면, 숫자마다 선형 점수를 하나씩 계산하고 정보 이론 강의의 소프트맥스로 확률 10개를 만들어요. scikit-learn의 로지스틱 회귀가 알아서 해 줘요.
from sklearn.datasets import load_digits
from sklearn.preprocessing import StandardScaler
Xd, yd = load_digits(return_X_y=True)
Xd_tr, Xd_te, yd_tr, yd_te = train_test_split(Xd, yd, test_size=0.25, random_state=0)
sc = StandardScaler().fit(Xd_tr)
soft = LogisticRegression(max_iter=2000).fit(sc.transform(Xd_tr), yd_tr)
print(round(soft.score(sc.transform(Xd_te), yd_te), 3)) # 0.967
픽셀 64개에 대한 가중치를 숫자마다 하나씩, 총 64×10개를 배운 것뿐인데 정확도가 96.7%예요. 표준화를 StandardScaler로 했는데, 시험 데이터에도 학습 데이터로 구한 평균과 표준편차를 써야 한다는 점에 주의하세요.
과적합과 정규화: 릿지와 라소
데이터는 60개뿐인데 특징이 50개라면 어떨까요? 그중 진짜 쓸모 있는 특징은 3개뿐이고 나머지 47개는 아무 관계 없는 잡음이에요.
from sklearn.linear_model import Ridge, Lasso
rng = np.random.default_rng(3)
Xr = rng.normal(size=(60, 50))
true_w = np.zeros(50)
true_w[:3] = [3.0, -2.0, 1.5] # 쓸모 있는 특징은 앞의 3개뿐
yr = Xr @ true_w + rng.normal(0, 1.0, 60)
Xr_te = rng.normal(size=(1000, 50))
yr_te = Xr_te @ true_w + rng.normal(0, 1.0, 1000)
for name, model in [("최소제곱", LinearRegression()), ("릿지", Ridge(alpha=10.0)), ("라소", Lasso(alpha=0.1))]:
model.fit(Xr, yr)
print(name, round(model.score(Xr, yr), 3), round(model.score(Xr_te, yr_te), 3), int((np.abs(model.coef_) > 1e-6).sum()))
| 모델 | 학습 데이터 | 시험 데이터 | 0이 아닌 가중치 |
|---|---|---|---|
| 최소제곱 | 0.986 | 0.672 | 50개 |
| 릿지 (L2) | 0.955 | 0.778 | 50개 |
| 라소 (L1) | 0.952 | 0.920 | 20개 |
최소제곱은 학습 데이터를 98.6% 설명하지만, 처음 보는 데이터에서는 67.2%로 떨어져요. 잡음 47개에서도 우연한 패턴을 찾아 외워 버렸기 때문이에요. 이것이 과적합이에요.
- 릿지는 가중치 제곱합에 벌점을 줘요(). 모든 가중치를 0 쪽으로 조금씩 당겨요. 베이즈 강의에서 본 "가중치는 작을 것"이라는 사전 믿음이에요.
- 라소는 가중치 절댓값 합에 벌점을 줘요(). 쓸모없는 가중치를 정확히 0으로 만들어 특징을 골라내는 효과가 있어요. 여기서는 50개 중 30개를 0으로 만들었고, 시험 성적이 0.92로 가장 좋아요.
벌점의 세기 (scikit-learn에서는 alpha)는 데이터로 배울 수 없는 하이퍼파라미터예요. 너무 약하면 과적합, 너무 세면 쓸모 있는 신호까지 지워요. 어떻게 고르는지는 평가 강의의 교차 검증에서 배워요.
그래도 선형 모델을 먼저 쓰는 이유
- 기준점: 복잡한 모델이 선형 모델보다 얼마나 나은지 알아야 그 복잡함이 값어치가 있는지 판단할 수 있어요.
- 설명: 가중치가 곧 설명이에요.
- 속도와 크기: 수백만 개의 단어를 특징으로 쓰는 스팸 분류처럼 특징이 엄청 많아도 빠르게 학습해요.
- 확장: 특징을 잘 만들면(면적의 제곱, 지역 더미 변수 등) 곡선 관계도 표현해요. 특징 공학 강의에서 다뤄요.
실습
- 집값 예제에서 표준화 없이 학습률을 여러 값으로 바꿔 보며, 터지지 않으면서 가장 빨리 수렴하는 값을 찾아 보세요. 표준화했을 때와 비교해 보세요.
- 합격 예제에서 기준값을 0.5 대신 0.3, 0.7로 바꾸면 합격으로 판정되는 학생 수와 정확도가 어떻게 변하나요?
- 정규화 예제에서
Ridge의alpha를 0.1, 1, 10, 100으로 바꿔 시험 을 그려 보세요. 가장 좋은 값이 있나요? - 라소가 0이 아니라고 남긴 20개 중 진짜 쓸모 있는 3개가 모두 들어 있는지 확인해 보세요.
자주 하는 실수
- 표준화를 빼먹기. 경사 하강법이 멈추거나 터져요. 정규화(릿지, 라소)도 단위가 다르면 특징마다 벌점이 불공평하게 걸려요.
- 시험 데이터까지 합쳐서 표준화하기. 시험 데이터의 정보가 학습에 새어 들어가요. 평균과 표준편차는 학습 데이터로만 구하세요.
- 로지스틱 회귀의 출력을 그대로 믿기. 학습 데이터가 치우쳤거나 정규화가 세면 확률이 실제 비율과 어긋날 수 있어요.
- 가중치 크기로 중요도를 비교하기. 단위가 다른 특징의 가중치는 크기를 비교할 수 없어요. 표준화한 뒤의 가중치로 비교하세요.
점검 문제
- 선형 회귀를 경사 하강법으로 학습할 때 표준화가 필요한 이유는?
- 로지스틱 회귀에서 시그모이드 함수가 하는 일은?
- 로지스틱 회귀의 그래디언트가 일 때, 모든 예측이 정답과 같으면 그래디언트는?
- 학습 데이터 성능은 좋은데 시험 데이터 성능이 크게 떨어지는 현상의 이름과 대책 두 가지는?
- 릿지와 라소 중 특징 선택 효과가 있는 것은?
정답
- 특징마다 숫자 크기가 다르면 손실 함수가 길쭉한 골짜기 모양이 돼서, 한 방향은 터지고 다른 방향은 거의 움직이지 않기 때문이에요.
- 선형 결합의 값을 0과 1 사이로 눌러 확률로 바꿔요.
- 이라 그래디언트도 0이에요. 더 고칠 것이 없어요.
- 과적합이에요. 데이터를 더 모으거나, 정규화(릿지, 라소)로 모델을 단순하게 만들어요. 특징 수를 줄이는 것도 방법이에요.
- 라소(L1)예요. 쓸모없는 가중치를 정확히 0으로 만들어요.
다음 강의
선형 모델은 직선(평면) 하나로 세상을 나눠요. 다음 강의에서는 "면적이 80㎡보다 큰가?" 같은 질문을 나무처럼 이어 붙이는 결정 트리와, 나무 수백 그루를 모아 정확도를 끌어올리는 랜덤 포레스트와 부스팅을 배워요. 표 데이터에서 지금도 가장 강력한 방법이에요.