선형 회귀와 로지스틱 회귀: 가장 단순한 모델의 힘

여러 특징으로 값을 예측하는 선형 회귀를 경사 하강법으로 직접 구현하고, 특징의 단위를 맞추지 않으면 학습이 왜 멈추거나 터지는지 확인해요. 시그모이드와 로그 손실로 합격 확률을 내는 로지스틱 회귀, 숫자 10종을 고르는 소프트맥스 회귀, 과적합을 막는 릿지와 라소까지 scikit-learn 결과와 맞춰 보며 익혀요.

중급강의 3 / 8약 12분

딥러닝이 화제의 중심이지만, 현업에서 새 문제를 받으면 가장 먼저 돌려 보는 모델은 대개 선형 모델이에요. 학습이 1초면 끝나고, 결과를 사람이 읽을 수 있고, 생각보다 성능이 좋아요. 그리고 신경망의 뉴런 하나가 바로 선형 모델이라, 이걸 정확히 이해하면 딥러닝의 절반은 이해한 셈이에요.

선형 회귀: 특징 여러 개로 값 예측하기

회귀 강의에서는 공부 시간 하나로 점수를 예측했어요. 특징이 여러 개면 각 특징에 가중치를 곱해 더하면 돼요.

y^=w1x1+w2x2+⋯+wdxd+b=w⋅x+b\hat{y} = w_1 x_1 + w_2 x_2 + \cdots + w_d x_d + b = \mathbf{w} \cdot \mathbf{x} + b

집 500채의 면적, 방 수, 역까지 걸리는 시간으로 집값(억)을 예측해 볼게요. 연습이니 진짜 규칙을 알고 만들어 둘게요. 면적 1㎡에 0.08억, 방 하나에 0.3억, 역에서 1분 멀어질 때마다 0.05억 싸지는 규칙이에요.

import numpy as np
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(42)
n = 500
area = rng.uniform(40, 140, n)          # 면적(㎡)
rooms = rng.integers(1, 6, n)           # 방 수
dist = rng.uniform(1, 30, n)            # 역까지(분)
price = 0.08 * area + 0.3 * rooms - 0.05 * dist + 1.0 + rng.normal(0, 0.5, n)   # 집값(억)

X = np.column_stack([area, rooms, dist])
X_tr, X_te, y_tr, y_te = train_test_split(X, price, test_size=0.2, random_state=0)

경사 하강법으로 직접 학습하기

손실은 평균 제곱 오차예요. 미적분 트랙에서 구했듯이 그래디언트는 2nXT(y^−y)\frac{2}{n} X^T(\hat{\mathbf{y}} - \mathbf{y})이고, 그 반대 방향으로 조금씩 움직이면 돼요.

def gd(X, y, lr, steps):
    w, b = np.zeros(X.shape[1]), 0.0
    with np.errstate(over="ignore", invalid="ignore"):
        for _ in range(steps):
            err = X @ w + b - y
            w -= lr * 2 * X.T @ err / len(y)
            b -= lr * 2 * err.mean()
        return w, b, ((X @ w + b - y) ** 2).mean()

print(gd(X_tr, y_tr, lr=1e-4, steps=1000))   # w=[0.09, 0.145, -0.025], b=0.02, 오차 0.437
print(gd(X_tr, y_tr, lr=1e-3, steps=50)[2])  # 6e+125, 발산!

이상해요. 학습률 0.0001로는 1,000번을 돌려도 방 수의 가중치가 0.145(진짜는 0.3), 절편이 0.02(진짜는 1.0)로 한참 모자라요. 학습률을 0.001로 올리면 50번 만에 오차가 1012510^{125}로 터져요.

범인은 단위 차이

면적은 40에서 140, 방 수는 1에서 5예요. 숫자의 크기가 수십 배 차이 나죠. 그러면 손실 함수의 모양이 한 방향으로만 길쭉한 골짜기가 돼요. 최적화 강의에서 본 것처럼, 길쭉한 골짜기에서는 가파른 방향(면적)에 맞춰 학습률을 작게 잡아야 터지지 않는데, 그러면 완만한 방향(방 수, 절편)으로는 거의 움직이지 못해요.

해결책은 간단해요. 각 특징을 평균 0, 표준편차 1로 맞추는 표준화예요.

z=x−평균표준편차z = \frac{x - \text{평균}}{\text{표준편차}}
mu, sd = X_tr.mean(axis=0), X_tr.std(axis=0)
Z = (X_tr - mu) / sd                     # 표준화 (평균과 표준편차는 학습 데이터로만 구해요)
w, b, _ = gd(Z, y_tr, lr=0.1, steps=300)
print(w.round(3), round(b, 3))           # [ 2.326  0.432 -0.398] 8.296

# 원래 단위로 되돌리면
print((w / sd).round(4), round(b - (w * mu / sd).sum(), 3))   # [ 0.0801  0.3033 -0.047 ] 0.895

학습률 0.1로 300번 만에 수렴했어요. 원래 단위로 되돌리면 면적 0.0801, 방 0.3033, 거리 -0.047로 진짜 규칙(0.08, 0.3, -0.05)을 거의 정확히 찾아냈어요. 경사 하강법을 쓰는 모델에서는 표준화가 거의 필수예요. 신경망도 마찬가지예요.

scikit-learn으로 확인

from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_absolute_error

lin = LinearRegression().fit(X_tr, y_tr)
print(lin.coef_.round(4), round(lin.intercept_, 3))     # [ 0.0801  0.3033 -0.047 ] 0.895
pred = lin.predict(X_te)
print(round(r2_score(y_te, pred), 3), round(mean_absolute_error(y_te, pred), 3))   # 0.947 0.441
print(lin.predict([[84, 3, 10]]).round(2))             # [8.06]

정규 방정식으로 푼 답과 똑같아요. 시험 데이터에서 R2R^2은 0.947, 평균 절대 오차는 0.44억이에요. 84㎡, 방 3개, 역 10분인 집은 8.06억으로 예측해요.

선형 모델의 큰 장점은 읽을 수 있다는 것이에요. "역에서 1분 멀어지면 약 470만 원 싸진다"처럼 가중치가 곧 설명이에요. 대출 심사처럼 결과를 설명해야 하는 분야에서 지금도 선형 모델을 쓰는 이유예요. 다만 회귀 강의에서 배운 대로, 이건 "다른 특징이 같을 때"의 관계이고 인과는 아니에요.

로지스틱 회귀: 확률로 분류하기

이번에는 공부 시간과 수면 시간으로 시험 합격 여부(합격 1, 불합격 0)를 맞혀 볼게요. 선형 회귀를 그대로 쓰면 출력이 -3이나 1.7처럼 확률일 수 없는 값이 나와요. 그래서 선형 결합을 시그모이드 함수에 넣어 0과 1 사이로 눌러요.

p=σ(w⋅x+b),σ(z)=11+e−zp = \sigma(\mathbf{w} \cdot \mathbf{x} + b), \qquad \sigma(z) = \frac{1}{1 + e^{-z}}

손실은 정보 이론 강의의 교차 엔트로피예요. 정답이 두 가지라 로그 손실이라고도 불러요.

L=−1n∑i[ yilog⁡pi+(1−yi)log⁡(1−pi) ]L = -\frac{1}{n}\sum_i \big[\, y_i \log p_i + (1 - y_i)\log(1 - p_i) \,\big]

놀랍게도 그래디언트는 선형 회귀와 거의 같은 모양인 1nXT(p−y)\frac{1}{n}X^T(\mathbf{p} - \mathbf{y})예요. 정보 이론 강의에서 본 "예측 빼기 정답"이 여기서도 나와요.

rng = np.random.default_rng(7)
m = 400
study = rng.uniform(0, 10, m)                     # 공부 시간
sleep = rng.uniform(4, 9, m)                      # 수면 시간
p_true = 1 / (1 + np.exp(-(0.9 * study + 0.8 * sleep - 9.5)))
passed = (rng.random(m) < p_true).astype(int)     # 합격 1, 불합격 0

Xs = np.column_stack([study, sleep])
Xs_tr, Xs_te, ys_tr, ys_te = train_test_split(Xs, passed, test_size=0.25, random_state=0)
mu2, sd2 = Xs_tr.mean(axis=0), Xs_tr.std(axis=0)
Zs = (Xs_tr - mu2) / sd2

sigmoid = lambda z: 1 / (1 + np.exp(-z))
w2, b2 = np.zeros(2), 0.0
for _ in range(2000):
    p = sigmoid(Zs @ w2 + b2)
    w2 -= 0.5 * Zs.T @ (p - ys_tr) / len(ys_tr)   # 예측 빼기 정답
    b2 -= 0.5 * (p - ys_tr).mean()
print((w2 / sd2).round(3), round(b2 - (w2 * mu2 / sd2).sum(), 3))   # [0.811 0.949] -9.778
acc = ((sigmoid((Xs_te - mu2) / sd2 @ w2 + b2) >= 0.5) == ys_te).mean()
print(round(acc, 3))                                                # 0.92

진짜 규칙(0.9, 0.8, -9.5)에 가까운 값을 찾았고, 처음 보는 학생 100명 중 92명의 합격 여부를 맞혔어요. scikit-learn으로도 해 볼게요.

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression().fit(Xs_tr, ys_tr)
print(clf.coef_.round(3), clf.intercept_.round(3), clf.score(Xs_te, ys_te))   # [[0.796 0.918]] [-9.512] 0.92
for s, sl in [(2, 6), (5, 7), (8, 8)]:
    print(s, sl, clf.predict_proba([[s, sl]])[0, 1].round(3))
공부 시간수면 시간합격 확률
268.2%
5771.0%
8898.5%

scikit-learn의 가중치가 조금 작은 건 기본으로 L2 정규화가 켜져 있어서예요(아래에서 다뤄요). 로지스틱 회귀의 진짜 가치는 "합격"이라는 답만이 아니라 확률을 준다는 거예요. 기본은 0.5를 넘으면 합격으로 판정하지만, 상황에 맞게 이 기준값을 바꿀 수 있어요. 암 검사라면 놓치는 게 더 위험하니 기준을 0.2로 낮추는 식이에요. 평가 강의에서 이 선택을 정밀도와 재현율로 따져 봐요.

결정 경계

p=0.5p = 0.5가 되는 곳은 w⋅x+b=0\mathbf{w} \cdot \mathbf{x} + b = 0, 즉 공부 시간과 수면 시간 평면 위의 직선이에요. 로지스틱 회귀는 이 직선 하나로 합격과 불합격을 나눠요. 그래서 이름에 "선형"이 붙어요. 직선 하나로 나눌 수 없는 문제에는 다음 강의의 트리나 딥러닝이 필요해요.

여러 종류로 분류하기: 소프트맥스

손글씨 숫자처럼 정답이 10가지면, 숫자마다 선형 점수를 하나씩 계산하고 정보 이론 강의의 소프트맥스로 확률 10개를 만들어요. scikit-learn의 로지스틱 회귀가 알아서 해 줘요.

from sklearn.datasets import load_digits
from sklearn.preprocessing import StandardScaler

Xd, yd = load_digits(return_X_y=True)
Xd_tr, Xd_te, yd_tr, yd_te = train_test_split(Xd, yd, test_size=0.25, random_state=0)
sc = StandardScaler().fit(Xd_tr)
soft = LogisticRegression(max_iter=2000).fit(sc.transform(Xd_tr), yd_tr)
print(round(soft.score(sc.transform(Xd_te), yd_te), 3))    # 0.967

픽셀 64개에 대한 가중치를 숫자마다 하나씩, 총 64×10개를 배운 것뿐인데 정확도가 96.7%예요. 표준화를 StandardScaler로 했는데, 시험 데이터에도 학습 데이터로 구한 평균과 표준편차를 써야 한다는 점에 주의하세요.

과적합과 정규화: 릿지와 라소

데이터는 60개뿐인데 특징이 50개라면 어떨까요? 그중 진짜 쓸모 있는 특징은 3개뿐이고 나머지 47개는 아무 관계 없는 잡음이에요.

from sklearn.linear_model import Ridge, Lasso

rng = np.random.default_rng(3)
Xr = rng.normal(size=(60, 50))
true_w = np.zeros(50)
true_w[:3] = [3.0, -2.0, 1.5]                 # 쓸모 있는 특징은 앞의 3개뿐
yr = Xr @ true_w + rng.normal(0, 1.0, 60)
Xr_te = rng.normal(size=(1000, 50))
yr_te = Xr_te @ true_w + rng.normal(0, 1.0, 1000)

for name, model in [("최소제곱", LinearRegression()), ("릿지", Ridge(alpha=10.0)), ("라소", Lasso(alpha=0.1))]:
    model.fit(Xr, yr)
    print(name, round(model.score(Xr, yr), 3), round(model.score(Xr_te, yr_te), 3), int((np.abs(model.coef_) > 1e-6).sum()))
모델학습 데이터 R2R^2시험 데이터 R2R^20이 아닌 가중치
최소제곱0.9860.67250개
릿지 (L2)0.9550.77850개
라소 (L1)0.9520.92020개

최소제곱은 학습 데이터를 98.6% 설명하지만, 처음 보는 데이터에서는 67.2%로 떨어져요. 잡음 47개에서도 우연한 패턴을 찾아 외워 버렸기 때문이에요. 이것이 과적합이에요.

  • 릿지는 가중치 제곱합에 벌점을 줘요(λ∥w∥2\lambda \lVert \mathbf{w} \rVert^2). 모든 가중치를 0 쪽으로 조금씩 당겨요. 베이즈 강의에서 본 "가중치는 작을 것"이라는 사전 믿음이에요.
  • 라소는 가중치 절댓값 합에 벌점을 줘요(λ∥w∥1\lambda \lVert \mathbf{w} \rVert_1). 쓸모없는 가중치를 정확히 0으로 만들어 특징을 골라내는 효과가 있어요. 여기서는 50개 중 30개를 0으로 만들었고, 시험 성적이 0.92로 가장 좋아요.

벌점의 세기 λ\lambda(scikit-learn에서는 alpha)는 데이터로 배울 수 없는 하이퍼파라미터예요. 너무 약하면 과적합, 너무 세면 쓸모 있는 신호까지 지워요. 어떻게 고르는지는 평가 강의의 교차 검증에서 배워요.

그래도 선형 모델을 먼저 쓰는 이유

  1. 기준점: 복잡한 모델이 선형 모델보다 얼마나 나은지 알아야 그 복잡함이 값어치가 있는지 판단할 수 있어요.
  2. 설명: 가중치가 곧 설명이에요.
  3. 속도와 크기: 수백만 개의 단어를 특징으로 쓰는 스팸 분류처럼 특징이 엄청 많아도 빠르게 학습해요.
  4. 확장: 특징을 잘 만들면(면적의 제곱, 지역 더미 변수 등) 곡선 관계도 표현해요. 특징 공학 강의에서 다뤄요.

실습

  1. 집값 예제에서 표준화 없이 학습률을 여러 값으로 바꿔 보며, 터지지 않으면서 가장 빨리 수렴하는 값을 찾아 보세요. 표준화했을 때와 비교해 보세요.
  2. 합격 예제에서 기준값을 0.5 대신 0.3, 0.7로 바꾸면 합격으로 판정되는 학생 수와 정확도가 어떻게 변하나요?
  3. 정규화 예제에서 Ridge의 alpha를 0.1, 1, 10, 100으로 바꿔 시험 R2R^2을 그려 보세요. 가장 좋은 값이 있나요?
  4. 라소가 0이 아니라고 남긴 20개 중 진짜 쓸모 있는 3개가 모두 들어 있는지 확인해 보세요.

자주 하는 실수

  • 표준화를 빼먹기. 경사 하강법이 멈추거나 터져요. 정규화(릿지, 라소)도 단위가 다르면 특징마다 벌점이 불공평하게 걸려요.
  • 시험 데이터까지 합쳐서 표준화하기. 시험 데이터의 정보가 학습에 새어 들어가요. 평균과 표준편차는 학습 데이터로만 구하세요.
  • 로지스틱 회귀의 출력을 그대로 믿기. 학습 데이터가 치우쳤거나 정규화가 세면 확률이 실제 비율과 어긋날 수 있어요.
  • 가중치 크기로 중요도를 비교하기. 단위가 다른 특징의 가중치는 크기를 비교할 수 없어요. 표준화한 뒤의 가중치로 비교하세요.

점검 문제

  1. 선형 회귀를 경사 하강법으로 학습할 때 표준화가 필요한 이유는?
  2. 로지스틱 회귀에서 시그모이드 함수가 하는 일은?
  3. 로지스틱 회귀의 그래디언트가 1nXT(p−y)\frac{1}{n}X^T(\mathbf{p} - \mathbf{y})일 때, 모든 예측이 정답과 같으면 그래디언트는?
  4. 학습 데이터 성능은 좋은데 시험 데이터 성능이 크게 떨어지는 현상의 이름과 대책 두 가지는?
  5. 릿지와 라소 중 특징 선택 효과가 있는 것은?

정답

  1. 특징마다 숫자 크기가 다르면 손실 함수가 길쭉한 골짜기 모양이 돼서, 한 방향은 터지고 다른 방향은 거의 움직이지 않기 때문이에요.
  2. 선형 결합의 값을 0과 1 사이로 눌러 확률로 바꿔요.
  3. p−y=0\mathbf{p} - \mathbf{y} = \mathbf{0}이라 그래디언트도 0이에요. 더 고칠 것이 없어요.
  4. 과적합이에요. 데이터를 더 모으거나, 정규화(릿지, 라소)로 모델을 단순하게 만들어요. 특징 수를 줄이는 것도 방법이에요.
  5. 라소(L1)예요. 쓸모없는 가중치를 정확히 0으로 만들어요.

다음 강의

선형 모델은 직선(평면) 하나로 세상을 나눠요. 다음 강의에서는 "면적이 80㎡보다 큰가?" 같은 질문을 나무처럼 이어 붙이는 결정 트리와, 나무 수백 그루를 모아 정확도를 끌어올리는 랜덤 포레스트와 부스팅을 배워요. 표 데이터에서 지금도 가장 강력한 방법이에요.