신경망은 어떻게 배우나: 손실 함수와 경사 하강법
로지스틱 회귀가 절대 풀 수 없는 XOR 문제를 층 두 개짜리 신경망으로 풀어 보며, 층을 쌓는 이유와 활성화 함수가 꼭 필요한 이유를 확인해요. 은닉 뉴런 수에 따라 사인 곡선을 따라가는 능력이 어떻게 변하는지, 손글씨 숫자를 신경망으로 분류하며 손실이 줄어드는 과정과 조기 종료까지 직접 실험해요.
선형 모델 강의에서 로지스틱 회귀는 직선 하나로 세상을 나눈다고 했어요. 그리고 신경망의 뉴런 하나가 바로 이 로지스틱 회귀라고 했죠. 그럼 뉴런을 여러 개, 여러 층으로 쌓으면 무엇이 달라질까요? 이번 강의에서 그 답을 직접 확인해요. 이 질문이 딥러닝 전체의 출발점이에요.
직선 하나로는 안 되는 문제: XOR
입력 두 개가 서로 다를 때만 1을 내는 XOR 문제예요.
| 정답 | ||
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
평면에 점 네 개를 찍어 보면, 1인 점 두 개가 대각선으로 마주 보고 있어요. 직선 하나로는 절대 1과 0을 가를 수 없어요.
import numpy as np
from sklearn.linear_model import LogisticRegression
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([0, 1, 1, 0])
lr = LogisticRegression().fit(X, y)
print(lr.predict(X), lr.score(X, y)) # [0 0 0 0] 0.5
로지스틱 회귀는 포기하고 전부 0이라고 답해요. 정확도 50%, 찍은 것과 같아요. 1969년 민스키와 페퍼트가 단층 신경망의 이 한계를 지적한 뒤, 신경망 연구가 한동안 침체기를 겪었어요.
층을 하나 더 쌓으면
중간에 뉴런 두 개짜리 층(은닉층)을 넣어 볼게요. 먼저 사람이 가중치를 직접 정해서 원리를 볼게요. 계산을 단순하게 하려고, 값이 0보다 크면 1을 내는 계단 함수를 써요.
step = lambda z: (z > 0).astype(int)
W1 = np.array([[1, -1], [1, -1]]) # 은닉 뉴런 2개의 가중치 (열마다 뉴런 하나)
b1 = np.array([-0.5, 1.5])
h = step(X @ W1 + b1) # 첫째 뉴런은 OR, 둘째 뉴런은 NAND
w2, b2 = np.array([1, 1]), -1.5
print(h.tolist(), step(h @ w2 + b2)) # [[0, 1], [1, 1], [1, 1], [1, 0]] [0 1 1 0]
은닉층의 첫째 뉴런은 "둘 중 하나라도 1인가(OR)", 둘째 뉴런은 "둘 다 1은 아닌가(NAND)"를 판단해요. 출력 뉴런은 "두 조건이 모두 참인가(AND)"를 판단해요. OR이면서 NAND인 것, 그게 바로 XOR이에요.
핵심은 이거예요. 은닉층이 원래 공간을 새로운 공간으로 옮겨 놓았더니, 그 공간에서는 직선 하나로 나뉘게 됐어요. 원래 좌표 이 은닉층을 지나면 이 되고, 여기서는 만 한쪽에 두는 직선이 있어요. 신경망의 각 층은 다음 층이 풀기 쉬운 모양으로 데이터를 바꾸는 일을 해요. 머신러닝 트랙에서 사람이 하던 특징 공학을 신경망은 층마다 스스로 해요.
딥러닝에서는 이 가중치를 사람이 정하지 않고 데이터에서 배워요. 그 방법이 다음 강의의 역전파예요.
활성화 함수가 꼭 필요한 이유
은닉층 뒤에 계단 함수 같은 비선형 함수를 넣지 않으면 어떻게 될까요? 층을 아무리 쌓아도 소용없어요.
rng = np.random.default_rng(0)
A, B = rng.normal(size=(3, 4)), rng.normal(size=(4, 2))
x = rng.normal(size=(5, 3))
print(np.allclose((x @ A) @ B, x @ (A @ B))) # True
선형 변환 두 번은 행렬 곱 하나와 같아요. 선형대수 트랙의 행렬 곱셈 그대로예요. 100층을 쌓아도 결국 선형 모델 하나예요. 그래서 층 사이에 반드시 비선형 활성화 함수를 넣어요.
| 함수 | 식 | -2, 0, 2를 넣으면 | 특징 |
|---|---|---|---|
| 시그모이드 | 0.119, 0.5, 0.881 | 0과 1 사이. 출력층의 확률에 써요 | |
| tanh | -0.964, 0, 0.964 | -1과 1 사이, 0을 중심으로 대칭 | |
| ReLU | 0, 0, 2 | 계산이 아주 싸고, 깊은 신경망에서 학습이 잘 돼요 |
지금 은닉층에서 가장 많이 쓰는 것은 ReLU예요. 단순하지만, 시그모이드처럼 양 끝에서 기울기가 0에 가까워지는 문제(기울기 소실)가 적어서 깊은 신경망을 학습시킬 수 있게 해 준 일등 공신이에요. 학습 기술 강의에서 자세히 다뤄요.
뉴런을 늘리면 어떤 모양이든 따라간다
은닉층 하나에 ReLU 뉴런을 늘려 가며 사인 곡선을 맞혀 볼게요. 학습은 시작점에 따라 결과가 달라질 수 있어서, 시작점(난수 씨앗)을 다섯 번 바꿔 가장 좋은 결과를 볼게요.
from sklearn.neural_network import MLPRegressor
xs = np.linspace(-3, 3, 400).reshape(-1, 1)
ys = np.sin(2 * xs).ravel()
for hidden in [1, 2, 4, 8, 32]:
best = min(((MLPRegressor(hidden_layer_sizes=(hidden,), activation="relu", solver="lbfgs",
max_iter=5000, random_state=s).fit(xs, ys).predict(xs) - ys) ** 2).mean()
for s in range(5))
print(hidden, round(best, 4))
| 은닉 뉴런 수 | 평균 제곱 오차 |
|---|---|
| 1 | 0.388 |
| 2 | 0.307 |
| 4 | 0.054 |
| 8 | 0.0026 |
| 32 | 0.0004 |
ReLU 뉴런 하나는 꺾인 직선 하나예요. 뉴런이 늘어날수록 꺾인 직선을 더 많이 이어 붙여 곡선을 흉내 내요. 32개면 사인 곡선과 거의 구별할 수 없어요. 뉴런이 충분히 많으면 은닉층 하나짜리 신경망으로도 (거의) 어떤 연속 함수든 원하는 만큼 가깝게 흉내 낼 수 있다는 것이 보편 근사 정리예요.
다만 "흉내 낼 수 있다"와 "데이터에서 그 답을 찾아낸다"는 다른 이야기예요. 시작점에 따라 결과가 달라서 다섯 번 중 가장 좋은 것을 골랐던 것처럼, 신경망의 손실 함수는 울퉁불퉁해서 경사 하강법이 나쁜 곳에 멈추기도 해요. 그리고 실제로는 넓게 하나보다 깊게 여러 층을 쌓는 것이 같은 수의 뉴런으로 훨씬 복잡한 함수를 효율적으로 표현해요. 그래서 "딥"러닝이에요.
신경망이 배우는 법: 손실과 경사 하강법
신경망도 머신러닝 트랙에서 배운 네 가지 구조 그대로예요.
- 모델: 층마다 를 차례로 계산해요.
- 손실: 회귀는 평균 제곱 오차, 분류는 교차 엔트로피예요.
- 최적화: 모든 가중치에 대한 손실의 기울기를 구해서 경사 하강법으로 조금씩 고쳐요. 이 기울기를 효율적으로 구하는 방법이 역전파예요.
- 일반화: 처음 보는 데이터로 확인해요.
데이터가 많으면 전체로 기울기를 구하는 대신, 수십에서 수백 개씩 미니배치로 나눠 구해요. 최적화 강의의 확률적 경사 하강법이에요. 데이터 전체를 한 바퀴 도는 것을 에포크라고 불러요.
손글씨 숫자를 신경망으로
머신러닝 트랙에서 로지스틱 회귀로 96.7%를 얻었던 손글씨 숫자에, 은닉 뉴런 100개짜리 신경망을 써 볼게요.
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neural_network import MLPClassifier
Xd, yd = load_digits(return_X_y=True)
Xtr, Xte, ytr, yte = train_test_split(Xd, yd, test_size=0.25, random_state=0)
sc = StandardScaler().fit(Xtr)
Xtr_s, Xte_s = sc.transform(Xtr), sc.transform(Xte)
mlp = MLPClassifier(hidden_layer_sizes=(100,), max_iter=300, random_state=0).fit(Xtr_s, ytr)
n_params = sum(w.size for w in mlp.coefs_) + sum(b.size for b in mlp.intercepts_)
print(round(mlp.score(Xte_s, yte), 3), mlp.n_iter_, n_params) # 0.973 143 7510
print([round(float(v), 3) for v in mlp.loss_curve_[:3]], round(float(mlp.loss_curve_[-1]), 4)) # [2.52, 2.007, 1.601] 0.0055
- 정확도 97.3%로 로지스틱 회귀(96.7%)보다 조금 나아요.
- 가중치와 편향을 합쳐 7,510개의 숫자를 배웠어요. 입력 64개에서 은닉 100개로 개, 은닉 100개에서 출력 10개로 개예요.
- 손실(교차 엔트로피)은 첫 에포크 2.52에서 시작해 143번째 에포크에 0.0055까지 줄었어요. 처음 값 2.52는 숫자 10개 중 아무거나 고르는 수준()과 비슷하다는 점도 정보 이론 강의와 연결돼요.
학습 손실이 0에 가까우면 좋은 걸까
학습 데이터의 손실 0.0055는 거의 외웠다는 뜻이에요. 과적합을 막는 간단한 방법이 조기 종료예요. 학습 데이터 일부를 검증용으로 떼어 두고, 검증 성적이 더 이상 좋아지지 않으면 멈춰요.
es = MLPClassifier(hidden_layer_sizes=(100,), max_iter=300, early_stopping=True,
validation_fraction=0.15, random_state=0).fit(Xtr_s, ytr)
print(round(es.score(Xte_s, yte), 3), es.n_iter_) # 0.958 39
39에포크에서 멈췄고, 이번에는 시험 정확도가 95.8%로 오히려 조금 낮아요. 데이터가 1,300여 장뿐이라 검증용으로 15%를 떼어 낸 손해가 더 컸던 거예요. 조기 종료는 데이터가 크고 오래 학습시킬 때 진가를 발휘해요. 이렇게 기법은 상황에 따라 득도 실도 될 수 있어서, 늘 검증으로 확인해요.
깊이와 너비가 곡선 경계를 만든다
머신러닝 트랙의 반달 데이터에 신경망 크기를 바꿔 가며 써 볼게요.
from sklearn.datasets import make_moons
Xm, ym = make_moons(n_samples=1000, noise=0.25, random_state=0)
Xm_tr, Xm_te, ym_tr, ym_te = train_test_split(Xm, ym, test_size=0.3, random_state=0)
print(round(LogisticRegression().fit(Xm_tr, ym_tr).score(Xm_te, ym_te), 3)) # 0.827
for hs in [(2,), (8,), (32, 32)]:
m = MLPClassifier(hidden_layer_sizes=hs, max_iter=3000, random_state=0).fit(Xm_tr, ym_tr)
print(hs, round(m.score(Xm_te, ym_te), 3))
| 모델 | 시험 정확도 |
|---|---|
| 로지스틱 회귀 (직선) | 0.827 |
| 은닉 뉴런 2개 | 0.820 |
| 은닉 뉴런 8개 | 0.840 |
| 은닉층 2개, 각 32개 | 0.937 |
뉴런 2개로는 직선과 별 차이가 없지만, 두 층에 32개씩 쌓으니 반달 모양을 따라가는 곡선 경계를 만들어요. 트리 강의의 랜덤 포레스트(0.953)에는 조금 못 미쳐요. 표 데이터에서는 트리 앙상블이 여전히 강하다는 것도 다시 확인돼요. 신경망이 압도적으로 강해지는 곳은 이미지, 소리, 글처럼 구조가 있는 데이터예요. CNN과 어텐션 강의에서 그 이유를 봐요.
실습
- XOR 신경망에서 가중치를 바꿔, OR 대신 다른 조합으로 XOR을 만들어 보세요(예: "x1이고 x2는 아님"과 "x2이고 x1은 아님"의 OR).
- 사인 곡선 실험에서 활성화를
tanh로 바꿔 보세요. 같은 뉴런 수에서 어느 쪽이 더 잘 맞나요? - 손글씨 신경망의 은닉 뉴런을 10, 50, 300개로 바꿔 시험 정확도와 학습 시간을 비교하세요.
- 반달 데이터의 잡음(
noise)을 0.4로 키우면 큰 신경망과 작은 신경망 중 어느 쪽이 더 과적합되나요?
자주 하는 실수
- 활성화 함수 없이 층 쌓기. 아무리 깊어도 선형 모델 하나예요.
- 입력을 표준화하지 않기. 신경망도 경사 하강법이라 단위가 다르면 학습이 망가져요.
- 학습 손실만 보기. 검증 손실을 함께 봐야 과적합을 알아요.
- 한 번 학습한 결과로 결론 내리기. 시작점에 따라 결과가 달라질 수 있어요.
점검 문제
- XOR을 로지스틱 회귀로 풀 수 없는 이유는?
- 활성화 함수 없이 선형층 세 개를 쌓은 신경망은 무엇과 같나요?
- 입력 64개, 은닉 100개, 출력 10개인 신경망의 가중치와 편향은 모두 몇 개인가요?
- 보편 근사 정리가 말해 주는 것과 말해 주지 않는 것은?
- 조기 종료는 어떤 방식으로 과적합을 막나요?
정답
- 1인 점과 0인 점이 대각선으로 엇갈려 있어서, 직선 하나로는 둘을 가를 수 없기 때문이에요.
- 행렬 곱 하나와 같아서 선형 모델 하나와 같아요.
- 개예요.
- 뉴런이 충분하면 어떤 연속 함수든 흉내 낼 수 있다는 것은 말해 주지만, 그 가중치를 학습으로 찾을 수 있는지, 데이터가 얼마나 필요한지는 말해 주지 않아요.
- 검증 데이터의 성적이 더 이상 좋아지지 않는 시점에 학습을 멈춰서, 학습 데이터를 외우기 시작하기 전에 끝내요.
다음 강의
이번 강의에서는 가중치를 직접 정하거나 scikit-learn에게 맡겼어요. 다음 강의에서는 역전파를 numpy로 직접 구현해서, 신경망이 수천 개의 가중치를 어떻게 한꺼번에 고치는지 한 줄 한 줄 따라가요. 미적분 트랙의 연쇄 법칙이 실제 코드가 되는 순간이에요.