데이터 전처리와 특징 공학
같은 브랜드가 세 가지 이름으로 적혀 있고, 주행거리가 빠져 있고, 가격이 한쪽으로 쏠린 중고차 시세 데이터를 정리해서 선형 모델의 설명력을 0.80에서 0.99로 끌어올려요. 빠진 값 채우기, 범주형 값 바꾸기, 로그 변환, 새 특징 만들기를 하나씩 확인하고, 이 모든 걸 누수 없이 묶는 파이프라인까지 완성해요.
현업 데이터 과학자들은 일하는 시간의 대부분을 모델이 아니라 데이터를 다듬는 데 써요. 모델을 바꾸면 성능이 몇 %p 오르지만, 데이터를 제대로 다듬으면 몇십 %p가 오르기도 하거든요. 이번 강의에서는 지저분한 중고차 시세 데이터 하나를 처음부터 끝까지 다듬어 보며, 그 차이를 숫자로 확인해요.
지저분한 데이터 만나기
중고차 1,500대의 브랜드, 연식, 주행거리, 연료, 사고 이력, 가격(만 원)이에요. 실제 데이터처럼 몇 가지 문제를 섞어 두었어요. 연습용이라 코드로 만들지만, 실제로는 pd.read_csv로 파일을 읽는 자리예요.
import numpy as np
import pandas as pd
rng = np.random.default_rng(0)
n = 1500
brand = rng.choice(["현대", "기아", "제네시스", "BMW"], n, p=[.4, .3, .15, .15])
base = {"현대": 2800, "기아": 2600, "제네시스": 5200, "BMW": 6000}
year = rng.integers(2012, 2026, n)
age = 2026 - year
km = np.clip(rng.normal(15000 * age + 5000, 8000), 1000, None).round(-2)
fuel = rng.choice(["가솔린", "디젤", "하이브리드"], n, p=[.5, .3, .2])
fmul = {"가솔린": 1.0, "디젤": 0.95, "하이브리드": 1.12}
accident = rng.random(n) < 0.15
price = (np.array([base[b] for b in brand]) * 0.86 ** age * np.array([fmul[f] for f in fuel])
* np.where(accident, 0.85, 1.0) * np.exp(-km / 400000) * np.exp(rng.normal(0, 0.08, n))).round(-1)
# 실제 데이터처럼 지저분하게: 같은 브랜드를 다르게 적고, 주행거리를 일부 비워요
brand_messy = brand.astype(object).copy()
r = rng.random(n)
brand_messy[(brand == "현대") & (r < 0.2)] = "현대자동차"
brand_messy[(brand == "현대") & (r > 0.9)] = "HYUNDAI"
brand_messy[(brand == "기아") & (r < 0.15)] = "KIA"
km_messy = km.copy()
km_messy[rng.random(n) < 0.08] = np.nan
df = pd.DataFrame({"브랜드": brand_messy, "연식": year, "주행거리": km_messy,
"연료": fuel, "사고": np.where(accident, "있음", "없음"), "가격": price})
먼저 들여다보기
모델부터 돌리지 말고 데이터를 먼저 봐요. 이 습관 하나가 실수의 절반을 막아요.
print(df.isna().sum().to_dict()) # {'브랜드': 0, '연식': 0, '주행거리': 120, '연료': 0, '사고': 0, '가격': 0}
print(df["브랜드"].value_counts().to_dict())
# {'현대': 413, '기아': 383, '제네시스': 244, 'BMW': 229, '현대자동차': 120, 'KIA': 57, 'HYUNDAI': 54}
print(df["가격"].describe()[["mean", "50%", "max"]].round(0).to_dict()) # {'mean': 1104.0, '50%': 760.0, 'max': 5630.0}
세 가지 문제가 보여요.
- 주행거리가 120대 빠져 있어요.
- 같은 브랜드가 여러 이름으로 적혀 있어요. 현대, 현대자동차, HYUNDAI는 같은 회사인데 컴퓨터는 서로 다른 값으로 봐요.
- 가격이 한쪽으로 쏠려 있어요. 평균(1,104만 원)이 중앙값(760만 원)보다 훨씬 크고, 최고가는 5,630만 원이에요. 비싼 차 몇 대가 오른쪽으로 길게 늘어져 있다는 뜻이에요.
기준점: 아무것도 안 다듬고 돌리기
빠진 값이 있는 행은 버리고, 범주형 값은 0과 1로 펼치고(원핫 인코딩), 그대로 선형 회귀에 넣어 볼게요.
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_absolute_error
train, test = train_test_split(df, test_size=0.25, random_state=0)
def naive(d):
d = d.dropna() # 빠진 행은 버려요
X = pd.get_dummies(d[["브랜드", "연식", "주행거리", "연료", "사고"]], dtype=float)
return X, d["가격"]
Xa_tr, ya_tr = naive(train)
Xa_te, ya_te = naive(test)
Xa_te = Xa_te.reindex(columns=Xa_tr.columns, fill_value=0)
pa = LinearRegression().fit(Xa_tr, ya_tr).predict(Xa_te)
print(len(Xa_tr), round(r2_score(ya_te, pa), 3), round(mean_absolute_error(ya_te, pa))) # 1027 0.795 344
0.795, 평균 344만 원을 틀려요. 그리고 학습 데이터 1,125대 중 98대를 버렸어요. 시험 데이터에서도 빠진 행을 버렸으니, 실제로 서비스한다면 주행거리가 빈 차에는 아예 시세를 못 알려 주는 셈이에요.
하나씩 다듬기
1. 같은 것은 같게: 범주 정리
def clean(d):
d = d.copy()
d["브랜드"] = d["브랜드"].replace({"현대자동차": "현대", "HYUNDAI": "현대", "KIA": "기아"})
d["차령"] = 2026 - d["연식"] # 연식보다 '몇 년 된 차인지'가 직접적이에요
d["주행거리_빠짐"] = d["주행거리"].isna().astype(int) # 빠졌다는 사실 자체도 정보예요
return d
범주 정리는 단순하지만 효과가 커요. 정리 전에는 "현대자동차"로 적힌 120대의 가격 정보가 "현대"와 따로 학습돼서 각자 데이터가 부족했어요.
2. 빠진 값 채우기
선택지는 세 가지예요.
| 방법 | 장점 | 단점 |
|---|---|---|
| 행 버리기 | 간단해요 | 데이터를 잃고, 빠진 데가 있는 새 데이터는 예측을 못 해요 |
| 대표값(중앙값 등)으로 채우기 | 모든 행을 써요 | 진짜 값이 아니라 분포가 왜곡될 수 있어요 |
| 채우고 "빠짐" 표시 열 추가 | 빠진 이유에 패턴이 있으면 그것까지 배워요 | 열이 늘어요 |
여기서는 중앙값으로 채우고 표시 열을 더해요. 중앙값은 학습 데이터에서만 구해야 해요. 평가 강의의 데이터 누수, 기억하죠?
3. 범주형 값을 숫자로
모델은 숫자만 먹어요. 브랜드처럼 순서가 없는 범주는 원핫 인코딩으로 브랜드마다 0/1 열을 만들어요. "현대=1, 기아=2, BMW=3"처럼 번호를 매기면 모델은 BMW가 현대의 3배라고 오해해요. 반대로 "작음, 보통, 큼"처럼 순서가 있는 범주는 번호를 매겨도 괜찮아요.
4. 쏠린 값은 로그로
중고차 가격은 해마다 몇 %씩 곱셈으로 깎여요. 곱셈 관계는 로그를 취하면 덧셈 관계가 돼요. 수학 기초 트랙의 로그 강의에서 본 성질이에요.
정답을 로그로 바꿔서 배우고, 예측할 때 다시 지수로 되돌리면 선형 모델로도 곱셈 관계를 정확히 표현할 수 있어요.
5. 단위 맞추기
선형 모델 강의에서 본 표준화예요. 숫자 특징을 평균 0, 표준편차 1로 맞춰요.
한 줄로 묶기: 파이프라인
위의 단계를 손으로 하면 시험 데이터에 똑같이 적용하다 실수하기 쉬워요. scikit-learn의 파이프라인으로 묶으면 학습 데이터로 배운 그대로를 시험 데이터에 자동으로 적용해요.
from sklearn.compose import ColumnTransformer, TransformedTargetRegressor
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.impute import SimpleImputer
from sklearn.linear_model import Ridge
tr, te = clean(train), clean(test)
num = ["차령", "주행거리", "주행거리_빠짐"]
cat = ["브랜드", "연료", "사고"]
pre = ColumnTransformer([
("num", make_pipeline(SimpleImputer(strategy="median"), StandardScaler()), num), # 채우고, 단위 맞추고
("cat", OneHotEncoder(handle_unknown="ignore"), cat), # 0/1로 펼치고
])
model = TransformedTargetRegressor(regressor=make_pipeline(pre, Ridge(alpha=1.0)),
func=np.log, inverse_func=np.exp) # 가격은 로그로 배우고 되돌려요
model.fit(tr, tr["가격"])
pb = model.predict(te)
print(len(tr), round(r2_score(te["가격"], pb), 3), round(mean_absolute_error(te["가격"], pb))) # 1125 0.988 70
| 행 수(학습) | 평균 오차 | ||
|---|---|---|---|
| 다듬기 전 | 1,027 | 0.795 | 344만 원 |
| 다듬은 뒤 | 1,125 | 0.988 | 70만 원 |
같은 선형 모델인데 오차가 5분의 1로 줄었어요. 버리던 98대도 모두 쓰고, 주행거리가 빈 차도 예측할 수 있게 됐어요.
무엇이 가장 효과가 컸을까
하나씩 빼 보며 확인해 볼게요. 이런 실험을 절제 실험이라고 해요.
from sklearn.ensemble import HistGradientBoostingRegressor
no_log = make_pipeline(pre, Ridge(alpha=1.0)).fit(tr, tr["가격"]) # 로그 변환만 뺀 것
p2 = no_log.predict(te)
print(round(r2_score(te["가격"], p2), 3), round(mean_absolute_error(te["가격"], p2))) # 0.803 340
gbm = make_pipeline(ColumnTransformer([("num", "passthrough", ["연식", "주행거리"]),
("cat", OneHotEncoder(handle_unknown="ignore"), ["브랜드", "연료", "사고"])]),
HistGradientBoostingRegressor(random_state=0)).fit(train, train["가격"])
pg = gbm.predict(test)
print(round(r2_score(test["가격"], pg), 3), round(mean_absolute_error(test["가격"], pg))) # 0.976 94
- 다른 정리는 다 하고 로그 변환만 빼면 이 0.803으로 떨어져요. 이 데이터에서는 로그 변환이 결정적이었어요. 데이터가 어떻게 만들어지는지(곱셈으로 깎이는 가격)를 이해한 것이 성능의 핵심이었다는 뜻이에요.
- 아무것도 다듬지 않은 데이터에 그래디언트 부스팅을 쓰면 0.976까지 나와요. 트리는 곱셈 관계 같은 비선형성을 알아서 잡거든요. 하지만 잘 다듬은 선형 모델(0.988, 오차 70만 원)보다는 못해요. 좋은 특징은 좋은 모델을 이겨요.
다듬은 모델은 읽을 수도 있다
로그 공간에서 배운 선형 모델의 가중치는 "몇 % 비싸지는가"로 읽혀요.
ridge = model.regressor_.named_steps["ridge"]
names = model.regressor_.named_steps["columntransformer"].get_feature_names_out()
coef = dict(zip(names, ridge.coef_))
print(round(float(np.exp(coef["cat__사고_있음"] - coef["cat__사고_없음"])), 3)) # 0.851
print(round(float(np.exp(coef["num__차령"] / tr["차령"].std(ddof=0))), 3)) # 0.836
사고 이력이 있으면 가격이 0.85배, 즉 15% 싸요. 데이터를 만들 때 숨겨 둔 값과 정확히 같아요. 그리고 한 해가 지날 때마다 약 0.836배가 돼요. 연식 자체의 감가(0.86)에 해마다 늘어나는 주행거리의 효과가 겹친 값이에요.
자주 쓰는 특징 만들기
| 원래 데이터 | 만들 수 있는 특징 | 예 |
|---|---|---|
| 날짜 | 요일, 주말 여부, 월, 공휴일, 경과 일수 | 배달 주문은 주말과 저녁에 몰려요 |
| 두 숫자 | 비율, 차이, 곱 | 주행거리 ÷ 차령 = 1년 평균 주행거리 |
| 위치 | 거리, 지역 묶음 | 역까지 거리, 행정구역 |
| 글 | 단어 수, 특정 단어 포함 여부, 단어 빈도 | 스팸의 "무료", "당첨" |
| 기록 | 최근 7일 합계, 지난번 이후 경과 시간 | 마지막 접속 후 며칠 |
날짜에서 특징을 뽑는 예예요.
dates = pd.to_datetime(pd.Series(["2026-11-14", "2026-11-15", "2026-11-16"]))
print(pd.DataFrame({"요일": dates.dt.day_of_week.map(dict(enumerate("월화수목금토일"))),
"주말": dates.dt.day_of_week >= 5, "월": dates.dt.month}))
글은 단어마다 열을 하나씩 만드는 단어 주머니나, 흔한 단어의 가중치를 낮춘 TF-IDF로 숫자로 바꿔요. 요즘은 LLM 트랙에서 배울 임베딩(글의 의미를 담은 숫자 벡터)을 특징으로 쓰는 경우가 많아요.
특징 공학의 원칙
- 도메인 지식이 최고의 특징을 만들어요. "가격은 곱셈으로 깎인다"를 아는 사람이 로그 변환을 떠올려요.
- 예측 시점에 알 수 있는 것만 써요. 평가 강의의 정답 누수를 늘 의심하세요.
- 모든 변환은 학습 데이터로만 배우고, 파이프라인으로 묶어요.
- 하나씩 바꾸고, 교차 검증으로 확인해요. 한꺼번에 바꾸면 무엇이 효과였는지 몰라요.
딥러닝은 특징 공학을 많이 덜어 줬지만(특징을 스스로 배우니까요), 표 데이터에서는 지금도 특징 공학이 성능의 대부분을 결정해요.
실습
clean함수에서 브랜드 정리만 빼고 다시 학습해 보세요. 이 얼마나 떨어지나요?- 빠진 주행거리를 중앙값 대신 "같은 차령 차들의 중앙값"으로 채워 보세요. 성능이 나아지나요?
- "1년 평균 주행거리"(주행거리 ÷ 차령) 특징을 추가해 보세요. 차령이 0인 차는 어떻게 처리해야 할까요?
- 그래디언트 부스팅에도
clean을 적용하고 로그 정답을 써 보세요. 선형 모델을 이길 수 있나요?
자주 하는 실수
- 데이터를 보지 않고 바로 모델 돌리기. 빠진 값, 이상한 범주, 쏠림을 먼저 확인하세요.
- 순서 없는 범주에 번호 매기기. 원핫 인코딩을 쓰세요.
- 전체 데이터로 채우기·표준화하기. 학습 데이터로만 배우세요.
- 로그를 씌운 정답을 되돌리지 않고 평가하기. 오차를 원래 단위(만 원)로 봐야 해요.
- 특징을 수백 개 만들고 다 넣기. 쓸모없는 특징은 과적합만 키워요.
점검 문제
- 브랜드에 "현대=1, 기아=2, BMW=3"처럼 번호를 매기면 무엇이 문제인가요?
- 빠진 값을 채울 때 "빠짐 표시" 열을 함께 넣는 이유는?
- 가격처럼 오른쪽으로 길게 쏠린 값을 로그로 바꾸면 좋은 이유 두 가지는?
- 시험 데이터의 빠진 값을 채울 때 쓸 중앙값은 어디서 구하나요?
- 이 강의에서 가장 효과가 컸던 한 가지 단계는 무엇이었고, 왜 그랬나요?
정답
- 모델이 BMW가 현대의 3배, 기아의 1.5배처럼 크기와 순서가 있다고 오해해요.
- 값이 빠진 이유 자체에 패턴이 있을 수 있어서예요(예: 오래된 차일수록 기록이 없음).
- 큰 값 몇 개가 학습을 휘두르지 않게 하고, 곱셈 관계를 덧셈 관계로 바꿔 선형 모델로 표현할 수 있게 해요.
- 학습 데이터에서 구해요. 시험 데이터로 구하면 데이터 누수예요.
- 정답의 로그 변환이에요. 중고차 가격이 해마다 일정 비율로 깎이는 곱셈 구조라서, 로그를 취하면 선형 모델이 정확히 표현할 수 있었어요.
다음 강의
지금까지는 정답이 있는 지도 학습을 다뤘어요. 다음 강의에서는 정답 없이 데이터의 구조를 찾는 비지도 학습을 깊게 다뤄요. k-평균 군집의 원리와 한계, 묶음 개수 정하기, PCA와 t-SNE로 고차원 데이터를 눈으로 보는 법을 배워요.