데이터 전처리와 특징 공학

같은 브랜드가 세 가지 이름으로 적혀 있고, 주행거리가 빠져 있고, 가격이 한쪽으로 쏠린 중고차 시세 데이터를 정리해서 선형 모델의 설명력을 0.80에서 0.99로 끌어올려요. 빠진 값 채우기, 범주형 값 바꾸기, 로그 변환, 새 특징 만들기를 하나씩 확인하고, 이 모든 걸 누수 없이 묶는 파이프라인까지 완성해요.

중급강의 6 / 8약 13분

현업 데이터 과학자들은 일하는 시간의 대부분을 모델이 아니라 데이터를 다듬는 데 써요. 모델을 바꾸면 성능이 몇 %p 오르지만, 데이터를 제대로 다듬으면 몇십 %p가 오르기도 하거든요. 이번 강의에서는 지저분한 중고차 시세 데이터 하나를 처음부터 끝까지 다듬어 보며, 그 차이를 숫자로 확인해요.

지저분한 데이터 만나기

중고차 1,500대의 브랜드, 연식, 주행거리, 연료, 사고 이력, 가격(만 원)이에요. 실제 데이터처럼 몇 가지 문제를 섞어 두었어요. 연습용이라 코드로 만들지만, 실제로는 pd.read_csv로 파일을 읽는 자리예요.

import numpy as np
import pandas as pd

rng = np.random.default_rng(0)
n = 1500
brand = rng.choice(["현대", "기아", "제네시스", "BMW"], n, p=[.4, .3, .15, .15])
base = {"현대": 2800, "기아": 2600, "제네시스": 5200, "BMW": 6000}
year = rng.integers(2012, 2026, n)
age = 2026 - year
km = np.clip(rng.normal(15000 * age + 5000, 8000), 1000, None).round(-2)
fuel = rng.choice(["가솔린", "디젤", "하이브리드"], n, p=[.5, .3, .2])
fmul = {"가솔린": 1.0, "디젤": 0.95, "하이브리드": 1.12}
accident = rng.random(n) < 0.15
price = (np.array([base[b] for b in brand]) * 0.86 ** age * np.array([fmul[f] for f in fuel])
         * np.where(accident, 0.85, 1.0) * np.exp(-km / 400000) * np.exp(rng.normal(0, 0.08, n))).round(-1)

# 실제 데이터처럼 지저분하게: 같은 브랜드를 다르게 적고, 주행거리를 일부 비워요
brand_messy = brand.astype(object).copy()
r = rng.random(n)
brand_messy[(brand == "현대") & (r < 0.2)] = "현대자동차"
brand_messy[(brand == "현대") & (r > 0.9)] = "HYUNDAI"
brand_messy[(brand == "기아") & (r < 0.15)] = "KIA"
km_messy = km.copy()
km_messy[rng.random(n) < 0.08] = np.nan

df = pd.DataFrame({"브랜드": brand_messy, "연식": year, "주행거리": km_messy,
                   "연료": fuel, "사고": np.where(accident, "있음", "없음"), "가격": price})

먼저 들여다보기

모델부터 돌리지 말고 데이터를 먼저 봐요. 이 습관 하나가 실수의 절반을 막아요.

print(df.isna().sum().to_dict())          # {'브랜드': 0, '연식': 0, '주행거리': 120, '연료': 0, '사고': 0, '가격': 0}
print(df["브랜드"].value_counts().to_dict())
# {'현대': 413, '기아': 383, '제네시스': 244, 'BMW': 229, '현대자동차': 120, 'KIA': 57, 'HYUNDAI': 54}
print(df["가격"].describe()[["mean", "50%", "max"]].round(0).to_dict())   # {'mean': 1104.0, '50%': 760.0, 'max': 5630.0}

세 가지 문제가 보여요.

  1. 주행거리가 120대 빠져 있어요.
  2. 같은 브랜드가 여러 이름으로 적혀 있어요. 현대, 현대자동차, HYUNDAI는 같은 회사인데 컴퓨터는 서로 다른 값으로 봐요.
  3. 가격이 한쪽으로 쏠려 있어요. 평균(1,104만 원)이 중앙값(760만 원)보다 훨씬 크고, 최고가는 5,630만 원이에요. 비싼 차 몇 대가 오른쪽으로 길게 늘어져 있다는 뜻이에요.

기준점: 아무것도 안 다듬고 돌리기

빠진 값이 있는 행은 버리고, 범주형 값은 0과 1로 펼치고(원핫 인코딩), 그대로 선형 회귀에 넣어 볼게요.

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_absolute_error

train, test = train_test_split(df, test_size=0.25, random_state=0)

def naive(d):
    d = d.dropna()                                                     # 빠진 행은 버려요
    X = pd.get_dummies(d[["브랜드", "연식", "주행거리", "연료", "사고"]], dtype=float)
    return X, d["가격"]

Xa_tr, ya_tr = naive(train)
Xa_te, ya_te = naive(test)
Xa_te = Xa_te.reindex(columns=Xa_tr.columns, fill_value=0)
pa = LinearRegression().fit(Xa_tr, ya_tr).predict(Xa_te)
print(len(Xa_tr), round(r2_score(ya_te, pa), 3), round(mean_absolute_error(ya_te, pa)))   # 1027 0.795 344

R2R^2 0.795, 평균 344만 원을 틀려요. 그리고 학습 데이터 1,125대 중 98대를 버렸어요. 시험 데이터에서도 빠진 행을 버렸으니, 실제로 서비스한다면 주행거리가 빈 차에는 아예 시세를 못 알려 주는 셈이에요.

하나씩 다듬기

1. 같은 것은 같게: 범주 정리

def clean(d):
    d = d.copy()
    d["브랜드"] = d["브랜드"].replace({"현대자동차": "현대", "HYUNDAI": "현대", "KIA": "기아"})
    d["차령"] = 2026 - d["연식"]                                  # 연식보다 '몇 년 된 차인지'가 직접적이에요
    d["주행거리_빠짐"] = d["주행거리"].isna().astype(int)          # 빠졌다는 사실 자체도 정보예요
    return d

범주 정리는 단순하지만 효과가 커요. 정리 전에는 "현대자동차"로 적힌 120대의 가격 정보가 "현대"와 따로 학습돼서 각자 데이터가 부족했어요.

2. 빠진 값 채우기

선택지는 세 가지예요.

방법장점단점
행 버리기간단해요데이터를 잃고, 빠진 데가 있는 새 데이터는 예측을 못 해요
대표값(중앙값 등)으로 채우기모든 행을 써요진짜 값이 아니라 분포가 왜곡될 수 있어요
채우고 "빠짐" 표시 열 추가빠진 이유에 패턴이 있으면 그것까지 배워요열이 늘어요

여기서는 중앙값으로 채우고 표시 열을 더해요. 중앙값은 학습 데이터에서만 구해야 해요. 평가 강의의 데이터 누수, 기억하죠?

3. 범주형 값을 숫자로

모델은 숫자만 먹어요. 브랜드처럼 순서가 없는 범주는 원핫 인코딩으로 브랜드마다 0/1 열을 만들어요. "현대=1, 기아=2, BMW=3"처럼 번호를 매기면 모델은 BMW가 현대의 3배라고 오해해요. 반대로 "작음, 보통, 큼"처럼 순서가 있는 범주는 번호를 매겨도 괜찮아요.

4. 쏠린 값은 로그로

중고차 가격은 해마다 몇 %씩 곱셈으로 깎여요. 곱셈 관계는 로그를 취하면 덧셈 관계가 돼요. 수학 기초 트랙의 로그 강의에서 본 성질이에요.

가격=기본값×0.86차령×⋯⟹log⁡가격=log⁡기본값+차령⋅log⁡0.86+⋯\text{가격} = \text{기본값} \times 0.86^{\text{차령}} \times \cdots \quad \Longrightarrow \quad \log \text{가격} = \log \text{기본값} + \text{차령} \cdot \log 0.86 + \cdots

정답을 로그로 바꿔서 배우고, 예측할 때 다시 지수로 되돌리면 선형 모델로도 곱셈 관계를 정확히 표현할 수 있어요.

5. 단위 맞추기

선형 모델 강의에서 본 표준화예요. 숫자 특징을 평균 0, 표준편차 1로 맞춰요.

한 줄로 묶기: 파이프라인

위의 단계를 손으로 하면 시험 데이터에 똑같이 적용하다 실수하기 쉬워요. scikit-learn의 파이프라인으로 묶으면 학습 데이터로 배운 그대로를 시험 데이터에 자동으로 적용해요.

from sklearn.compose import ColumnTransformer, TransformedTargetRegressor
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.impute import SimpleImputer
from sklearn.linear_model import Ridge

tr, te = clean(train), clean(test)
num = ["차령", "주행거리", "주행거리_빠짐"]
cat = ["브랜드", "연료", "사고"]
pre = ColumnTransformer([
    ("num", make_pipeline(SimpleImputer(strategy="median"), StandardScaler()), num),   # 채우고, 단위 맞추고
    ("cat", OneHotEncoder(handle_unknown="ignore"), cat),                                # 0/1로 펼치고
])
model = TransformedTargetRegressor(regressor=make_pipeline(pre, Ridge(alpha=1.0)),
                                   func=np.log, inverse_func=np.exp)                    # 가격은 로그로 배우고 되돌려요
model.fit(tr, tr["가격"])
pb = model.predict(te)
print(len(tr), round(r2_score(te["가격"], pb), 3), round(mean_absolute_error(te["가격"], pb)))   # 1125 0.988 70
행 수(학습)R2R^2평균 오차
다듬기 전1,0270.795344만 원
다듬은 뒤1,1250.98870만 원

같은 선형 모델인데 오차가 5분의 1로 줄었어요. 버리던 98대도 모두 쓰고, 주행거리가 빈 차도 예측할 수 있게 됐어요.

무엇이 가장 효과가 컸을까

하나씩 빼 보며 확인해 볼게요. 이런 실험을 절제 실험이라고 해요.

from sklearn.ensemble import HistGradientBoostingRegressor

no_log = make_pipeline(pre, Ridge(alpha=1.0)).fit(tr, tr["가격"])           # 로그 변환만 뺀 것
p2 = no_log.predict(te)
print(round(r2_score(te["가격"], p2), 3), round(mean_absolute_error(te["가격"], p2)))      # 0.803 340

gbm = make_pipeline(ColumnTransformer([("num", "passthrough", ["연식", "주행거리"]),
                                       ("cat", OneHotEncoder(handle_unknown="ignore"), ["브랜드", "연료", "사고"])]),
                    HistGradientBoostingRegressor(random_state=0)).fit(train, train["가격"])
pg = gbm.predict(test)
print(round(r2_score(test["가격"], pg), 3), round(mean_absolute_error(test["가격"], pg)))  # 0.976 94
  • 다른 정리는 다 하고 로그 변환만 빼면 R2R^2이 0.803으로 떨어져요. 이 데이터에서는 로그 변환이 결정적이었어요. 데이터가 어떻게 만들어지는지(곱셈으로 깎이는 가격)를 이해한 것이 성능의 핵심이었다는 뜻이에요.
  • 아무것도 다듬지 않은 데이터에 그래디언트 부스팅을 쓰면 0.976까지 나와요. 트리는 곱셈 관계 같은 비선형성을 알아서 잡거든요. 하지만 잘 다듬은 선형 모델(0.988, 오차 70만 원)보다는 못해요. 좋은 특징은 좋은 모델을 이겨요.

다듬은 모델은 읽을 수도 있다

로그 공간에서 배운 선형 모델의 가중치는 "몇 % 비싸지는가"로 읽혀요.

ridge = model.regressor_.named_steps["ridge"]
names = model.regressor_.named_steps["columntransformer"].get_feature_names_out()
coef = dict(zip(names, ridge.coef_))
print(round(float(np.exp(coef["cat__사고_있음"] - coef["cat__사고_없음"])), 3))       # 0.851
print(round(float(np.exp(coef["num__차령"] / tr["차령"].std(ddof=0))), 3))           # 0.836

사고 이력이 있으면 가격이 0.85배, 즉 15% 싸요. 데이터를 만들 때 숨겨 둔 값과 정확히 같아요. 그리고 한 해가 지날 때마다 약 0.836배가 돼요. 연식 자체의 감가(0.86)에 해마다 늘어나는 주행거리의 효과가 겹친 값이에요.

자주 쓰는 특징 만들기

원래 데이터만들 수 있는 특징예
날짜요일, 주말 여부, 월, 공휴일, 경과 일수배달 주문은 주말과 저녁에 몰려요
두 숫자비율, 차이, 곱주행거리 ÷ 차령 = 1년 평균 주행거리
위치거리, 지역 묶음역까지 거리, 행정구역
글단어 수, 특정 단어 포함 여부, 단어 빈도스팸의 "무료", "당첨"
기록최근 7일 합계, 지난번 이후 경과 시간마지막 접속 후 며칠

날짜에서 특징을 뽑는 예예요.

dates = pd.to_datetime(pd.Series(["2026-11-14", "2026-11-15", "2026-11-16"]))
print(pd.DataFrame({"요일": dates.dt.day_of_week.map(dict(enumerate("월화수목금토일"))),
                    "주말": dates.dt.day_of_week >= 5, "월": dates.dt.month}))

글은 단어마다 열을 하나씩 만드는 단어 주머니나, 흔한 단어의 가중치를 낮춘 TF-IDF로 숫자로 바꿔요. 요즘은 LLM 트랙에서 배울 임베딩(글의 의미를 담은 숫자 벡터)을 특징으로 쓰는 경우가 많아요.

특징 공학의 원칙

  1. 도메인 지식이 최고의 특징을 만들어요. "가격은 곱셈으로 깎인다"를 아는 사람이 로그 변환을 떠올려요.
  2. 예측 시점에 알 수 있는 것만 써요. 평가 강의의 정답 누수를 늘 의심하세요.
  3. 모든 변환은 학습 데이터로만 배우고, 파이프라인으로 묶어요.
  4. 하나씩 바꾸고, 교차 검증으로 확인해요. 한꺼번에 바꾸면 무엇이 효과였는지 몰라요.

딥러닝은 특징 공학을 많이 덜어 줬지만(특징을 스스로 배우니까요), 표 데이터에서는 지금도 특징 공학이 성능의 대부분을 결정해요.

실습

  1. clean 함수에서 브랜드 정리만 빼고 다시 학습해 보세요. R2R^2이 얼마나 떨어지나요?
  2. 빠진 주행거리를 중앙값 대신 "같은 차령 차들의 중앙값"으로 채워 보세요. 성능이 나아지나요?
  3. "1년 평균 주행거리"(주행거리 ÷ 차령) 특징을 추가해 보세요. 차령이 0인 차는 어떻게 처리해야 할까요?
  4. 그래디언트 부스팅에도 clean을 적용하고 로그 정답을 써 보세요. 선형 모델을 이길 수 있나요?

자주 하는 실수

  • 데이터를 보지 않고 바로 모델 돌리기. 빠진 값, 이상한 범주, 쏠림을 먼저 확인하세요.
  • 순서 없는 범주에 번호 매기기. 원핫 인코딩을 쓰세요.
  • 전체 데이터로 채우기·표준화하기. 학습 데이터로만 배우세요.
  • 로그를 씌운 정답을 되돌리지 않고 평가하기. 오차를 원래 단위(만 원)로 봐야 해요.
  • 특징을 수백 개 만들고 다 넣기. 쓸모없는 특징은 과적합만 키워요.

점검 문제

  1. 브랜드에 "현대=1, 기아=2, BMW=3"처럼 번호를 매기면 무엇이 문제인가요?
  2. 빠진 값을 채울 때 "빠짐 표시" 열을 함께 넣는 이유는?
  3. 가격처럼 오른쪽으로 길게 쏠린 값을 로그로 바꾸면 좋은 이유 두 가지는?
  4. 시험 데이터의 빠진 값을 채울 때 쓸 중앙값은 어디서 구하나요?
  5. 이 강의에서 가장 효과가 컸던 한 가지 단계는 무엇이었고, 왜 그랬나요?

정답

  1. 모델이 BMW가 현대의 3배, 기아의 1.5배처럼 크기와 순서가 있다고 오해해요.
  2. 값이 빠진 이유 자체에 패턴이 있을 수 있어서예요(예: 오래된 차일수록 기록이 없음).
  3. 큰 값 몇 개가 학습을 휘두르지 않게 하고, 곱셈 관계를 덧셈 관계로 바꿔 선형 모델로 표현할 수 있게 해요.
  4. 학습 데이터에서 구해요. 시험 데이터로 구하면 데이터 누수예요.
  5. 정답의 로그 변환이에요. 중고차 가격이 해마다 일정 비율로 깎이는 곱셈 구조라서, 로그를 취하면 선형 모델이 정확히 표현할 수 있었어요.

다음 강의

지금까지는 정답이 있는 지도 학습을 다뤘어요. 다음 강의에서는 정답 없이 데이터의 구조를 찾는 비지도 학습을 깊게 다뤄요. k-평균 군집의 원리와 한계, 묶음 개수 정하기, PCA와 t-SNE로 고차원 데이터를 눈으로 보는 법을 배워요.