표본과 추정: 큰 수의 법칙과 중심 극한 정리

대통령 지지율을 알려고 국민 5천만 명에게 다 물어볼 수는 없어요. 1천 명 정도에게만 물어보죠. 그런데 어떻게 1천 명의 답으로 5천만 명의 생각을 "오차 범위 ±3.1%p"라고 자신 있게 말할 수 있을까요? 이번 강의의 두 정리, 큰 수의 법칙과 중심 극한 정리가 그 근거예요. 머신러닝에서 "데이터 일부(미니배치)로 전체 그래디언트를 추정한다"는 생각도 같은 원리 위에 있어요.

모집단과 표본

모집단: 알고 싶은 대상 전체. 대한민국 유권자 전부, 공장에서 나올 모든 제품.
표본: 실제로 관찰한 일부.
모수: 모집단의 진짜 값. 진짜 평균 $\mu$ , 진짜 비율 $p$ . 보통 알 수 없어요.
통계량: 표본에서 계산한 값. 표본 평균 $\bar{x}$ , 표본 비율 $\hat{p}$ . 모수를 추정하는 데 써요.

통계학의 핵심 질문은 이거예요. "표본에서 얻은 $\bar{x}$ 가 진짜 $\mu$ 에 얼마나 가까울까?"

큰 수의 법칙

표본이 클수록 표본 평균은 진짜 평균에 가까워져요. 주사위를 던질수록 평균이 3.5에 다가가는지 볼게요.

import numpy as np

rng = np.random.default_rng(7)
rolls = rng.integers(1, 7, 100_000)
running = np.cumsum(rolls) / np.arange(1, len(rolls) + 1)
for k in (10, 100, 1000, 10_000, 100_000):
    print(k, round(running[k - 1], 3))

던진 횟수	지금까지의 평균
10	4.100
100	3.690
1,000	3.575
10,000	3.497
100,000	3.507

처음엔 크게 흔들리다가 점점 3.5 근처로 모여요. 카지노가 개별 손님에게는 질 수 있어도 1년 장사에서는 반드시 이기는 이유, 보험사가 개인의 사고는 예측 못 해도 전체 보험금은 정확히 예측하는 이유예요.

주의 큰 수의 법칙은 "앞에서 앞면이 많이 나왔으니 이제 뒷면이 나와 균형을 맞춘다"는 뜻이 아니에요(도박사의 오류). 과거의 치우침이 보상되는 게 아니라, 새 결과들이 압도적으로 많아지면서 치우침이 희석되는 거예요.

표본 평균의 분포

이제 한 걸음 더 나가요. 표본을 한 번만 뽑는 게 아니라, 크기 $n$ 짜리 표본을 여러 번 뽑아서 각각의 평균을 구하면, 그 평균들은 어떻게 분포할까요?

주사위 $n$ 개를 던져 평균을 내는 일을 10만 번 반복해 볼게요.

for n in (1, 2, 5, 30):
    means = rng.integers(1, 7, size=(100_000, n)).mean(axis=1)
    print(n, round(means.mean(), 3), round(means.std(), 3), round(1.7078 / np.sqrt(n), 3))

한 번에 던진 개수 $n$	평균들의 평균	평균들의 표준편차	이론값 $\sigma/\sqrt{n}$
1	3.500	1.707	1.708
2	3.503	1.203	1.208
5	3.498	0.762	0.764
30	3.500	0.311	0.312

두 가지가 보여요.

평균들의 평균은 언제나 진짜 평균 3.5예요. 표본 평균은 치우치지 않은 추정량이에요.
평균들이 퍼진 정도는 $\sigma / \sqrt{n}$ 으로 줄어요. 표본을 4배로 늘리면 흔들림이 절반이 돼요.

그리고 히스토그램을 그려 보면 세 번째 사실이 보여요. 주사위 하나는 평평한 분포(1부터 6까지 똑같이)인데, $n = 30$ 의 평균들은 종 모양이에요.

중심 극한 정리

원래 분포가 어떤 모양이든(평균과 분산만 유한하면), 크기 $n$ 인 표본의 평균은 $n$ 이 커질수록 정규 분포에 가까워진다.

\bar{X} \approx N\!\left(\mu, \frac{\sigma^2}{n}\right)

이게 왜 놀라울까요? 원래 분포가 평평하든, 한쪽으로 쏠렸든, 들쭉날쭉하든 상관없이, 평균을 내기만 하면 종 모양이 된다는 거예요. 아주 한쪽으로 쏠린 지수 분포(평균 10)로 확인해 볼게요.

avg40 = rng.exponential(10, size=(100_000, 40)).mean(axis=1)   # 40개씩 평균
print(round(avg40.mean(), 2), round(avg40.std(), 3), round(10 / np.sqrt(40), 3))   # 10.0  1.583  1.581
z = (avg40 - 10) / (10 / np.sqrt(40))
print(round((abs(z) < 1.96).mean(), 4))   # 0.951  정규 분포라면 95%여야 해요

원래는 0 근처에 몰리고 오른쪽으로 길게 늘어진 분포인데, 40개씩 평균을 내니 평균 $\pm 1.96$ 표준편차 안에 정확히 95%가 들어오는 정규 분포가 됐어요.

왜 세상에 정규 분포가 많을까

키, 측정 오차, 시험 점수처럼 정규 분포가 흔한 이유가 바로 이 정리예요. 이런 값들은 수많은 작은 요인(유전자 수백 개, 환경, 우연)이 더해져서 만들어지거든요. 더해지면 종 모양이 돼요.

중심 극한 정리가 해 주는 일

원래 분포를 몰라도, 표본 평균이 정규 분포를 따른다는 것만으로 오차 범위를 계산할 수 있어요. 여론 조사, 품질 관리, A/B 테스트, 의학 실험의 통계가 모두 이 위에 서 있어요.

표준오차와 오차 범위

표본 평균의 표준편차를 표준오차라고 해요.

SE = \frac{\sigma}{\sqrt{n}} \qquad (\sigma\text{를 모르면 표본 표준편차 } s \text{로 대신})

표준오차는 "이 표본 평균이 진짜 평균에서 보통 얼마나 빗나가나"예요. 표본 평균은 정규 분포를 따르니, 95%의 경우 진짜 평균에서 $\pm 1.96 \times SE$ 안에 있어요.

키의 표준편차가 6cm이고 100명을 뽑아 평균을 냈다면, $SE = 6 / \sqrt{100} = 0.6$ cm라서 표본 평균은 95%의 경우 진짜 평균에서 $\pm 1.18$ cm 안에 있어요.

여론 조사의 오차 범위

지지율처럼 비율을 추정할 때 표준오차는 $\sqrt{p(1 - p)/n}$ 이에요. 가장 불확실한 $p = 0.5$ 로 계산하면, 1,000명 조사의 95% 오차 범위는

1.96 \times \sqrt{\frac{0.5 \times 0.5}{1000}} \approx 0.031

뉴스에서 듣는 "95% 신뢰수준에 오차 범위 ±3.1%p"가 정확히 이 계산이에요. 모집단이 5천만 명이든 5억 명이든 상관없어요. 오차 범위는 표본 크기로 정해져요.

필요한 표본 크기

오차 범위를 ±1%p로 줄이려면 몇 명이 필요할까요? 식을 거꾸로 풀면

n = \left(\frac{1.96}{0.01}\right)^2 \times 0.25 \approx 9{,}604

오차를 3분의 1로 줄이려면 표본이 9배 필요해요. 정밀도는 표본 크기의 제곱근으로만 좋아져요. 그래서 어느 정도 이상은 표본을 늘리는 비용이 효과보다 커요.

표본이 치우치면 아무리 커도 소용없다

1936년 미국 대선에서 한 잡지는 무려 240만 명의 응답을 모아 랜던 후보의 압승을 예측했어요. 결과는 루스벨트의 압승이었어요. 설문 대상을 전화번호부와 자동차 등록부, 잡지 구독자 명단에서 골랐는데, 대공황 시기에 전화와 자동차를 가진 사람은 부유층에 치우쳐 있었거든요. 게다가 설문지를 돌려보낸 사람 자체가 의견이 강한 일부였어요. 같은 해 갤럽은 훨씬 작은 5만 명 정도의 표본으로 승자를 맞혔어요.

무작위 추출이 아니면 표준오차 계산은 의미가 없어요. 오차 범위는 "운이 나빠서 생기는 오차"만 재고, "방법이 치우쳐서 생기는 오차"는 재지 못해요.
생존자 편향: 성공한 회사들만 보고 성공 비결을 찾으면, 같은 일을 하고 망한 회사들은 보이지 않아요.
자발적 응답 편향: 온라인 투표는 의견이 강한 사람만 참여해요.

머신러닝도 똑같아요. 학습 데이터가 실제 사용 환경을 대표하지 못하면, 데이터가 아무리 많아도 실제에서 실패해요. 특정 집단의 얼굴 사진이 부족한 얼굴 인식 모델이 그 집단에서 정확도가 떨어졌던 사례들이 그래요.

미니배치와 표준오차

최적화 강의의 미니배치 경사 하강법을 다시 보세요. 미니배치의 그래디언트는 전체 그래디언트의 표본 평균이에요. 그래서

배치를 4배 키우면 그래디언트 추정의 흔들림이 절반이 돼요( $\sqrt{4} = 2$ ).
하지만 계산은 4배 늘어요.

배치 크기를 정할 때 이 교환 관계를 따지는 거예요. 지금 배운 표준오차가 딥러닝 학습 설정에 그대로 쓰여요.

실습

주사위 대신 아주 이상한 분포(예: 90% 확률로 0, 10% 확률로 100)에서 30개씩 뽑아 평균을 10만 번 내고, 히스토그램이 종 모양이 되는지 확인해 보세요. 몇 개씩 평균 내야 종 모양이 되나요?
지지율이 실제로 40%인 가상의 국민 1천만 명을 만들고, 1천 명을 무작위로 뽑는 조사를 1만 번 해 보세요. 95%의 조사가 진짜 값에서 ±3%p 안에 들어오나요?
같은 조사를 "부유층에서 더 많이 뽑는" 치우친 방법으로 바꿔 보고, 표본을 10만 명으로 늘려도 오차가 줄지 않는 것을 확인해 보세요.

자주 하는 실수

모집단이 크면 표본도 커야 한다고 믿기. 오차 범위는 모집단 크기가 아니라 표본 크기로 정해져요(모집단이 표본보다 훨씬 크다면).
표준편차와 표준오차 혼동. 표준편차는 데이터 하나하나의 퍼짐, 표준오차는 평균의 흔들림이에요.
치우친 표본을 크기로 만회하려 하기. 치우침은 표본을 늘려도 줄지 않아요.
표본이 너무 작은데 중심 극한 정리 적용하기. 원래 분포가 심하게 쏠렸으면 표본이 꽤 커야 정규에 가까워져요.

점검 문제

표준편차가 20인 모집단에서 표본 400개의 평균을 냈어요. 표준오차는?
표본 크기를 100에서 400으로 늘리면 오차 범위는 어떻게 되나요?
중심 극한 정리가 "원래 분포를 몰라도" 쓸모 있는 이유는?
240만 명을 조사하고도 틀린 1936년 조사의 실패 원인은?

정답

$20 / \sqrt{400} = 1$
$\sqrt{4} = 2$ 이니 절반으로 줄어요.
원래 분포와 상관없이 표본 평균은 정규 분포에 가까워져서, 정규 분포의 성질로 오차 범위를 계산할 수 있기 때문이에요.
표본이 부유층에 치우쳐 모집단을 대표하지 못했기 때문이에요. 치우침은 표본 크기로 해결되지 않아요.

다음 강의

표본에서 차이가 보였을 때, 그게 진짜 차이인지 우연인지 어떻게 판단할까요? 새 디자인의 버튼이 클릭률을 정말 올렸는지, 신약이 정말 효과가 있는지. 다음 강의에서 가설 검정, p값, 신뢰 구간을 정확히 이해하고 흔한 오해까지 바로잡아요.