Published on
약 3분

평균이 거짓말하는 법: 심슨의 역설

Authors
  • Name
    스타차일드

1973년 가을, 캘리포니아 대학교 버클리 캠퍼스의 대학원 입학 통계가 문제가 되었다. 남성 지원자는 8442명 가운데 44%가 합격했고, 여성 지원자는 4321명 가운데 35%가 합격했다. 9%포인트의 차이는 우연이라고 보기 어려웠다. 성차별 소송을 걱정한 대학은 통계학자 피터 비켈(Peter Bickel)에게 자료를 맡겼다.

비켈이 학과별로 숫자를 나누자 그림이 뒤집혔다.

학과를 나누면 보이는 것

지원자가 많았던 여섯 학과의 기록이다. 학과 이름은 공개되지 않아 A부터 F로 부른다.

학과남성 지원자남성 합격률여성 지원자여성 합격률
A825명62%108명82%
B560명63%25명68%
C325명37%593명34%
D417명33%375명35%
E191명28%393명24%
F373명6%341명7%

여섯 학과 가운데 네 곳에서 여성의 합격률이 더 높다. 나머지 두 곳도 차이가 3~4%포인트에 그친다. A 학과에서는 여성이 20%포인트나 앞선다. 그런데 이 여섯 학과를 합쳐서 계산하면 남성 합격률은 약 45%, 여성은 약 30%가 된다. 부분에서는 여성이 앞서거나 비슷한데 전체에서는 크게 뒤진다.

숫자는 어디로 지원했는지를 숨긴다

수수께끼는 지원자가 어디로 몰렸는지에 있다. 합격률이 60%를 넘는 A와 B 학과에 남성은 절반 넘게 지원했지만, 여성은 열 명 중 한 명도 지원하지 않았다. 여성 지원자의 대부분은 합격률이 30%대 이하인 C부터 F 학과로 향했다.

합격률이 높은 A, B 학과에 지원한 비율

남성 지원자 2691명 가운데51.5%
여성 지원자 1835명 가운데7.2%

여성 지원자의 93%는 합격률이 낮은 C부터 F 학과에 지원했다

Bickel 외(1975)의 여섯 학과 자료로 계산한 값. 어려운 학과에 많이 지원할수록 개인의 실력과 상관없이 전체 합격률은 낮아진다.

전체 합격률은 학과별 합격률의 단순한 평균이 아니다. 각 학과의 합격률에, 그 학과에 지원한 사람의 비율을 곱해 더한 가중 평균이다.

p전체=∑iwi pip_{\text{전체}} = \sum_{i} w_i \, p_i

여기서 wiw_i는 ii번째 학과에 지원한 사람의 비율, pip_i는 그 학과의 합격률이다. 여성의 wiw_i는 합격률이 낮은 학과 쪽에 쏠려 있었다. 그래서 학과마다 같거나 더 높은 합격률을 받고도 전체 평균은 낮게 나왔다. 1975년 사이언스에 실린 비켈의 논문은 입학 과정에서 여성을 차별했다는 증거는 찾을 수 없었다고 결론 내렸다. 대신 다른 질문이 남았다. 왜 여성은 합격하기 어려운 학과로 몰렸는가. 그 답은 입시 사무실이 아니라 그보다 앞선 교육과 진로의 단계에 있었다.

수술실에서도 같은 일이 일어난다

1986년 영국 의학 저널에 실린 연구는 신장 결석을 치료하는 두 방법의 성공률을 비교했다. 하나는 배를 여는 개복 수술, 다른 하나는 피부에 작은 구멍을 내는 경피적 신쇄석술이다.

결석 크기개복 수술경피적 신쇄석술
작은 결석93% (87명 중 81명)87% (270명 중 234명)
큰 결석73% (263명 중 192명)69% (80명 중 55명)
전체78% (350명 중 273명)83% (350명 중 289명)

작은 결석에서도, 큰 결석에서도 개복 수술의 성공률이 높다. 그런데 전체로 합치면 신쇄석술이 앞선다. 이번에도 이유는 배정에 있다. 의사들은 치료하기 어려운 큰 결석 환자에게 개복 수술을 주로 권했고, 쉬운 작은 결석 환자는 신쇄석술로 보냈다. 개복 수술은 어려운 환자를 떠안은 탓에 전체 성적이 나빠 보였다.

어느 숫자를 믿어야 하는가

심슨의 역설은 계산 실수가 아니다. 두 숫자 모두 정확하다. 문제는 어느 숫자가 질문에 맞는 답인가다. 신장 결석에서는 학과별로 나눈 쪽, 즉 결석 크기별 비교가 맞다. 결석 크기가 치료법 선택과 치료 결과 양쪽에 영향을 주는 숨은 변수이기 때문이다.

하지만 언제나 나눠 보는 쪽이 옳은 것은 아니다. 컴퓨터 과학자 주디어 펄(Judea Pearl)은 데이터만으로는 어느 쪽을 믿을지 정할 수 없고, 변수들 사이에 어떤 인과 관계가 있는지에 대한 이야기가 먼저 필요하다고 강조한다. 나눠 본 변수가 원인의 결과라면, 그 변수로 나누는 순간 오히려 진짜 효과를 지워 버릴 수도 있다. 숫자를 나누기 전에 그림을 먼저 그려야 하는 이유다.

이 역설은 일상의 데이터에서도 자주 나온다. 웹 서비스에서 새 기능을 시험할 때, 모바일과 컴퓨터 사용자 모두에게서 전환율이 올랐는데 전체 전환율은 떨어지는 일이 생길 수 있다. 시험 기간 동안 전환율이 원래 낮은 모바일 사용자의 비중이 늘었다면 그렇다. 전체 숫자 하나만 보고 기능을 되돌리면, 잘 만든 기능을 버리게 된다.

평균을 볼 때마다 물어야 할 것은 하나다. 이 평균은 누구를 얼마나 섞어서 만든 숫자인가.

참고한 자료

  • P. J. Bickel, E. A. Hammel, J. W. O'Connell, "Sex Bias in Graduate Admissions: Data from Berkeley", Science 187(4175) (1975)
  • C. R. Charig 외, "Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy", British Medical Journal 292 (1986)
  • Judea Pearl, Dana Mackenzie, The Book of Why, Basic Books (2018)

시리즈

숫자의 함정 (1/5)

평균, 표본, 지표가 사람을 속이는 방식을 실제 사례로 따져 보는 글

  1. 1평균이 거짓말하는 법: 심슨의 역설
  2. 2돌아온 비행기만 세면 안 되는 이유: 생존 편향
  3. 3240만 명에게 묻고도 틀린 여론조사
  4. 4지도 한 장이 콜레라를 멈췄다: 존 스노와 브로드가의 펌프
  5. 5세상의 숫자는 왜 1로 시작하는 게 많을까: 벤포드의 법칙

기술 라이브러리

혼자 공부한 것을 정리해 두는 개발자의 서재예요. 예제는 직접 돌려 보고 씁니다.

© 2026 기술 라이브러리