- Published on
- 약 3분
평균이 거짓말하는 법: 심슨의 역설
- Authors
- Name
- 스타차일드
1973년 가을, 캘리포니아 대학교 버클리 캠퍼스의 대학원 입학 통계가 문제가 되었다. 남성 지원자는 8442명 가운데 44%가 합격했고, 여성 지원자는 4321명 가운데 35%가 합격했다. 9%포인트의 차이는 우연이라고 보기 어려웠다. 성차별 소송을 걱정한 대학은 통계학자 피터 비켈(Peter Bickel)에게 자료를 맡겼다.
비켈이 학과별로 숫자를 나누자 그림이 뒤집혔다.
학과를 나누면 보이는 것
지원자가 많았던 여섯 학과의 기록이다. 학과 이름은 공개되지 않아 A부터 F로 부른다.
| 학과 | 남성 지원자 | 남성 합격률 | 여성 지원자 | 여성 합격률 |
|---|---|---|---|---|
| A | 825명 | 62% | 108명 | 82% |
| B | 560명 | 63% | 25명 | 68% |
| C | 325명 | 37% | 593명 | 34% |
| D | 417명 | 33% | 375명 | 35% |
| E | 191명 | 28% | 393명 | 24% |
| F | 373명 | 6% | 341명 | 7% |
여섯 학과 가운데 네 곳에서 여성의 합격률이 더 높다. 나머지 두 곳도 차이가 3~4%포인트에 그친다. A 학과에서는 여성이 20%포인트나 앞선다. 그런데 이 여섯 학과를 합쳐서 계산하면 남성 합격률은 약 45%, 여성은 약 30%가 된다. 부분에서는 여성이 앞서거나 비슷한데 전체에서는 크게 뒤진다.
숫자는 어디로 지원했는지를 숨긴다
수수께끼는 지원자가 어디로 몰렸는지에 있다. 합격률이 60%를 넘는 A와 B 학과에 남성은 절반 넘게 지원했지만, 여성은 열 명 중 한 명도 지원하지 않았다. 여성 지원자의 대부분은 합격률이 30%대 이하인 C부터 F 학과로 향했다.
합격률이 높은 A, B 학과에 지원한 비율
여성 지원자의 93%는 합격률이 낮은 C부터 F 학과에 지원했다
전체 합격률은 학과별 합격률의 단순한 평균이 아니다. 각 학과의 합격률에, 그 학과에 지원한 사람의 비율을 곱해 더한 가중 평균이다.
여기서 는 번째 학과에 지원한 사람의 비율, 는 그 학과의 합격률이다. 여성의 는 합격률이 낮은 학과 쪽에 쏠려 있었다. 그래서 학과마다 같거나 더 높은 합격률을 받고도 전체 평균은 낮게 나왔다. 1975년 사이언스에 실린 비켈의 논문은 입학 과정에서 여성을 차별했다는 증거는 찾을 수 없었다고 결론 내렸다. 대신 다른 질문이 남았다. 왜 여성은 합격하기 어려운 학과로 몰렸는가. 그 답은 입시 사무실이 아니라 그보다 앞선 교육과 진로의 단계에 있었다.
수술실에서도 같은 일이 일어난다
1986년 영국 의학 저널에 실린 연구는 신장 결석을 치료하는 두 방법의 성공률을 비교했다. 하나는 배를 여는 개복 수술, 다른 하나는 피부에 작은 구멍을 내는 경피적 신쇄석술이다.
| 결석 크기 | 개복 수술 | 경피적 신쇄석술 |
|---|---|---|
| 작은 결석 | 93% (87명 중 81명) | 87% (270명 중 234명) |
| 큰 결석 | 73% (263명 중 192명) | 69% (80명 중 55명) |
| 전체 | 78% (350명 중 273명) | 83% (350명 중 289명) |
작은 결석에서도, 큰 결석에서도 개복 수술의 성공률이 높다. 그런데 전체로 합치면 신쇄석술이 앞선다. 이번에도 이유는 배정에 있다. 의사들은 치료하기 어려운 큰 결석 환자에게 개복 수술을 주로 권했고, 쉬운 작은 결석 환자는 신쇄석술로 보냈다. 개복 수술은 어려운 환자를 떠안은 탓에 전체 성적이 나빠 보였다.
어느 숫자를 믿어야 하는가
심슨의 역설은 계산 실수가 아니다. 두 숫자 모두 정확하다. 문제는 어느 숫자가 질문에 맞는 답인가다. 신장 결석에서는 학과별로 나눈 쪽, 즉 결석 크기별 비교가 맞다. 결석 크기가 치료법 선택과 치료 결과 양쪽에 영향을 주는 숨은 변수이기 때문이다.
하지만 언제나 나눠 보는 쪽이 옳은 것은 아니다. 컴퓨터 과학자 주디어 펄(Judea Pearl)은 데이터만으로는 어느 쪽을 믿을지 정할 수 없고, 변수들 사이에 어떤 인과 관계가 있는지에 대한 이야기가 먼저 필요하다고 강조한다. 나눠 본 변수가 원인의 결과라면, 그 변수로 나누는 순간 오히려 진짜 효과를 지워 버릴 수도 있다. 숫자를 나누기 전에 그림을 먼저 그려야 하는 이유다.
이 역설은 일상의 데이터에서도 자주 나온다. 웹 서비스에서 새 기능을 시험할 때, 모바일과 컴퓨터 사용자 모두에게서 전환율이 올랐는데 전체 전환율은 떨어지는 일이 생길 수 있다. 시험 기간 동안 전환율이 원래 낮은 모바일 사용자의 비중이 늘었다면 그렇다. 전체 숫자 하나만 보고 기능을 되돌리면, 잘 만든 기능을 버리게 된다.
평균을 볼 때마다 물어야 할 것은 하나다. 이 평균은 누구를 얼마나 섞어서 만든 숫자인가.
참고한 자료
- P. J. Bickel, E. A. Hammel, J. W. O'Connell, "Sex Bias in Graduate Admissions: Data from Berkeley", Science 187(4175) (1975)
- C. R. Charig 외, "Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy", British Medical Journal 292 (1986)
- Judea Pearl, Dana Mackenzie, The Book of Why, Basic Books (2018)
이 글과 함께 보면 좋은 것
시리즈
숫자의 함정 (1/5)
평균, 표본, 지표가 사람을 속이는 방식을 실제 사례로 따져 보는 글
함께 읽을 글
- 지표가 목표가 되면 좋은 지표이기를 멈춘다: 굿하트의 법칙1902년 프랑스 식민 정부는 하노이의 쥐를 없애려고 쥐꼬리 하나에 1센트를 주었다. 그러자 꼬리만 자르고 쥐는 풀어 주는 사람들이 나타났다. 숫자로 사람을 움직이려 할 때마다 숫자는 조금씩 거짓말을 배운다. 굿하트의 법칙을 회사의 성과 지표와 인공지능 학습까지 이어서 본다.
- 공동선의 재구성: 전환의 시대, 비용은 누가 감당해야 하는가방향을 상실한 채 표류하는 사회에서, 과거의 패러다임에 머무는 이들이 발생시키는 구조적 지체 비용을 어떻게 처리할 것인가. 역사의 진보와 자원의 효율적 재배치라는 관점에서 새로운 사회계약의 당위성을 논증한다.
- 사랑이라는 완벽한 알리바이: 연인 간의 감정 착취와 존재의 식민지화가장 내밀한 관계인 연인 사이에서도 권력과 착취는 작동한다. 사랑과 헌신이라는 이름으로 은폐된 감정의 일방적 전유와, 타자를 자아의 수단으로 전락시키는 관계의 폭력성을 철학적으로 해부한다.