- Published on
- 약 3분
240만 명에게 묻고도 틀린 여론조사
- Authors
- Name
- 스타차일드
리터러리 다이제스트는 여론조사의 명가였다. 1916년부터 다섯 번의 미국 대통령 선거 결과를 연달아 맞혔다. 비결은 압도적인 규모였다. 1936년 선거를 앞두고 이 잡지는 무려 1000만 명에게 모의 투표 용지를 우편으로 보냈다. 돌아온 용지는 약 240만 장. 지금 기준으로도 상상하기 어려운 표본이다.
결과는 분명했다. 공화당의 앨프 랜던(Alf Landon)이 57%, 현직 대통령 프랭클린 루스벨트(Franklin D. Roosevelt)가 43%. 잡지는 랜던의 승리를 예측했다.
실제 선거에서 루스벨트는 60.8%를 얻었다. 48개 주 가운데 46개 주에서 이겼고, 선거인단 531명 가운데 523명을 가져갔다. 미국 선거 역사에 남을 압승이었다. 예측과 실제의 차이는 18%포인트에 가까웠다.
루스벨트의 득표율, 예측과 실제
같은 해 젊은 조사 전문가 조지 갤럽(George Gallup)은 수만 명 규모의 표본으로 루스벨트의 승리를 맞혔다. 그는 다이제스트가 틀린 숫자를 내놓으리라는 것까지 미리 예고했다. 다이제스트의 명성은 무너졌고, 잡지는 1938년 타임에 흡수되어 사라졌다.
240만 명은 누구였나
다이제스트가 투표 용지를 보낸 명단은 전화번호부, 자동차 등록 명부, 잡지 구독자 명단 같은 곳에서 나왔다. 대공황이 한창이던 1936년에 집에 전화가 있고 자동차를 가진 사람은 형편이 나은 쪽이었다. 그들은 루스벨트의 뉴딜 정책에 상대적으로 덜 우호적이었다.
더 큰 문제는 누가 답을 보냈느냐였다. 1000만 장 가운데 돌아온 것은 4분의 1이 채 안 되었다. 1988년 정치학자 피버릴 스콰이어(Peverill Squire)는 1937년에 실시된 다른 조사 자료를 다시 분석해, 명단의 치우침보다 응답의 치우침이 더 큰 원인이었다는 결론을 내놓았다. 같은 용지를 받아도 현 정부에 불만이 있는 사람이 더 열심히 답장을 보냈다. 화가 난 사람은 우표를 붙인다.
표본 오차는 크기를 묻고, 편향은 방향을 묻는다
통계 수업에서 배우는 표본 오차는 표본이 무작위로 뽑혔다는 가정 위에 서 있다.
다이제스트의 240만 장은 오차 범위로만 보면 소수점 둘째 자리까지 정확해야 했다. 실제 오차는 그보다 300배 가까이 컸다. 표본의 크기는 우연에서 오는 흔들림을 줄여 줄 뿐, 표본이 한쪽으로 기울어져 생기는 오차는 건드리지 못한다. 기울어진 저울에 물건을 더 많이 올린다고 저울이 바로 서지는 않는다.
빅데이터 시대의 다이제스트
이 이야기는 옛날 일 같지만 지금 더 자주 반복된다. 데이터는 많아졌고, 그 데이터는 대개 스스로 모인 것이다.
- 앱에 띄운 만족도 조사에는 앱을 아직 쓰는 사람, 그중에서도 답할 시간과 의욕이 있는 사람만 답한다.
- 소셜 미디어의 여론은 글을 쓰는 사람의 여론이다. 읽기만 하는 다수는 숫자에 잡히지 않는다.
- 전화 여론조사의 응답률이 한 자릿수에 그치는 경우도 흔하다. 전화를 끝까지 받는 사람이 그렇지 않은 사람과 다르다면, 표본은 이미 기울어져 있다.
통계학자 멍샤오리(Xiao-Li Meng)는 2018년 논문에서, 응답 여부와 응답 내용 사이에 아주 작은 상관만 있어도 수백만 명의 자료가 수백 명짜리 무작위 표본보다 못할 수 있다는 것을 수식으로 보였다. 데이터가 커질수록 그 작은 기울기가 오차를 키우는 쪽으로 작용한다는 것이다. 그는 이것을 빅데이터의 역설이라고 불렀다.
좋은 조사는 많이 묻기보다 고르게 묻는다. 숫자를 볼 때 먼저 물어야 할 것은 몇 명에게 물었는가가 아니라, 누가 대답할 기회를 얻었고 누가 대답을 골랐는가다. 1936년의 240만 장이 남긴 교훈은 거기에 있다.
참고한 자료
- Peverill Squire, "Why the 1936 Literary Digest Poll Failed", Public Opinion Quarterly 52(1) (1988)
- Xiao-Li Meng, "Statistical paradises and paradoxes in big data (I)", The Annals of Applied Statistics 12(2) (2018)
- David Freedman, Robert Pisani, Roger Purves, Statistics, W. W. Norton (4판, 2007)
이 글과 함께 보면 좋은 것
시리즈
숫자의 함정 (3/5)
평균, 표본, 지표가 사람을 속이는 방식을 실제 사례로 따져 보는 글
함께 읽을 글
- 인플레이션은 누구의 주머니를 터는가물가 상승은 모두에게 똑같이 내리는 비가 아니다. 새로 풀린 돈이 먼저 닿는 곳과 가장 늦게 닿는 곳의 차이, 즉 캉티용 효과로 인플레이션이 부를 옮기는 경로를 그려 보고, 대차대조표의 모양에 따라 누가 이기고 지는지 정리했다.
- 똠방각하는 왜 깨졌나: 한글 인코딩의 역사한글은 자모를 조합해 1만 1172자를 만들 수 있다. 그런데 오랫동안 컴퓨터가 쓰던 표준은 그 가운데 2350자만 담았고, 그 바람에 똠방각하의 똠 자는 화면에 찍히지 않았다. 완성형과 조합형의 다툼에서 유니코드와 UTF-8까지, 한글이 컴퓨터에 자리 잡은 과정을 따라간다.
- 2년마다 두 배라는 예언: 무어의 법칙이 끝나는 방식1971년 인텔 4004에는 트랜지스터 2300개가 들어갔다. 반세기 뒤 손톱만 한 칩에는 수백억 개가 들어간다. 2년마다 두 배라는 예언은 어떻게 50년 동안 맞았고, 클럭 속도는 왜 2000년대 중반에 멈췄으며, 그 뒤 소프트웨어는 무엇을 떠안게 되었는지 정리했다.