Published on
약 3분

240만 명에게 묻고도 틀린 여론조사

Authors
  • Name
    스타차일드

리터러리 다이제스트는 여론조사의 명가였다. 1916년부터 다섯 번의 미국 대통령 선거 결과를 연달아 맞혔다. 비결은 압도적인 규모였다. 1936년 선거를 앞두고 이 잡지는 무려 1000만 명에게 모의 투표 용지를 우편으로 보냈다. 돌아온 용지는 약 240만 장. 지금 기준으로도 상상하기 어려운 표본이다.

결과는 분명했다. 공화당의 앨프 랜던(Alf Landon)이 57%, 현직 대통령 프랭클린 루스벨트(Franklin D. Roosevelt)가 43%. 잡지는 랜던의 승리를 예측했다.

실제 선거에서 루스벨트는 60.8%를 얻었다. 48개 주 가운데 46개 주에서 이겼고, 선거인단 531명 가운데 523명을 가져갔다. 미국 선거 역사에 남을 압승이었다. 예측과 실제의 차이는 18%포인트에 가까웠다.

루스벨트의 득표율, 예측과 실제

리터러리 다이제스트 예측 (응답 약 240만 장)43%
실제 선거 결과60.8%
표본이 커도 기울어져 있으면 오차는 줄어들지 않는다. 예측과 실제의 차이는 약 18%포인트였다.

같은 해 젊은 조사 전문가 조지 갤럽(George Gallup)은 수만 명 규모의 표본으로 루스벨트의 승리를 맞혔다. 그는 다이제스트가 틀린 숫자를 내놓으리라는 것까지 미리 예고했다. 다이제스트의 명성은 무너졌고, 잡지는 1938년 타임에 흡수되어 사라졌다.

240만 명은 누구였나

다이제스트가 투표 용지를 보낸 명단은 전화번호부, 자동차 등록 명부, 잡지 구독자 명단 같은 곳에서 나왔다. 대공황이 한창이던 1936년에 집에 전화가 있고 자동차를 가진 사람은 형편이 나은 쪽이었다. 그들은 루스벨트의 뉴딜 정책에 상대적으로 덜 우호적이었다.

더 큰 문제는 누가 답을 보냈느냐였다. 1000만 장 가운데 돌아온 것은 4분의 1이 채 안 되었다. 1988년 정치학자 피버릴 스콰이어(Peverill Squire)는 1937년에 실시된 다른 조사 자료를 다시 분석해, 명단의 치우침보다 응답의 치우침이 더 큰 원인이었다는 결론을 내놓았다. 같은 용지를 받아도 현 정부에 불만이 있는 사람이 더 열심히 답장을 보냈다. 화가 난 사람은 우표를 붙인다.

표본 오차는 크기를 묻고, 편향은 방향을 묻는다

통계 수업에서 배우는 표본 오차는 표본이 무작위로 뽑혔다는 가정 위에 서 있다.

다이제스트의 240만 장은 오차 범위로만 보면 소수점 둘째 자리까지 정확해야 했다. 실제 오차는 그보다 300배 가까이 컸다. 표본의 크기는 우연에서 오는 흔들림을 줄여 줄 뿐, 표본이 한쪽으로 기울어져 생기는 오차는 건드리지 못한다. 기울어진 저울에 물건을 더 많이 올린다고 저울이 바로 서지는 않는다.

빅데이터 시대의 다이제스트

이 이야기는 옛날 일 같지만 지금 더 자주 반복된다. 데이터는 많아졌고, 그 데이터는 대개 스스로 모인 것이다.

  • 앱에 띄운 만족도 조사에는 앱을 아직 쓰는 사람, 그중에서도 답할 시간과 의욕이 있는 사람만 답한다.
  • 소셜 미디어의 여론은 글을 쓰는 사람의 여론이다. 읽기만 하는 다수는 숫자에 잡히지 않는다.
  • 전화 여론조사의 응답률이 한 자릿수에 그치는 경우도 흔하다. 전화를 끝까지 받는 사람이 그렇지 않은 사람과 다르다면, 표본은 이미 기울어져 있다.

통계학자 멍샤오리(Xiao-Li Meng)는 2018년 논문에서, 응답 여부와 응답 내용 사이에 아주 작은 상관만 있어도 수백만 명의 자료가 수백 명짜리 무작위 표본보다 못할 수 있다는 것을 수식으로 보였다. 데이터가 커질수록 그 작은 기울기가 오차를 키우는 쪽으로 작용한다는 것이다. 그는 이것을 빅데이터의 역설이라고 불렀다.

좋은 조사는 많이 묻기보다 고르게 묻는다. 숫자를 볼 때 먼저 물어야 할 것은 몇 명에게 물었는가가 아니라, 누가 대답할 기회를 얻었고 누가 대답을 골랐는가다. 1936년의 240만 장이 남긴 교훈은 거기에 있다.

참고한 자료

  • Peverill Squire, "Why the 1936 Literary Digest Poll Failed", Public Opinion Quarterly 52(1) (1988)
  • Xiao-Li Meng, "Statistical paradises and paradoxes in big data (I)", The Annals of Applied Statistics 12(2) (2018)
  • David Freedman, Robert Pisani, Roger Purves, Statistics, W. W. Norton (4판, 2007)

시리즈

숫자의 함정 (3/5)

평균, 표본, 지표가 사람을 속이는 방식을 실제 사례로 따져 보는 글

  1. 1평균이 거짓말하는 법: 심슨의 역설
  2. 2돌아온 비행기만 세면 안 되는 이유: 생존 편향
  3. 3240만 명에게 묻고도 틀린 여론조사
  4. 4지도 한 장이 콜레라를 멈췄다: 존 스노와 브로드가의 펌프
  5. 5세상의 숫자는 왜 1로 시작하는 게 많을까: 벤포드의 법칙

기술 라이브러리

혼자 공부한 것을 정리해 두는 개발자의 서재예요. 예제는 직접 돌려 보고 씁니다.

© 2026 기술 라이브러리