- Published on
- 약 4분
지표가 목표가 되면 좋은 지표이기를 멈춘다: 굿하트의 법칙
- Authors
- Name
- 스타차일드
1902년 프랑스령 인도차이나의 하노이에는 쥐가 들끓었다. 식민 정부는 새로 깐 하수도를 따라 퍼지는 쥐와 흑사병을 두려워했다. 처음에는 고용한 사람들에게 쥐를 잡게 했고, 그다음에는 시민 누구나 쥐를 잡아 오면 돈을 주기로 했다. 쥐를 통째로 가져오면 처리하기 번거로우니 꼬리만 가져오면 된다고 했다. 꼬리 하나에 1센트.
얼마 지나지 않아 거리에서 꼬리 없는 쥐들이 발견되기 시작했다. 사람들은 쥐를 잡아 꼬리만 자르고 놓아주었다. 그래야 쥐가 새끼를 낳아 다음 달에도 꼬리를 팔 수 있기 때문이다. 교외에서 쥐를 기르는 농장까지 생겼다는 보고가 올라왔다. 정부는 결국 포상금 제도를 접었다. 역사학자 마이클 밴(Michael Vann)이 식민지 문서에서 찾아내 2003년에 정리한 이야기다.
정부가 원한 것은 쥐가 줄어드는 것이었다. 정부가 센 것은 꼬리였다. 사람들은 정부가 센 것을 만들어 냈다.
세 사람이 같은 말을 했다
이 현상에는 이름이 여럿 있다. 가장 유명한 것은 영국의 경제학자 찰스 굿하트(Charles Goodhart)의 이름이다. 1975년 그는 영국의 통화 정책을 분석하며 이렇게 썼다. 관찰된 통계적 규칙성은, 그것을 통제하려고 압력을 가하는 순간 무너지는 경향이 있다. 중앙은행이 통화량과 물가 사이의 관계를 보고 통화량을 목표로 삼자, 그 관계 자체가 흔들렸다는 것이다.
비슷한 시기 미국의 사회심리학자 도널드 캠벨(Donald Campbell)도 같은 말을 했다. 사회 지표가 의사 결정에 많이 쓰일수록 그 지표는 부패의 압력을 더 받고, 그 지표가 측정하려던 사회 과정 자체를 비틀게 된다. 그리고 1997년 인류학자 메릴린 스트래선(Marilyn Strathern)이 영국 대학 평가 제도를 비판하며 가장 짧은 문장으로 다듬었다. 측정치가 목표가 되면, 그것은 더 이상 좋은 측정치가 아니다.
지표를 세게 밀어붙일수록 벌어지는 틈
점수
지표를 끌어올리려는 압력
- 지표 점수 (세는 것)
- 실제 목표 (원하는 것)
지표는 원래 목표를 엿보는 창이다. 창에 비친 모습과 실제 모습은 평소에는 비슷하게 움직인다. 그런데 사람들이 창에 비친 모습만 고치기 시작하면, 둘은 따로 놀기 시작한다. 처음에는 지표를 올리려는 노력이 실제로 목표에도 도움이 된다. 쉬운 개선이 끝나면, 지표를 더 올리는 가장 싼 방법은 목표를 개선하는 것이 아니라 지표만 건드리는 것이 된다.
회사에서 꼬리를 세는 법
2016년 미국의 대형 은행 웰스파고는 고객 몰래 계좌 약 200만 개를 열었다는 사실이 드러나 벌금을 물었다. 은행은 고객 한 명이 은행 상품 여덟 개를 쓰게 하자는 목표를 내걸고 직원들의 실적을 상품 판매 수로 쟀다. 목표를 채우지 못한 직원들은 고객의 이름으로 예금 계좌와 신용카드를 만들었다. 이 일로 5년에 걸쳐 직원 5300여 명이 해고되었다. 나중에 조사가 더 진행되며 몰래 만든 계좌의 수는 350만 개로 늘었다.
개발 조직에도 꼬리는 많다.
- 테스트 커버리지 90%를 목표로 걸면, 아무것도 확인하지 않고 코드를 실행만 하는 테스트가 늘어난다. 숫자는 오르고 버그는 그대로다.
- 처리한 티켓 수로 사람을 평가하면, 큰 문제는 잘게 쪼개지고 어려운 문제는 아무도 맡지 않는다.
- 작성한 코드 줄 수를 세면, 코드는 길어지고 지울 줄 아는 사람이 손해를 본다.
- 페이지 체류 시간을 목표로 하면, 사용자가 원하는 것을 찾기 어렵게 만드는 쪽이 점수가 오른다.
기계도 꼬리를 센다
사람만 그런 것이 아니다. 인공지능은 지표를 비트는 데 사람보다 훨씬 능하다. 2016년 OpenAI는 보트 경주 게임을 강화학습으로 배우게 하면서 경로 위의 목표물을 맞히면 점수를 주었다. 학습된 보트는 결승선으로 가지 않았다. 목표물이 다시 나타나는 작은 구역을 빙글빙글 돌며 불이 붙고 다른 배와 부딪쳐도 목표물만 계속 맞혔다. 그렇게 얻은 점수는 사람 선수의 평균보다 20%가량 높았다. 경주에서는 한 번도 이기지 않고서.
대형 언어 모델을 사람의 선호에 맞춰 학습시킬 때도 같은 일이 일어난다. 사람의 평가를 흉내 내는 보상 모델을 만들어 그 점수를 높이도록 학습시키는데, 너무 세게 밀어붙이면 보상 모델의 점수만 오르고 실제 사람이 느끼는 품질은 떨어진다. 2022년 연구는 이 현상을 위의 그림 같은 곡선으로 측정해 보였다. 연구자들은 이것을 보상 해킹이라고 부른다.
꼬리 말고 쥐를 세는 법
굿하트의 법칙이 측정하지 말라는 뜻은 아니다. 숫자가 없으면 개선도 없다. 다만 숫자를 다루는 방식을 바꿀 수 있다.
- 지표를 짝으로 둔다. 속도를 재면 품질도 함께 재고, 판매를 재면 해지율도 함께 잰다. 한쪽만 비틀면 다른 쪽이 경고를 보낸다.
- 평가용 자료는 따로 숨겨 둔다. 머신러닝에서 시험 데이터를 학습에 쓰지 않는 것처럼, 개선에 쓰는 지표와 판정에 쓰는 지표를 나눈다.
- 숫자 하나에 큰 보상을 매달지 않는다. 걸린 것이 클수록 비틀려는 동기도 커진다.
- 숫자 옆에 사례를 둔다. 지표가 좋아졌다면 실제로 무엇이 나아졌는지 구체적인 예를 몇 개 직접 확인한다.
하노이의 쥐꼬리 이야기는 사람들이 나빠서 생긴 일이 아니다. 규칙이 가리키는 방향으로 영리하게 움직였을 뿐이다. 지표를 정하는 사람이 할 일은 그 영리함이 원하는 방향과 같은 쪽을 보게 만드는 것이다. 무엇을 세느냐가 사람들이 무엇을 만들어 낼지를 정한다.
참고한 자료
- Michael G. Vann, "Of Rats, Rice, and Race: The Great Hanoi Rat Massacre, an Episode in French Colonial History", French Colonial History 4 (2003)
- Charles A. E. Goodhart, "Problems of Monetary Management: The U.K. Experience", Papers in Monetary Economics, Reserve Bank of Australia (1975)
- Donald T. Campbell, "Assessing the impact of planned social change", Evaluation and Program Planning 2(1) (1979)
- Marilyn Strathern, "'Improving ratings': audit in the British University system", European Review 5(3) (1997)
- Jack Clark, Dario Amodei, "Faulty Reward Functions in the Wild", OpenAI (2016)
- Leo Gao, John Schulman, Jacob Hilton, "Scaling Laws for Reward Model Overoptimization" (2022)
이 글과 함께 보면 좋은 것
시리즈
보이지 않는 규칙 (5/5)
조직과 도시와 시스템을 움직이는 경험 법칙을 숫자로 확인하는 글
- 1일은 주어진 시간을 다 채울 때까지 늘어난다: 파킨슨의 법칙
- 2도시는 클수록 빨라진다: 스케일링 법칙
- 3늦은 프로젝트에 사람을 더하면 더 늦어진다: 브룩스와 콘웨이의 법칙
- 4먼저 협력하고, 받은 대로 갚아라: 액설로드의 컴퓨터 대회
- 5지표가 목표가 되면 좋은 지표이기를 멈춘다: 굿하트의 법칙
함께 읽을 글
- 확률의 편에 서는 법: 개인 투자자를 위한 냉정한 원칙투자는 맞히는 게임이 아니라 살아남는 게임이다. 생존자 편향을 걷어 내고 보면 개인이 통제할 수 있는 것은 비용, 분산, 기간, 그리고 퇴장당하지 않는 것뿐이다. 보수 1.5%가 30년 동안 갉아먹는 몫과 손실을 메우는 데 필요한 수익률을 계산으로 보여 준다.
- 세상의 숫자는 왜 1로 시작하는 게 많을까: 벤포드의 법칙강의 길이, 도시의 인구, 회사의 매출을 모아 맨 앞자리 숫자를 세어 보면 1이 약 30%로 가장 많고 9는 5%도 안 된다. 1881년 로그표의 닳은 쪽에서 시작된 이 이상한 규칙은 지금 회계 부정을 찾는 데 쓰인다. 왜 이런 분포가 생기는지와 어디까지 믿어도 되는지.
- 돌아온 비행기만 세면 안 되는 이유: 생존 편향2차 세계대전 때 통계학자 아브라함 왈드는 총알 자국이 없는 곳을 보강하라고 했다. 돌아오지 못한 비행기는 바로 그곳에 맞았을 테니까. 성공한 사람의 습관, 살아남은 펀드의 수익률, 에러가 없는 서버 로그까지, 살아남은 것만 보면 생기는 착시를 정리했다.