- Published on
- 약 3분
AI는 왜 그럴듯하게 틀릴까
- Authors
- Name
- 스타차일드
AI에게 어떤 연구자의 박사 논문 제목을 물으면 그럴듯한 제목이 돌아온다. 다시 물으면 다른 제목이 나온다. 둘 다 존재하지 않는 논문이다. 이렇게 사실이 아닌 내용을 사실처럼 자신 있게 내놓는 현상을 흔히 환각(hallucination)이라고 부른다.
환각은 AI가 아직 덜 똑똑해서 생기는 버그처럼 여겨지곤 한다. 모델이 커지고 데이터가 늘면 저절로 사라질 것이라는 기대다. 그런데 2025년 9월 오픈AI의 애덤 칼라이(Adam Tauman Kalai)와 조지아 공대의 산토시 벰팔라(Santosh Vempala) 등이 낸 논문 「언어 모델은 왜 환각을 일으키는가」는 다른 설명을 내놓았다. 환각은 모델을 기르고 채점하는 방식에서 자연스럽게 생겨난다는 설명이다.
모르면 찍는 학생
객관식 시험을 떠올려 보자. 모르는 문제를 비워 두면 0점이다. 아무 번호나 찍으면 4분의 1 확률로 점수를 얻는다. 틀려도 깎이는 점수가 없다면 찍는 것이 언제나 이득이다. 이런 시험을 수천 번 치른 학생은 모르는 문제 앞에서 "모르겠습니다"라고 쓰지 않는다.
논문의 주장은 AI가 바로 이 학생이라는 것이다. AI 모델의 실력을 비교하는 평가표 대부분은 정답률만 센다. "모르겠다"는 답은 틀린 답과 똑같이 0점이다. 그러니 평가에서 높은 점수를 받도록 다듬어진 모델은 확신이 없을 때도 그럴듯한 답을 고르는 쪽으로 기운다. 연구진의 표현을 빌리면, 모델은 좋은 시험 응시자가 되도록 최적화되어 왔다.
숫자로 보는 찍기의 대가
오픈AI는 이 주장을 보여 주려고 자사의 두 모델을 견주었다. 짧은 사실 질문으로 된 SimpleQA 평가에서, 새 모델은 절반 넘게 모른다고 답했고 옛 모델은 거의 언제나 답을 냈다.
SimpleQA 평가에서 두 모델이 낸 답 (%)
정답률만 보면 옛 모델이 이긴다. 24% 대 22%다. 그런데 틀린 답의 비율은 75% 대 26%로, 옛 모델이 세 배 가까이 많다. 정답률만 세는 순위표는 이 차이를 보지 못한다. 오히려 찍는 모델에게 상을 준다.
한 번만 나온 사실은 맞히기 어렵다
채점 방식만의 문제는 아니다. 논문은 모델이 처음 배우는 단계, 곧 인터넷의 글을 읽으며 다음 낱말을 맞히는 사전 학습에서도 환각의 씨앗이 생긴다고 설명한다.
맞춤법이나 문법처럼 규칙이 있는 것은 글을 많이 읽을수록 정확해진다. 그러나 어떤 사람의 생일처럼 규칙이 없는 사실은 다르다. 생일은 앞뒤 문맥에서 추론할 수 없고, 그 사실이 학습 자료에 몇 번 나왔느냐에 기댈 수밖에 없다. 논문은 학습 자료에 딱 한 번만 나온 사실의 비율이 높을수록, 그 종류의 질문에서 틀릴 수밖에 없는 비율도 높아진다는 것을 수학적으로 보였다. 한 번 스쳐 지나간 사실은 모델에게 거의 소문과 같다.
고치는 법은 시험지를 바꾸는 것
연구진이 내놓은 처방은 새로운 기술이 아니라 채점 방식의 변화다. 환각만 따로 재는 평가를 몇 개 더 만드는 것으로는 부족하다고 했다. 이미 널리 쓰이는 평가들이 틀린 답에는 감점을 주고, 모른다는 답에는 부분 점수를 주도록 바뀌어야 한다고 했다. 사람의 시험에서도 틀리면 감점하는 방식이 찍기를 줄이듯이 말이다.
이 처방은 AI를 만드는 회사의 몫이다. 그렇다면 오늘 AI를 쓰는 사람은 무엇을 할 수 있을까.
쓰는 사람이 할 수 있는 일
- 모른다고 말해도 된다고 허락한다. "확실하지 않으면 확실하지 않다고 말해 줘"라는 한 줄은 생각보다 효과가 있다. 모델은 질문에 담긴 기대를 읽는다.
- 자료를 함께 준다. 기억에 기대게 하지 말고 근거가 되는 문서를 붙여 넣은 뒤 "이 자료 안에서만 답해 줘"라고 한다. 검색해서 찾은 문서를 함께 주는 방식(RAG)이 환각을 줄이는 까닭이다.
- 출처를 달게 하고, 출처를 직접 연다. 출처 목록 자체가 지어낸 것일 수 있다. 제목과 주소가 실제로 있는지 확인하는 데는 1분이면 된다.
- 드문 사실일수록 의심한다. 날짜, 숫자, 이름, 인용문은 맞으면 다행이고 틀리면 비싼 정보다. 원자료에서 한 번 더 확인한다.
- 같은 질문을 두 번 묻는다. 답이 매번 달라진다면 모델도 모르는 것이다.
환각은 AI가 거짓말을 하려는 의도에서 나오는 것이 아니다. 찍어도 손해가 없던 시험에서 자란 습관에 가깝다. 그 습관을 아는 사람은 언제 AI를 믿고 언제 확인할지 안다. 이 서재의 프롬프트 저장소에는 출처를 달고 확실한 것과 모르는 것을 나눠 쓰게 하는 프롬프트도 모아 두었다.
참고한 자료
- Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, "Why Language Models Hallucinate", arXiv:2509.04664 (2025)
- OpenAI, "Why language models hallucinate" (2025년 9월)
- OpenAI, GPT-5 System Card (2025)
이 글과 함께 보면 좋은 것
시리즈
AI와 일하는 법 (2/8)
AI가 어떻게 움직이고 어디서 틀리는지 공부하고, 일에 바르게 쓰는 법을 따져 보는 글
- 1바이브 코딩의 첫해
- 2AI는 왜 그럴듯하게 틀릴까
- 3AI에 손발을 다는 표준
- 4생각할 시간을 사는 AI
- 5개발자는 AI로 정말 빨라졌을까
- 6프롬프트에서 스킬로
- 7AI의 작업 기억
- 8AI 검색 시대에 글이 읽히는 법
함께 읽을 글
- 잊어버리는 속도에 맞춰 복습한다: 라이트너 상자에서 SM-2까지간격을 두고 복습하면 오래 남는다는 것은 140년 전부터 알려진 사실이다. 어려운 것은 언제 복습할지 정하는 일이다. 종이 카드를 상자 칸으로 옮기던 1970년대의 방법부터, 대답의 질에 따라 다음 날짜를 계산하는 1987년의 알고리즘, 그리고 지금의 암기 앱까지. 복습 날짜를 정하는 코드를 직접 돌려 본다.
- 습관이 되는 데 걸리는 시간은 21일일까21일만 버티면 습관이 된다는 말은 1960년 한 성형외과 의사의 관찰에서 시작해 숫자만 남은 채 퍼졌다. 실제로 96명이 새 습관을 들이는 과정을 매일 기록한 연구에서 걸린 시간의 중앙값은 66일, 사람에 따라 18일에서 254일까지 벌어졌다. 습관이 자라는 곡선의 모양과, 하루 빠뜨려도 괜찮은 이유.
- 생일이 겹칠 확률: 스물세 명이면 반반한 반에 스물세 명만 모여도 생일이 같은 두 사람이 있을 확률은 50%를 넘는다. 1년이 365일이니 직감으로는 180명은 넘어야 할 것 같다. 직감이 빗나가는 까닭은 사람을 세기 때문이다. 세어야 할 것은 짝이다. 생일 문제를 직접 계산해 보고, 같은 셈이 비밀번호와 해시를 지키는 데 어떻게 쓰이는지 정리한다.