Published on
약 3분

AI는 왜 그럴듯하게 틀릴까

Authors
  • Name
    스타차일드

AI에게 어떤 연구자의 박사 논문 제목을 물으면 그럴듯한 제목이 돌아온다. 다시 물으면 다른 제목이 나온다. 둘 다 존재하지 않는 논문이다. 이렇게 사실이 아닌 내용을 사실처럼 자신 있게 내놓는 현상을 흔히 환각(hallucination)이라고 부른다.

환각은 AI가 아직 덜 똑똑해서 생기는 버그처럼 여겨지곤 한다. 모델이 커지고 데이터가 늘면 저절로 사라질 것이라는 기대다. 그런데 2025년 9월 오픈AI의 애덤 칼라이(Adam Tauman Kalai)와 조지아 공대의 산토시 벰팔라(Santosh Vempala) 등이 낸 논문 「언어 모델은 왜 환각을 일으키는가」는 다른 설명을 내놓았다. 환각은 모델을 기르고 채점하는 방식에서 자연스럽게 생겨난다는 설명이다.

모르면 찍는 학생

객관식 시험을 떠올려 보자. 모르는 문제를 비워 두면 0점이다. 아무 번호나 찍으면 4분의 1 확률로 점수를 얻는다. 틀려도 깎이는 점수가 없다면 찍는 것이 언제나 이득이다. 이런 시험을 수천 번 치른 학생은 모르는 문제 앞에서 "모르겠습니다"라고 쓰지 않는다.

논문의 주장은 AI가 바로 이 학생이라는 것이다. AI 모델의 실력을 비교하는 평가표 대부분은 정답률만 센다. "모르겠다"는 답은 틀린 답과 똑같이 0점이다. 그러니 평가에서 높은 점수를 받도록 다듬어진 모델은 확신이 없을 때도 그럴듯한 답을 고르는 쪽으로 기운다. 연구진의 표현을 빌리면, 모델은 좋은 시험 응시자가 되도록 최적화되어 왔다.

숫자로 보는 찍기의 대가

오픈AI는 이 주장을 보여 주려고 자사의 두 모델을 견주었다. 짧은 사실 질문으로 된 SimpleQA 평가에서, 새 모델은 절반 넘게 모른다고 답했고 옛 모델은 거의 언제나 답을 냈다.

SimpleQA 평가에서 두 모델이 낸 답 (%)

gpt-5-thinking-mini: 모른다고 답함52%
gpt-5-thinking-mini: 맞힘22%
gpt-5-thinking-mini: 틀림26%
o4-mini: 모른다고 답함1%
o4-mini: 맞힘24%
o4-mini: 틀림75%
정답률만 보면 옛 모델(24%)이 새 모델(22%)보다 조금 높다. 그러나 틀린 답은 75%로 세 배 가까이 많다. 자료: 오픈AI, GPT-5 시스템 카드의 SimpleQA 결과.

정답률만 보면 옛 모델이 이긴다. 24% 대 22%다. 그런데 틀린 답의 비율은 75% 대 26%로, 옛 모델이 세 배 가까이 많다. 정답률만 세는 순위표는 이 차이를 보지 못한다. 오히려 찍는 모델에게 상을 준다.

한 번만 나온 사실은 맞히기 어렵다

채점 방식만의 문제는 아니다. 논문은 모델이 처음 배우는 단계, 곧 인터넷의 글을 읽으며 다음 낱말을 맞히는 사전 학습에서도 환각의 씨앗이 생긴다고 설명한다.

맞춤법이나 문법처럼 규칙이 있는 것은 글을 많이 읽을수록 정확해진다. 그러나 어떤 사람의 생일처럼 규칙이 없는 사실은 다르다. 생일은 앞뒤 문맥에서 추론할 수 없고, 그 사실이 학습 자료에 몇 번 나왔느냐에 기댈 수밖에 없다. 논문은 학습 자료에 딱 한 번만 나온 사실의 비율이 높을수록, 그 종류의 질문에서 틀릴 수밖에 없는 비율도 높아진다는 것을 수학적으로 보였다. 한 번 스쳐 지나간 사실은 모델에게 거의 소문과 같다.

고치는 법은 시험지를 바꾸는 것

연구진이 내놓은 처방은 새로운 기술이 아니라 채점 방식의 변화다. 환각만 따로 재는 평가를 몇 개 더 만드는 것으로는 부족하다고 했다. 이미 널리 쓰이는 평가들이 틀린 답에는 감점을 주고, 모른다는 답에는 부분 점수를 주도록 바뀌어야 한다고 했다. 사람의 시험에서도 틀리면 감점하는 방식이 찍기를 줄이듯이 말이다.

이 처방은 AI를 만드는 회사의 몫이다. 그렇다면 오늘 AI를 쓰는 사람은 무엇을 할 수 있을까.

쓰는 사람이 할 수 있는 일

  1. 모른다고 말해도 된다고 허락한다. "확실하지 않으면 확실하지 않다고 말해 줘"라는 한 줄은 생각보다 효과가 있다. 모델은 질문에 담긴 기대를 읽는다.
  2. 자료를 함께 준다. 기억에 기대게 하지 말고 근거가 되는 문서를 붙여 넣은 뒤 "이 자료 안에서만 답해 줘"라고 한다. 검색해서 찾은 문서를 함께 주는 방식(RAG)이 환각을 줄이는 까닭이다.
  3. 출처를 달게 하고, 출처를 직접 연다. 출처 목록 자체가 지어낸 것일 수 있다. 제목과 주소가 실제로 있는지 확인하는 데는 1분이면 된다.
  4. 드문 사실일수록 의심한다. 날짜, 숫자, 이름, 인용문은 맞으면 다행이고 틀리면 비싼 정보다. 원자료에서 한 번 더 확인한다.
  5. 같은 질문을 두 번 묻는다. 답이 매번 달라진다면 모델도 모르는 것이다.

환각은 AI가 거짓말을 하려는 의도에서 나오는 것이 아니다. 찍어도 손해가 없던 시험에서 자란 습관에 가깝다. 그 습관을 아는 사람은 언제 AI를 믿고 언제 확인할지 안다. 이 서재의 프롬프트 저장소에는 출처를 달고 확실한 것과 모르는 것을 나눠 쓰게 하는 프롬프트도 모아 두었다.

참고한 자료

  • Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, "Why Language Models Hallucinate", arXiv:2509.04664 (2025)
  • OpenAI, "Why language models hallucinate" (2025년 9월)
  • OpenAI, GPT-5 System Card (2025)

시리즈

AI와 일하는 법 (2/8)

AI가 어떻게 움직이고 어디서 틀리는지 공부하고, 일에 바르게 쓰는 법을 따져 보는 글

  1. 1바이브 코딩의 첫해
  2. 2AI는 왜 그럴듯하게 틀릴까
  3. 3AI에 손발을 다는 표준
  4. 4생각할 시간을 사는 AI
  5. 5개발자는 AI로 정말 빨라졌을까
  6. 6프롬프트에서 스킬로
  7. 7AI의 작업 기억
  8. 8AI 검색 시대에 글이 읽히는 법

기술 라이브러리

혼자 공부한 것을 정리해 두는 개발자의 서재예요. 예제는 직접 돌려 보고 씁니다.

© 2026 기술 라이브러리