Published on
약 3분

생각할 시간을 사는 AI

Authors
  • Name
    스타차일드

어려운 수학 문제를 받은 사람은 바로 답을 쓰지 않는다. 식을 세워 보고, 막히면 다른 길로 돌아가고, 답이 나오면 거꾸로 넣어 확인한다. 그런데 2024년까지의 AI 챗봇은 대부분 질문을 받자마자 첫 낱말부터 써 내려갔다. 생각하는 시간과 말하는 시간이 따로 없었다.

2024년 9월 12일 오픈AI가 공개한 o1은 이 순서를 바꿨다. o1은 답을 내놓기 전에 사용자에게 보이지 않는 긴 생각의 사슬을 먼저 만든다. 문제를 쪼개고, 시도하고, 틀린 곳을 알아채고, 다시 시도한다. 이렇게 답하기 전에 스스로 추론하는 단계를 거치는 모델을 추론 모델(reasoning model)이라고 부른다.

같은 시험, 다른 점수

오픈AI는 미국의 고교 수학 경시대회 AIME 2024 문제로 차이를 보였다. 이 시험은 미국 수학 올림피아드로 가는 관문으로, 수학을 잘하는 고등학생에게도 어려운 시험이다.

AIME 2024 문제를 맞힌 비율

GPT-4o12%
o1, 한 번에 답할 때74%
o1, 64번 풀어 다수결로83%
o1, 1,000번 풀어 채점 모델로 골라낼 때93%
15문제 가운데 GPT-4o는 평균 1.8문제, o1은 11.1문제를 맞혔다. 더 여러 번 풀게 할수록 점수는 더 올랐다. 자료: 오픈AI (2024).

눈여겨볼 것은 마지막 두 막대다. 같은 모델이라도 더 여러 번 생각하게 하고 그중에서 고르게 하면 점수가 더 올랐다. 오픈AI는 학습에 쓰는 계산을 늘릴 때뿐 아니라, 답할 때 쓰는 계산을 늘릴 때도 성능이 꾸준히 오른다고 밝혔다. AI를 똑똑하게 만드는 두 번째 손잡이가 생긴 것이다. 하나는 모델을 기를 때 들이는 돈이고, 다른 하나는 문제 하나에 들이는 생각의 시간이다.

생각하는 법은 어떻게 배우나

추론 모델은 정답을 맞혔을 때 상을 주는 강화 학습으로 생각하는 법을 익힌다. 수학 문제의 답이나 코드의 테스트 결과처럼 맞았는지 틀렸는지 기계가 확인할 수 있는 문제를 잔뜩 풀게 하고, 맞힌 풀이의 습관을 강화한다.

2025년 1월 중국의 딥시크(DeepSeek)는 이 방법으로 만든 R1을 누구나 내려받을 수 있게 공개해 업계를 놀라게 했다. 연구진은 사람이 쓴 풀이를 흉내 내게 하지 않고, 정답에만 상을 주었는데도 모델이 스스로 더 길게 생각하고, 중간에 멈춰 자기 풀이를 다시 검토하는 행동을 익혔다고 보고했다. 이 연구는 2025년 9월 학술지 네이처에 실렸는데, 대형 언어 모델로서는 드물게 동료 심사를 거친 사례였다. 논문의 보충 자료에 따르면 R1을 추론 모델로 기르는 데 든 비용은 약 29만 4천 달러였다. 바탕이 된 기본 모델을 만드는 데 든 약 600만 달러는 따로다.

공짜 생각은 없다

생각하는 시간은 돈이다. 추론 모델은 답 앞에 보이지 않는 생각을 길게 쓰고, 그 생각도 모두 처리 비용과 기다리는 시간으로 돌아온다. 간단한 질문에 추론 모델을 쓰는 것은 우체국에 가는 길을 묻는데 지도를 펼치고 경로 세 개를 견주는 것과 같다.

반대로 사실 하나를 묻거나, 글을 다듬거나, 짧은 문구를 쓰는 일에는 빠른 모델로 충분하다. 생각을 오래 한다고 기억에 없는 사실이 생기지는 않는다. 오히려 그럴듯한 추론 끝에 틀린 결론을 더 자신 있게 내놓을 수도 있다.

추론 모델에게 일을 시키는 법

추론 모델에게는 예전에 쓰던 요령 몇 가지가 거꾸로 작동한다. 오픈AI는 추론 모델을 쓸 때 프롬프트를 짧고 분명하게 쓰고, "단계별로 생각해"처럼 생각하는 법을 일러 주는 지시는 빼라고 권한다. 모델은 이미 스스로 생각하도록 길러졌기 때문이다.

  1. 과정이 아니라 목표와 조건을 준다. 어떻게 풀지보다 무엇이 좋은 답인지, 무엇은 안 되는지를 적는다.
  2. 판단에 필요한 자료를 빠짐없이 준다. 생각을 오래 해도 없는 정보는 만들어지지 않는다.
  3. 확인할 방법을 함께 준다. 테스트, 예시 입력과 기대 출력, 채점 기준이 있으면 모델이 스스로 답을 검산한다.
  4. 쉬운 일에는 쓰지 않는다. 빠른 모델로 먼저 해 보고, 막힐 때 추론 모드로 바꾼다.

사람도 모든 결정에 오래 고민하지 않는다. 점심 메뉴는 금방 고르고, 이사는 몇 주를 고민한다. AI에게도 그 구분을 맡기는 대신 우리가 정해 주면, 같은 돈으로 더 좋은 답을 얻는다.

참고한 자료

  • OpenAI, "Learning to reason with LLMs" (2024년 9월 12일)
  • DeepSeek-AI, "DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning", Nature (2025년 9월)
  • OpenAI, Reasoning best practices, OpenAI 개발자 문서

시리즈

AI와 일하는 법 (4/8)

AI가 어떻게 움직이고 어디서 틀리는지 공부하고, 일에 바르게 쓰는 법을 따져 보는 글

  1. 1바이브 코딩의 첫해
  2. 2AI는 왜 그럴듯하게 틀릴까
  3. 3AI에 손발을 다는 표준
  4. 4생각할 시간을 사는 AI
  5. 5개발자는 AI로 정말 빨라졌을까
  6. 6프롬프트에서 스킬로
  7. 7AI의 작업 기억
  8. 8AI 검색 시대에 글이 읽히는 법

기술 라이브러리

혼자 공부한 것을 정리해 두는 개발자의 서재예요. 예제는 직접 돌려 보고 씁니다.

© 2026 기술 라이브러리