- Published on
- 약 3분
생각할 시간을 사는 AI
- Authors
- Name
- 스타차일드
어려운 수학 문제를 받은 사람은 바로 답을 쓰지 않는다. 식을 세워 보고, 막히면 다른 길로 돌아가고, 답이 나오면 거꾸로 넣어 확인한다. 그런데 2024년까지의 AI 챗봇은 대부분 질문을 받자마자 첫 낱말부터 써 내려갔다. 생각하는 시간과 말하는 시간이 따로 없었다.
2024년 9월 12일 오픈AI가 공개한 o1은 이 순서를 바꿨다. o1은 답을 내놓기 전에 사용자에게 보이지 않는 긴 생각의 사슬을 먼저 만든다. 문제를 쪼개고, 시도하고, 틀린 곳을 알아채고, 다시 시도한다. 이렇게 답하기 전에 스스로 추론하는 단계를 거치는 모델을 추론 모델(reasoning model)이라고 부른다.
같은 시험, 다른 점수
오픈AI는 미국의 고교 수학 경시대회 AIME 2024 문제로 차이를 보였다. 이 시험은 미국 수학 올림피아드로 가는 관문으로, 수학을 잘하는 고등학생에게도 어려운 시험이다.
AIME 2024 문제를 맞힌 비율
눈여겨볼 것은 마지막 두 막대다. 같은 모델이라도 더 여러 번 생각하게 하고 그중에서 고르게 하면 점수가 더 올랐다. 오픈AI는 학습에 쓰는 계산을 늘릴 때뿐 아니라, 답할 때 쓰는 계산을 늘릴 때도 성능이 꾸준히 오른다고 밝혔다. AI를 똑똑하게 만드는 두 번째 손잡이가 생긴 것이다. 하나는 모델을 기를 때 들이는 돈이고, 다른 하나는 문제 하나에 들이는 생각의 시간이다.
생각하는 법은 어떻게 배우나
추론 모델은 정답을 맞혔을 때 상을 주는 강화 학습으로 생각하는 법을 익힌다. 수학 문제의 답이나 코드의 테스트 결과처럼 맞았는지 틀렸는지 기계가 확인할 수 있는 문제를 잔뜩 풀게 하고, 맞힌 풀이의 습관을 강화한다.
2025년 1월 중국의 딥시크(DeepSeek)는 이 방법으로 만든 R1을 누구나 내려받을 수 있게 공개해 업계를 놀라게 했다. 연구진은 사람이 쓴 풀이를 흉내 내게 하지 않고, 정답에만 상을 주었는데도 모델이 스스로 더 길게 생각하고, 중간에 멈춰 자기 풀이를 다시 검토하는 행동을 익혔다고 보고했다. 이 연구는 2025년 9월 학술지 네이처에 실렸는데, 대형 언어 모델로서는 드물게 동료 심사를 거친 사례였다. 논문의 보충 자료에 따르면 R1을 추론 모델로 기르는 데 든 비용은 약 29만 4천 달러였다. 바탕이 된 기본 모델을 만드는 데 든 약 600만 달러는 따로다.
공짜 생각은 없다
생각하는 시간은 돈이다. 추론 모델은 답 앞에 보이지 않는 생각을 길게 쓰고, 그 생각도 모두 처리 비용과 기다리는 시간으로 돌아온다. 간단한 질문에 추론 모델을 쓰는 것은 우체국에 가는 길을 묻는데 지도를 펼치고 경로 세 개를 견주는 것과 같다.
반대로 사실 하나를 묻거나, 글을 다듬거나, 짧은 문구를 쓰는 일에는 빠른 모델로 충분하다. 생각을 오래 한다고 기억에 없는 사실이 생기지는 않는다. 오히려 그럴듯한 추론 끝에 틀린 결론을 더 자신 있게 내놓을 수도 있다.
추론 모델에게 일을 시키는 법
추론 모델에게는 예전에 쓰던 요령 몇 가지가 거꾸로 작동한다. 오픈AI는 추론 모델을 쓸 때 프롬프트를 짧고 분명하게 쓰고, "단계별로 생각해"처럼 생각하는 법을 일러 주는 지시는 빼라고 권한다. 모델은 이미 스스로 생각하도록 길러졌기 때문이다.
- 과정이 아니라 목표와 조건을 준다. 어떻게 풀지보다 무엇이 좋은 답인지, 무엇은 안 되는지를 적는다.
- 판단에 필요한 자료를 빠짐없이 준다. 생각을 오래 해도 없는 정보는 만들어지지 않는다.
- 확인할 방법을 함께 준다. 테스트, 예시 입력과 기대 출력, 채점 기준이 있으면 모델이 스스로 답을 검산한다.
- 쉬운 일에는 쓰지 않는다. 빠른 모델로 먼저 해 보고, 막힐 때 추론 모드로 바꾼다.
사람도 모든 결정에 오래 고민하지 않는다. 점심 메뉴는 금방 고르고, 이사는 몇 주를 고민한다. AI에게도 그 구분을 맡기는 대신 우리가 정해 주면, 같은 돈으로 더 좋은 답을 얻는다.
참고한 자료
- OpenAI, "Learning to reason with LLMs" (2024년 9월 12일)
- DeepSeek-AI, "DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning", Nature (2025년 9월)
- OpenAI, Reasoning best practices, OpenAI 개발자 문서
이 글과 함께 보면 좋은 것
- 블로그AI에 손발을 다는 표준말은 잘하지만 아무것도 만질 수 없던 AI에게 파일과 달력과 데이터베이스를 쥐여 주는 공통 규격이 있다. 2024년 11월 앤트로픽이 내놓은 MCP는 1년 만에 경쟁사들까지 받아들이는 표준이 되었다. 표준이 왜 이렇게 빨리 퍼졌는지, 그리고 손발이 생긴 AI를 어떻게 안전하게 부릴지 정리한다.
- 블로그AI는 왜 그럴듯하게 틀릴까AI가 없는 논문을 지어내고 틀린 날짜를 자신 있게 말하는 현상을 환각이라 부른다. 2025년 오픈AI 연구진은 그 뿌리가 객관식 시험과 같은 채점 방식에 있다고 주장했다. 모르면 찍는 쪽이 점수가 높은 시험에서 자란 모델이 왜 모른다고 말하지 않는지, 그리고 쓰는 사람은 무엇을 할 수 있는지 정리한다.
- 가이드북사전 학습, 스케일링 법칙, 정렬LLM과 생성형 AI 트랙
시리즈
AI와 일하는 법 (4/8)
AI가 어떻게 움직이고 어디서 틀리는지 공부하고, 일에 바르게 쓰는 법을 따져 보는 글
함께 읽을 글
- 잊어버리는 속도에 맞춰 복습한다: 라이트너 상자에서 SM-2까지간격을 두고 복습하면 오래 남는다는 것은 140년 전부터 알려진 사실이다. 어려운 것은 언제 복습할지 정하는 일이다. 종이 카드를 상자 칸으로 옮기던 1970년대의 방법부터, 대답의 질에 따라 다음 날짜를 계산하는 1987년의 알고리즘, 그리고 지금의 암기 앱까지. 복습 날짜를 정하는 코드를 직접 돌려 본다.
- 노트북으로 필기하면 덜 배울까2014년 한 논문은 노트북으로 필기한 학생이 손으로 쓴 학생보다 개념 문제를 못 푼다고 보고했고, 이 결과는 강의실 노트북 금지의 근거로 널리 쓰였다. 그런데 2019년과 2021년에 같은 실험을 다시 해 보니 뚜렷한 차이가 나오지 않았다. 필기 도구보다 학습을 더 크게 가르는 것이 무엇인지 연구들을 나란히 놓고 따져 본다.
- 종이로 읽을 때와 화면으로 읽을 때같은 글을 종이와 화면으로 나눠 읽힌 연구 54건, 17만 명의 결과를 모아 보니 종이 쪽의 이해도가 조금 높았다. 차이는 시간에 쫓길수록, 정보가 빽빽한 글일수록 커졌고, 화면에 익숙한 세대라고 줄어들지 않았다. 더 흥미로운 것은 화면으로 읽은 사람들이 자기가 더 잘 이해했다고 믿었다는 점이다. 화면 앞에서 우리가 놓치는 것에 대하여.