- Published on
- 약 3분
AI의 작업 기억
- Authors
- Name
- 스타차일드
AI와 한참 이야기하다 보면 이상한 순간이 온다. 처음에 분명히 존댓말로 써 달라고 했는데 어느새 반말이 섞인다. 백 쪽짜리 보고서를 통째로 주고 물었더니, 앞부분과 뒷부분은 잘 아는데 가운데 내용은 놓친다. AI가 게을러진 것일까.
AI에게는 사람의 작업 기억과 비슷한 것이 있다. 한 번에 붙들고 생각할 수 있는 글의 양, 맥락 창(context window)이다. 지금 대화의 모든 말, 붙여 넣은 문서, 깔아 둔 지시가 이 창 안에 들어가야 AI가 그것을 보고 답할 수 있다. 창은 크지만 무한하지 않고, 창 안에서도 모든 자리가 똑같이 잘 보이지는 않는다.
창의 크기는 토큰으로 잰다
맥락 창의 크기는 글자 수가 아니라 토큰(token)으로 잰다. 토큰은 AI가 글을 읽는 단위로, 자주 쓰이는 낱말은 통째로 한 토큰이 되고 드문 낱말은 여러 조각으로 쪼개진다. 문제는 쪼개는 규칙이 영어 글을 중심으로 만들어졌다는 것이다. 같은 뜻의 문장을 영어와 한국어로 써서 세어 보면 차이가 보인다.
같은 내용의 영어 문장과 한국어 문장을 오픈AI의 옛 토크나이저(cl100k_base)와 새 토크나이저(o200k_base)로 토큰 수를 센다
import { encode as o200k } from 'gpt-tokenizer/encoding/o200k_base'
import { encode as cl100k } from 'gpt-tokenizer/encoding/cl100k_base'
const en = 'The meeting has been moved to Friday at 3 pm. Please bring the quarterly sales report and your questions.'
const ko = '회의가 금요일 오후 3시로 옮겨졌습니다. 분기 매출 보고서와 궁금한 점을 챙겨 와 주세요.'
for (const [label, text] of [['영어', en], ['한국어', ko]]) {
console.log(`${label}: 글자 ${text.length}개, 옛 토크나이저 ${cl100k(text).length}토큰, 새 토크나이저 ${o200k(text).length}토큰`)
}
실행 결과
영어: 글자 105개, 옛 토크나이저 22토큰, 새 토크나이저 22토큰 한국어: 글자 50개, 옛 토크나이저 52토큰, 새 토크나이저 33토큰
한국어 문장은 글자 수가 영어의 절반인데도, 옛 토크나이저로는 토큰이 두 배가 넘었다. 새 토크나이저는 한국어를 훨씬 덜 쪼개서 33토큰으로 줄었지만, 그래도 영어보다 50% 많다. 토큰은 곧 비용이자 창의 자리다. API 요금은 토큰 수로 매겨지고, 같은 크기의 창에 담을 수 있는 한국어 문서는 영어 문서보다 적다. 모델마다 토크나이저가 다르니 숫자는 달라지지만, 한국어가 손해를 보는 방향은 대체로 같다.
창의 가운데는 흐릿하다
창이 넉넉해도 문제는 남는다. 2023년 스탠퍼드 대학교의 넬슨 리우(Nelson F. Liu) 등은 「가운데서 길을 잃다(Lost in the Middle)」라는 논문에서, 긴 글 속에 정답이 담긴 문단을 여러 자리에 옮겨 놓으며 AI가 얼마나 잘 찾는지 재 보았다. 정답이 글의 맨 앞이나 맨 끝에 있을 때 성적이 가장 좋았고, 가운데에 있을 때 눈에 띄게 떨어졌다. 긴 글을 다루도록 따로 만든 모델에서도 마찬가지였다.
2025년 7월 검색 데이터베이스 회사 크로마(Chroma)는 모델 18개를 시험해 비슷한 결과를 보고했다. 입력이 길어질수록, 아주 단순한 과제에서도 답이 덜 믿을 만해졌다. 연구진은 이 현상을 맥락 부패(context rot)라고 불렀다. 창의 크기가 광고하는 숫자와, 그 창을 고르게 잘 쓰는 능력은 다르다는 것이다.
긴 일을 맡기는 법
- 중요한 지시는 앞과 끝에 둔다. 긴 문서를 붙여 넣을 때는 문서를 먼저 두고, 질문과 지켜야 할 조건은 맨 끝에 한 번 더 적는다. 앤트로픽도 긴 문서를 다룰 때 문서를 위에, 질문을 아래에 두라고 권한다.
- 필요한 부분만 준다. 백 쪽 보고서에서 세 쪽이 필요하다면 세 쪽만 준다. 많이 줄수록 정확해지는 것이 아니다.
- 대화가 길어지면 새로 시작한다. 지금까지 정한 것을 요약하게 한 뒤, 그 요약을 들고 새 대화를 연다. 오래된 곁가지가 창을 차지하지 않는다.
- 자주 쓰는 지시는 파일로 둔다. 매번 대화 앞에 붙이는 긴 지시는 규칙 파일이나 스킬로 옮겨, 필요할 때만 읽히게 한다.
- 한국어 문서는 넉넉히 잡는다. 같은 분량이라도 한국어는 토큰을 더 쓴다. 창이 넘칠 것 같으면 문서를 나눠서 차례로 맡긴다.
AI의 맥락 창이 해마다 커지고 있으니 이런 요령은 곧 필요 없어질 것이라는 말도 있다. 하지만 창이 커질수록 그 안에 넣고 싶은 것도 같이 늘었다. 책상이 넓어져도 정리 잘하는 사람이 일을 잘하는 것과 같다. 무엇을 책상 위에 둘지 고르는 일은 여전히 사람의 몫이다.
참고한 자료
- Nelson F. Liu 외, "Lost in the Middle: How Language Models Use Long Contexts", Transactions of the Association for Computational Linguistics (2024)
- Kelly Hong, Anton Troynikov, Jeff Huber, "Context Rot: How Increasing Input Tokens Impacts LLM Performance", Chroma (2025년 7월 14일)
- Anthropic, 긴 문맥 프롬프트 작성 요령, Claude 개발자 문서
- 토큰 수는 오픈소스 라이브러리 gpt-tokenizer 2.9.0으로 직접 세었다
이 글과 함께 보면 좋은 것
- 블로그프롬프트에서 스킬로좋은 프롬프트를 메모장에 모아 두고 매번 붙여 넣던 사람이라면 스킬이 반가울 것이다. 스킬은 AI에게 일하는 법을 적어 둔 폴더로, 필요할 때만 꺼내 읽힌다. 2025년 10월 앤트로픽이 내놓은 이 방식은 두 달 만에 오픈AI까지 받아들인 공개 표준이 되었다. 스킬이 프롬프트와 무엇이 다른지, 좋은 스킬은 어떻게 쓰는지 정리한다.
- 블로그AI는 왜 그럴듯하게 틀릴까AI가 없는 논문을 지어내고 틀린 날짜를 자신 있게 말하는 현상을 환각이라 부른다. 2025년 오픈AI 연구진은 그 뿌리가 객관식 시험과 같은 채점 방식에 있다고 주장했다. 모르면 찍는 쪽이 점수가 높은 시험에서 자란 모델이 왜 모른다고 말하지 않는지, 그리고 쓰는 사람은 무엇을 할 수 있는지 정리한다.
- 가이드북토큰과 임베딩: 언어를 숫자로 바꾸는 법LLM과 생성형 AI 트랙
시리즈
AI와 일하는 법 (7/8)
AI가 어떻게 움직이고 어디서 틀리는지 공부하고, 일에 바르게 쓰는 법을 따져 보는 글
함께 읽을 글
- 노트북으로 필기하면 덜 배울까2014년 한 논문은 노트북으로 필기한 학생이 손으로 쓴 학생보다 개념 문제를 못 푼다고 보고했고, 이 결과는 강의실 노트북 금지의 근거로 널리 쓰였다. 그런데 2019년과 2021년에 같은 실험을 다시 해 보니 뚜렷한 차이가 나오지 않았다. 필기 도구보다 학습을 더 크게 가르는 것이 무엇인지 연구들을 나란히 놓고 따져 본다.
- 종이로 읽을 때와 화면으로 읽을 때같은 글을 종이와 화면으로 나눠 읽힌 연구 54건, 17만 명의 결과를 모아 보니 종이 쪽의 이해도가 조금 높았다. 차이는 시간에 쫓길수록, 정보가 빽빽한 글일수록 커졌고, 화면에 익숙한 세대라고 줄어들지 않았다. 더 흥미로운 것은 화면으로 읽은 사람들이 자기가 더 잘 이해했다고 믿었다는 점이다. 화면 앞에서 우리가 놓치는 것에 대하여.
- 잊어버리는 속도에 맞춰 복습한다: 라이트너 상자에서 SM-2까지간격을 두고 복습하면 오래 남는다는 것은 140년 전부터 알려진 사실이다. 어려운 것은 언제 복습할지 정하는 일이다. 종이 카드를 상자 칸으로 옮기던 1970년대의 방법부터, 대답의 질에 따라 다음 날짜를 계산하는 1987년의 알고리즘, 그리고 지금의 암기 앱까지. 복습 날짜를 정하는 코드를 직접 돌려 본다.