Published on
약 3분

AI의 작업 기억

Authors
  • Name
    스타차일드

AI와 한참 이야기하다 보면 이상한 순간이 온다. 처음에 분명히 존댓말로 써 달라고 했는데 어느새 반말이 섞인다. 백 쪽짜리 보고서를 통째로 주고 물었더니, 앞부분과 뒷부분은 잘 아는데 가운데 내용은 놓친다. AI가 게을러진 것일까.

AI에게는 사람의 작업 기억과 비슷한 것이 있다. 한 번에 붙들고 생각할 수 있는 글의 양, 맥락 창(context window)이다. 지금 대화의 모든 말, 붙여 넣은 문서, 깔아 둔 지시가 이 창 안에 들어가야 AI가 그것을 보고 답할 수 있다. 창은 크지만 무한하지 않고, 창 안에서도 모든 자리가 똑같이 잘 보이지는 않는다.

창의 크기는 토큰으로 잰다

맥락 창의 크기는 글자 수가 아니라 토큰(token)으로 잰다. 토큰은 AI가 글을 읽는 단위로, 자주 쓰이는 낱말은 통째로 한 토큰이 되고 드문 낱말은 여러 조각으로 쪼개진다. 문제는 쪼개는 규칙이 영어 글을 중심으로 만들어졌다는 것이다. 같은 뜻의 문장을 영어와 한국어로 써서 세어 보면 차이가 보인다.

같은 내용의 영어 문장과 한국어 문장을 오픈AI의 옛 토크나이저(cl100k_base)와 새 토크나이저(o200k_base)로 토큰 수를 센다

import { encode as o200k } from 'gpt-tokenizer/encoding/o200k_base'
import { encode as cl100k } from 'gpt-tokenizer/encoding/cl100k_base'

const en = 'The meeting has been moved to Friday at 3 pm. Please bring the quarterly sales report and your questions.'
const ko = '회의가 금요일 오후 3시로 옮겨졌습니다. 분기 매출 보고서와 궁금한 점을 챙겨 와 주세요.'

for (const [label, text] of [['영어', en], ['한국어', ko]]) {
  console.log(`${label}: 글자 ${text.length}개, 옛 토크나이저 ${cl100k(text).length}토큰, 새 토크나이저 ${o200k(text).length}토큰`)
}

실행 결과

영어: 글자 105개, 옛 토크나이저 22토큰, 새 토크나이저 22토큰
한국어: 글자 50개, 옛 토크나이저 52토큰, 새 토크나이저 33토큰

한국어 문장은 글자 수가 영어의 절반인데도, 옛 토크나이저로는 토큰이 두 배가 넘었다. 새 토크나이저는 한국어를 훨씬 덜 쪼개서 33토큰으로 줄었지만, 그래도 영어보다 50% 많다. 토큰은 곧 비용이자 창의 자리다. API 요금은 토큰 수로 매겨지고, 같은 크기의 창에 담을 수 있는 한국어 문서는 영어 문서보다 적다. 모델마다 토크나이저가 다르니 숫자는 달라지지만, 한국어가 손해를 보는 방향은 대체로 같다.

창의 가운데는 흐릿하다

창이 넉넉해도 문제는 남는다. 2023년 스탠퍼드 대학교의 넬슨 리우(Nelson F. Liu) 등은 「가운데서 길을 잃다(Lost in the Middle)」라는 논문에서, 긴 글 속에 정답이 담긴 문단을 여러 자리에 옮겨 놓으며 AI가 얼마나 잘 찾는지 재 보았다. 정답이 글의 맨 앞이나 맨 끝에 있을 때 성적이 가장 좋았고, 가운데에 있을 때 눈에 띄게 떨어졌다. 긴 글을 다루도록 따로 만든 모델에서도 마찬가지였다.

2025년 7월 검색 데이터베이스 회사 크로마(Chroma)는 모델 18개를 시험해 비슷한 결과를 보고했다. 입력이 길어질수록, 아주 단순한 과제에서도 답이 덜 믿을 만해졌다. 연구진은 이 현상을 맥락 부패(context rot)라고 불렀다. 창의 크기가 광고하는 숫자와, 그 창을 고르게 잘 쓰는 능력은 다르다는 것이다.

긴 일을 맡기는 법

  1. 중요한 지시는 앞과 끝에 둔다. 긴 문서를 붙여 넣을 때는 문서를 먼저 두고, 질문과 지켜야 할 조건은 맨 끝에 한 번 더 적는다. 앤트로픽도 긴 문서를 다룰 때 문서를 위에, 질문을 아래에 두라고 권한다.
  2. 필요한 부분만 준다. 백 쪽 보고서에서 세 쪽이 필요하다면 세 쪽만 준다. 많이 줄수록 정확해지는 것이 아니다.
  3. 대화가 길어지면 새로 시작한다. 지금까지 정한 것을 요약하게 한 뒤, 그 요약을 들고 새 대화를 연다. 오래된 곁가지가 창을 차지하지 않는다.
  4. 자주 쓰는 지시는 파일로 둔다. 매번 대화 앞에 붙이는 긴 지시는 규칙 파일이나 스킬로 옮겨, 필요할 때만 읽히게 한다.
  5. 한국어 문서는 넉넉히 잡는다. 같은 분량이라도 한국어는 토큰을 더 쓴다. 창이 넘칠 것 같으면 문서를 나눠서 차례로 맡긴다.

AI의 맥락 창이 해마다 커지고 있으니 이런 요령은 곧 필요 없어질 것이라는 말도 있다. 하지만 창이 커질수록 그 안에 넣고 싶은 것도 같이 늘었다. 책상이 넓어져도 정리 잘하는 사람이 일을 잘하는 것과 같다. 무엇을 책상 위에 둘지 고르는 일은 여전히 사람의 몫이다.

참고한 자료

  • Nelson F. Liu 외, "Lost in the Middle: How Language Models Use Long Contexts", Transactions of the Association for Computational Linguistics (2024)
  • Kelly Hong, Anton Troynikov, Jeff Huber, "Context Rot: How Increasing Input Tokens Impacts LLM Performance", Chroma (2025년 7월 14일)
  • Anthropic, 긴 문맥 프롬프트 작성 요령, Claude 개발자 문서
  • 토큰 수는 오픈소스 라이브러리 gpt-tokenizer 2.9.0으로 직접 세었다

시리즈

AI와 일하는 법 (7/8)

AI가 어떻게 움직이고 어디서 틀리는지 공부하고, 일에 바르게 쓰는 법을 따져 보는 글

  1. 1바이브 코딩의 첫해
  2. 2AI는 왜 그럴듯하게 틀릴까
  3. 3AI에 손발을 다는 표준
  4. 4생각할 시간을 사는 AI
  5. 5개발자는 AI로 정말 빨라졌을까
  6. 6프롬프트에서 스킬로
  7. 7AI의 작업 기억
  8. 8AI 검색 시대에 글이 읽히는 법

기술 라이브러리

혼자 공부한 것을 정리해 두는 개발자의 서재예요. 예제는 직접 돌려 보고 씁니다.

© 2026 기술 라이브러리