AI에게 일을 잘 시키는 법: 프롬프트와 맥락 설계

언어 모델은 내 머릿속을 모르고, 창에 들어온 글만 보고 다음 말을 이어 가요. 이 원리에서 출발해 목표·대상·형식·제약을 갖춘 지시, 예시 몇 개로 기준 맞추기, 단계 나누기, 지시와 자료 구분하기, 출력 형식 정하기를 전후 비교로 익히고, 맥락 창에 무엇을 어떤 순서로 넣을지 설계하는 법과 프롬프트를 시험하며 고치는 습관까지 다뤄요.

초급강의 1 / 9약 8분

같은 AI에게 같은 일을 시켜도 어떤 사람은 바로 쓸 만한 결과를 받고, 어떤 사람은 "AI는 아직 멀었네"라고 말해요. 차이는 대부분 일을 시키는 방식에서 나와요. 이번 강의는 이 트랙의 입문 강의라서 코드 없이, 지금 바로 써먹을 수 있는 원칙부터 익혀요. 뒤의 강의에서 그 원리를 하나씩 뜯어봐요.

먼저 원리: 모델은 무엇을 보고 답하나

대형 언어 모델은 지금 입력된 글(맥락)을 보고, 그다음에 올 말을 한 토큰씩 이어 쓰는 기계예요. 딥러닝 트랙의 마지막 강의에서 본 "다음 단어 맞히기"를 엄청난 양의 글로 학습한 결과죠. 여기서 실용적인 결론 세 가지가 나와요.

  1. 모델은 내 머릿속을 몰라요. 내가 어떤 회사에 다니는지, 이 글을 누가 읽을지, 지난주 회의에서 뭘 정했는지는 맥락에 적어 주지 않으면 알 길이 없어요.
  2. 맥락 밖의 기억은 없어요. 대화 앱이 이전 대화를 기억하는 것처럼 보이는 건, 앱이 이전 대화를 맥락에 다시 넣어 주기 때문이에요. 넣을 수 있는 양(맥락 창)에는 한계가 있어요.
  3. 답은 확률적이에요. 같은 질문에도 답이 조금씩 달라질 수 있어요. 정보 이론 강의의 온도가 높을수록 더 다양해져요. 정확해야 하는 일은 온도를 낮게, 아이디어 내기는 높게 써요.

그러니 프롬프트를 쓴다는 건, 똑똑하지만 우리 사정은 전혀 모르는 새 동료에게 업무 지시서를 쓰는 일이라고 생각하면 돼요.

원칙 1: 구체적으로, 목표와 대상과 형식을

흐릿한 지시는 흐릿한 결과를 낳아요.

전: 이 보고서 요약해 줘.

후: 아래 분기 보고서를 임원 회의용으로 요약해 줘. 읽는 사람은 숫자에 익숙한 임원이고, 3분 안에 읽어야 해. 매출, 비용, 다음 분기 위험 요인 세 가지를 꼭 넣고, 각 항목은 두 문장 이내로. 마지막에 결정이 필요한 사항이 있으면 따로 한 줄로 적어 줘.

좋은 지시서에는 대개 이런 요소가 있어요.

요소질문예
목표이 결과로 무엇을 하려는가임원 회의에서 결정을 내리려고
대상누가 읽는가숫자에 익숙한 임원, 3분
내용꼭 들어갈 것은매출, 비용, 위험 요인 3가지
형식어떤 모양으로항목별 두 문장, 결정 사항 한 줄
제약하지 말 것은보고서에 없는 숫자를 만들어 넣지 말 것

이 표를 보면 사람에게 일을 맡길 때와 똑같다는 게 보일 거예요. 사람이 헷갈릴 지시는 모델도 헷갈려요.

원칙 2: 맥락을 충분히 주기

모델이 모르는 배경을 채워 주는 거예요. 어떤 맥락이 필요한지는 "이 일을 처음 맡은 유능한 신입이 무엇을 물어볼까"를 떠올리면 돼요.

  • 배경: 우리 회사는 어떤 곳이고, 이 일은 왜 하는가
  • 자료: 요약할 문서, 분석할 표, 참고할 이전 글
  • 정의: 우리 팀에서 "활성 사용자"는 무엇을 뜻하는가
  • 기준: 좋은 결과의 예시나 피해야 할 예시

특히 사실 정보는 직접 넣어 주는 게 가장 확실해요. 모델이 학습한 지식은 오래됐거나 틀릴 수 있고, 모르면 그럴듯하게 지어내기도 해요(환각). 최신 정보나 회사 내부 정보가 필요하면 그 내용을 맥락에 넣고 "아래 자료에 근거해서만 답하고, 자료에 없으면 없다고 말해 줘"라고 하세요. 이 아이디어를 자동화한 것이 다섯째 강의의 RAG예요.

원칙 3: 예시 몇 개로 기준 맞추기

말로 설명하기 어려운 기준은 예시로 보여 주는 게 빨라요. 예시를 몇 개 보여 주는 것을 퓨샷(few-shot) 프롬프트라고 해요.

고객 문의를 '환불', '배송', '사용법', '기타' 중 하나로 분류해 줘.

문의: 어제 주문한 게 아직 출발도 안 했대요 → 배송 문의: 사이즈가 안 맞는데 돈 돌려받을 수 있나요? → 환불 문의: 앱에서 쿠폰 넣는 곳이 어디예요? → 사용법

문의: 포장이 뜯겨서 왔는데 바꿔 주시나요? →

예시는 모델에게 형식(화살표 뒤에 한 단어)과 경계(교환 요청은 어디로 갈까?)를 동시에 알려 줘요. 요령이 있어요.

  • 예시는 실제로 헷갈리는 경우를 골라요. 쉬운 예시만 보여 주면 어려운 경우의 기준을 알 수 없어요.
  • 예시끼리 형식을 똑같이 맞춰요. 모델은 형식을 아주 충실히 따라 해요.
  • 예시가 한쪽으로 치우치면(모두 '배송') 답도 그쪽으로 쏠릴 수 있어요.

원칙 4: 복잡한 일은 나누고, 생각할 자리를 주기

여러 단계가 얽힌 일을 한 번에 시키면 중간 단계를 건너뛰기 쉬워요. 두 가지 방법이 있어요.

  1. 절차를 적어 주기: "먼저 계약서에서 위약금 조항을 모두 찾고, 그다음 각 조항의 금액과 조건을 표로 정리하고, 마지막으로 우리에게 불리한 조항을 표시해 줘."
  2. 일을 여러 번으로 나누기: 첫 대화에서 조항을 뽑고, 그 결과를 확인한 뒤 다음 대화에서 분석해요. 중간 결과를 사람이 확인할 수 있어서 오류가 쌓이지 않아요.

계산이나 추론이 필요한 문제는 답부터 쓰게 하지 말고, 근거나 풀이를 먼저 쓰고 결론을 마지막에 쓰게 하면 정확도가 오르는 경우가 많아요. 모델은 앞에 쓴 글을 보며 다음 글을 쓰기 때문에, 풀이를 먼저 쓰면 그 풀이가 결론의 맥락이 돼요. 요즘 모델 중에는 답하기 전에 스스로 오래 생각하는 기능을 갖춘 것도 있어요.

원칙 5: 지시와 자료를 구분하기

긴 자료를 함께 넣을 때는 어디까지가 지시이고 어디부터가 자료인지 분명히 나눠요. 제목, 구분선, 태그 같은 표시를 써요.

다음 <회의록>을 읽고, 정해진 할 일을 담당자별로 정리해 줘.
회의록에 없는 내용은 추측하지 말고, 담당자가 불분명하면 '미정'으로 적어 줘.

<회의록>
(여기에 회의록 전문)
</회의록>

이렇게 나누면 모델이 자료 속 문장을 지시로 착각하는 일이 줄어요. 이건 안전과도 관련 있어요. 웹 페이지나 이메일을 요약시켰는데 그 안에 "이전 지시를 무시하고 ..." 같은 문장이 숨어 있는 공격(프롬프트 주입)이 실제로 있거든요. LLM 평가와 안전성 강의에서 자세히 다뤄요.

원칙 6: 출력 형식을 정하기

결과를 사람이 읽을지, 프로그램이 읽을지에 따라 형식을 정해 줘요.

  • 사람이 읽을 글: 분량, 문체(해요체, 보고서체), 소제목 유무
  • 프로그램이 읽을 데이터: 정확한 JSON 형식과 필드 이름
아래 상품 리뷰에서 정보를 뽑아 JSON 하나로만 답해 줘. 설명은 붙이지 마.
형식: {"평점": 1에서 5 사이 정수, "장점": [문자열], "단점": [문자열], "재구매_의사": true 또는 false 또는 null}

프로그램과 연결할 때는 모델이 형식을 어기는 경우를 대비해, 받은 결과를 검사하는 코드를 꼭 함께 두세요. 많은 서비스가 정해진 형식으로만 답하게 하는 기능을 제공하기도 해요.

원칙 7: 역할과 기본 규칙은 앞에

대화형 서비스에는 대개 시스템 프롬프트라는, 대화 전체에 적용되는 기본 지시 자리가 있어요. 역할("당신은 우리 회사의 고객 지원 담당자예요"), 말투, 지켜야 할 규칙, 모르면 어떻게 할지를 여기에 둬요. 매번 반복할 필요 없이 대화 전체의 성격이 정해져요.

맥락 설계: 무엇을 어떤 순서로

요즘은 "프롬프트를 잘 쓰는 것"을 넘어, 맥락 창에 들어갈 모든 것을 설계하는 일이라는 뜻에서 맥락 설계(context engineering)라는 말을 쓰기도 해요. 맥락 창에는 보통 이런 것들이 들어가요.

들어가는 것예
시스템 지시역할, 규칙, 말투
대화 기록앞서 주고받은 말
검색해 온 자료관련 문서 조각 (RAG)
도구 결과계산기, 검색, 데이터베이스 결과 (에이전트)
이번 질문사용자의 요청

맥락 창이 커져도 많이 넣는다고 좋은 건 아니에요. 관련 없는 내용이 많으면 중요한 내용이 묻혀요. 긴 맥락의 가운데에 있는 정보를 앞이나 끝에 있는 정보보다 덜 활용하는 경향이 있다는 연구(2023년, "Lost in the Middle")도 있어요. 그래서 이런 습관이 도움이 돼요.

  • 꼭 필요한 자료만 골라 넣기
  • 긴 자료는 앞에, 구체적인 질문과 지시는 끝에 두기
  • 오래된 대화는 요약해서 넣기

프롬프트도 시험하고 고친다

프롬프트는 한 번 쓰고 끝나는 게 아니라, 예시 입력 몇 개로 시험하고 고치는 과정이에요. 머신러닝 트랙의 평가 강의와 같은 정신이에요.

  1. 실제로 들어올 법한 입력을 10개쯤 모아요. 쉬운 것과 까다로운 것을 섞어서요.
  2. 프롬프트를 돌려 결과를 보고, 틀린 패턴을 찾아요.
  3. 그 패턴을 막는 지시나 예시를 추가해요.
  4. 고친 뒤 전부 다시 돌려 봐요. 하나를 고치다 다른 걸 망가뜨리는 일이 흔해요.

중요한 업무에 쓰는 프롬프트라면 이 시험 묶음을 저장해 두고, 프롬프트나 모델을 바꿀 때마다 다시 돌려 보세요.

자주 쓰는 틀

일틀
요약누가 읽는지, 무엇에 쓸지, 분량, 꼭 넣을 항목, 원문에 없는 내용 금지
번역대상 독자, 용어집(고정 번역어), 말투, 원문 형식 유지 여부
글쓰기목적, 독자, 문체 예시 한두 개, 분량, 피할 표현
코드 작성언어와 버전, 입력과 출력, 예외 상황, 기존 코드 스타일, 테스트 예시
데이터 추출정확한 출력 형식, 값이 없을 때의 처리, 애매할 때의 규칙

실습

  1. 최근 AI에게 시킨 일 하나를 골라, 위의 다섯 요소(목표, 대상, 내용, 형식, 제약)로 다시 써 보세요. 결과가 어떻게 달라지나요?
  2. 고객 문의 분류 예시에서 "교환" 요청을 어디로 보낼지 정하고, 그 기준을 보여 주는 예시를 하나 추가해 보세요.
  3. 리뷰 10개를 모아 JSON 추출 프롬프트를 돌리고, 형식을 어긴 경우가 몇 번인지 세어 보세요. 어떻게 고치면 줄어드나요?
  4. 같은 질문을 온도를 바꿔(가능한 서비스라면) 다섯 번씩 물어보고, 답이 얼마나 달라지는지 비교해 보세요.

자주 하는 실수

  • 모델이 내 사정을 안다고 가정하기. 맥락에 없으면 모델은 몰라요.
  • 사실 확인 없이 숫자와 인용을 그대로 쓰기. 모델은 모르면 그럴듯하게 지어낼 수 있어요.
  • 한 프롬프트에 모든 걸 몰아넣기. 일을 나누면 더 정확하고 고치기도 쉬워요.
  • 쉬운 예시만 보여 주기. 경계가 애매한 예시가 가장 쓸모 있어요.
  • 한 번 잘 된 프롬프트를 믿기. 여러 입력으로 시험해야 해요.

점검 문제

  1. 대화 앱이 이전 대화를 "기억"하는 것처럼 보이는 이유는?
  2. 사내 정보처럼 모델이 학습하지 않은 사실을 정확하게 다루려면 어떻게 해야 하나요?
  3. 퓨샷 예시를 고를 때 쉬운 예시만 고르면 안 되는 이유는?
  4. 지시와 자료를 태그나 구분선으로 나누면 좋은 이유 두 가지는?
  5. 맥락 창이 아주 크다면, 관련 문서를 모두 넣는 게 항상 좋을까요?

정답

  1. 앱이 이전 대화 내용을 이번 맥락에 다시 넣어 주기 때문이에요. 모델 자체가 기억하는 게 아니에요.
  2. 그 정보를 맥락에 직접 넣고, 넣은 자료에 근거해서만 답하게 해요. 이를 자동화한 것이 RAG예요.
  3. 쉬운 예시로는 모델이 헷갈리는 경계의 기준을 알 수 없기 때문이에요.
  4. 모델이 지시와 자료를 혼동하지 않게 하고, 자료 속에 숨은 지시(프롬프트 주입)에 덜 휘둘리게 해요.
  5. 아니에요. 관련 없는 내용이 많으면 중요한 정보가 묻히고, 긴 맥락의 가운데 정보는 덜 활용되는 경향도 있어요. 필요한 것만 골라 넣는 게 좋아요.

다음 강의

이번 강의에서 "토큰", "맥락 창" 같은 말이 계속 나왔어요. 다음 강의에서는 언어 모델이 글을 어떻게 숫자로 바꾸는지, 토큰으로 자르는 방법을 직접 구현하고, 단어의 뜻을 벡터로 담는 임베딩을 만들어 봐요.