AI에게 일을 잘 시키는 법: 프롬프트와 맥락 설계
언어 모델은 내 머릿속을 모르고, 창에 들어온 글만 보고 다음 말을 이어 가요. 이 원리에서 출발해 목표·대상·형식·제약을 갖춘 지시, 예시 몇 개로 기준 맞추기, 단계 나누기, 지시와 자료 구분하기, 출력 형식 정하기를 전후 비교로 익히고, 맥락 창에 무엇을 어떤 순서로 넣을지 설계하는 법과 프롬프트를 시험하며 고치는 습관까지 다뤄요.
같은 AI에게 같은 일을 시켜도 어떤 사람은 바로 쓸 만한 결과를 받고, 어떤 사람은 "AI는 아직 멀었네"라고 말해요. 차이는 대부분 일을 시키는 방식에서 나와요. 이번 강의는 이 트랙의 입문 강의라서 코드 없이, 지금 바로 써먹을 수 있는 원칙부터 익혀요. 뒤의 강의에서 그 원리를 하나씩 뜯어봐요.
먼저 원리: 모델은 무엇을 보고 답하나
대형 언어 모델은 지금 입력된 글(맥락)을 보고, 그다음에 올 말을 한 토큰씩 이어 쓰는 기계예요. 딥러닝 트랙의 마지막 강의에서 본 "다음 단어 맞히기"를 엄청난 양의 글로 학습한 결과죠. 여기서 실용적인 결론 세 가지가 나와요.
- 모델은 내 머릿속을 몰라요. 내가 어떤 회사에 다니는지, 이 글을 누가 읽을지, 지난주 회의에서 뭘 정했는지는 맥락에 적어 주지 않으면 알 길이 없어요.
- 맥락 밖의 기억은 없어요. 대화 앱이 이전 대화를 기억하는 것처럼 보이는 건, 앱이 이전 대화를 맥락에 다시 넣어 주기 때문이에요. 넣을 수 있는 양(맥락 창)에는 한계가 있어요.
- 답은 확률적이에요. 같은 질문에도 답이 조금씩 달라질 수 있어요. 정보 이론 강의의 온도가 높을수록 더 다양해져요. 정확해야 하는 일은 온도를 낮게, 아이디어 내기는 높게 써요.
그러니 프롬프트를 쓴다는 건, 똑똑하지만 우리 사정은 전혀 모르는 새 동료에게 업무 지시서를 쓰는 일이라고 생각하면 돼요.
원칙 1: 구체적으로, 목표와 대상과 형식을
흐릿한 지시는 흐릿한 결과를 낳아요.
전: 이 보고서 요약해 줘.
후: 아래 분기 보고서를 임원 회의용으로 요약해 줘. 읽는 사람은 숫자에 익숙한 임원이고, 3분 안에 읽어야 해. 매출, 비용, 다음 분기 위험 요인 세 가지를 꼭 넣고, 각 항목은 두 문장 이내로. 마지막에 결정이 필요한 사항이 있으면 따로 한 줄로 적어 줘.
좋은 지시서에는 대개 이런 요소가 있어요.
| 요소 | 질문 | 예 |
|---|---|---|
| 목표 | 이 결과로 무엇을 하려는가 | 임원 회의에서 결정을 내리려고 |
| 대상 | 누가 읽는가 | 숫자에 익숙한 임원, 3분 |
| 내용 | 꼭 들어갈 것은 | 매출, 비용, 위험 요인 3가지 |
| 형식 | 어떤 모양으로 | 항목별 두 문장, 결정 사항 한 줄 |
| 제약 | 하지 말 것은 | 보고서에 없는 숫자를 만들어 넣지 말 것 |
이 표를 보면 사람에게 일을 맡길 때와 똑같다는 게 보일 거예요. 사람이 헷갈릴 지시는 모델도 헷갈려요.
원칙 2: 맥락을 충분히 주기
모델이 모르는 배경을 채워 주는 거예요. 어떤 맥락이 필요한지는 "이 일을 처음 맡은 유능한 신입이 무엇을 물어볼까"를 떠올리면 돼요.
- 배경: 우리 회사는 어떤 곳이고, 이 일은 왜 하는가
- 자료: 요약할 문서, 분석할 표, 참고할 이전 글
- 정의: 우리 팀에서 "활성 사용자"는 무엇을 뜻하는가
- 기준: 좋은 결과의 예시나 피해야 할 예시
특히 사실 정보는 직접 넣어 주는 게 가장 확실해요. 모델이 학습한 지식은 오래됐거나 틀릴 수 있고, 모르면 그럴듯하게 지어내기도 해요(환각). 최신 정보나 회사 내부 정보가 필요하면 그 내용을 맥락에 넣고 "아래 자료에 근거해서만 답하고, 자료에 없으면 없다고 말해 줘"라고 하세요. 이 아이디어를 자동화한 것이 다섯째 강의의 RAG예요.
원칙 3: 예시 몇 개로 기준 맞추기
말로 설명하기 어려운 기준은 예시로 보여 주는 게 빨라요. 예시를 몇 개 보여 주는 것을 퓨샷(few-shot) 프롬프트라고 해요.
고객 문의를 '환불', '배송', '사용법', '기타' 중 하나로 분류해 줘.
문의: 어제 주문한 게 아직 출발도 안 했대요 → 배송 문의: 사이즈가 안 맞는데 돈 돌려받을 수 있나요? → 환불 문의: 앱에서 쿠폰 넣는 곳이 어디예요? → 사용법
문의: 포장이 뜯겨서 왔는데 바꿔 주시나요? →
예시는 모델에게 형식(화살표 뒤에 한 단어)과 경계(교환 요청은 어디로 갈까?)를 동시에 알려 줘요. 요령이 있어요.
- 예시는 실제로 헷갈리는 경우를 골라요. 쉬운 예시만 보여 주면 어려운 경우의 기준을 알 수 없어요.
- 예시끼리 형식을 똑같이 맞춰요. 모델은 형식을 아주 충실히 따라 해요.
- 예시가 한쪽으로 치우치면(모두 '배송') 답도 그쪽으로 쏠릴 수 있어요.
원칙 4: 복잡한 일은 나누고, 생각할 자리를 주기
여러 단계가 얽힌 일을 한 번에 시키면 중간 단계를 건너뛰기 쉬워요. 두 가지 방법이 있어요.
- 절차를 적어 주기: "먼저 계약서에서 위약금 조항을 모두 찾고, 그다음 각 조항의 금액과 조건을 표로 정리하고, 마지막으로 우리에게 불리한 조항을 표시해 줘."
- 일을 여러 번으로 나누기: 첫 대화에서 조항을 뽑고, 그 결과를 확인한 뒤 다음 대화에서 분석해요. 중간 결과를 사람이 확인할 수 있어서 오류가 쌓이지 않아요.
계산이나 추론이 필요한 문제는 답부터 쓰게 하지 말고, 근거나 풀이를 먼저 쓰고 결론을 마지막에 쓰게 하면 정확도가 오르는 경우가 많아요. 모델은 앞에 쓴 글을 보며 다음 글을 쓰기 때문에, 풀이를 먼저 쓰면 그 풀이가 결론의 맥락이 돼요. 요즘 모델 중에는 답하기 전에 스스로 오래 생각하는 기능을 갖춘 것도 있어요.
원칙 5: 지시와 자료를 구분하기
긴 자료를 함께 넣을 때는 어디까지가 지시이고 어디부터가 자료인지 분명히 나눠요. 제목, 구분선, 태그 같은 표시를 써요.
다음 <회의록>을 읽고, 정해진 할 일을 담당자별로 정리해 줘.
회의록에 없는 내용은 추측하지 말고, 담당자가 불분명하면 '미정'으로 적어 줘.
<회의록>
(여기에 회의록 전문)
</회의록>
이렇게 나누면 모델이 자료 속 문장을 지시로 착각하는 일이 줄어요. 이건 안전과도 관련 있어요. 웹 페이지나 이메일을 요약시켰는데 그 안에 "이전 지시를 무시하고 ..." 같은 문장이 숨어 있는 공격(프롬프트 주입)이 실제로 있거든요. LLM 평가와 안전성 강의에서 자세히 다뤄요.
원칙 6: 출력 형식을 정하기
결과를 사람이 읽을지, 프로그램이 읽을지에 따라 형식을 정해 줘요.
- 사람이 읽을 글: 분량, 문체(해요체, 보고서체), 소제목 유무
- 프로그램이 읽을 데이터: 정확한 JSON 형식과 필드 이름
아래 상품 리뷰에서 정보를 뽑아 JSON 하나로만 답해 줘. 설명은 붙이지 마.
형식: {"평점": 1에서 5 사이 정수, "장점": [문자열], "단점": [문자열], "재구매_의사": true 또는 false 또는 null}
프로그램과 연결할 때는 모델이 형식을 어기는 경우를 대비해, 받은 결과를 검사하는 코드를 꼭 함께 두세요. 많은 서비스가 정해진 형식으로만 답하게 하는 기능을 제공하기도 해요.
원칙 7: 역할과 기본 규칙은 앞에
대화형 서비스에는 대개 시스템 프롬프트라는, 대화 전체에 적용되는 기본 지시 자리가 있어요. 역할("당신은 우리 회사의 고객 지원 담당자예요"), 말투, 지켜야 할 규칙, 모르면 어떻게 할지를 여기에 둬요. 매번 반복할 필요 없이 대화 전체의 성격이 정해져요.
맥락 설계: 무엇을 어떤 순서로
요즘은 "프롬프트를 잘 쓰는 것"을 넘어, 맥락 창에 들어갈 모든 것을 설계하는 일이라는 뜻에서 맥락 설계(context engineering)라는 말을 쓰기도 해요. 맥락 창에는 보통 이런 것들이 들어가요.
| 들어가는 것 | 예 |
|---|---|
| 시스템 지시 | 역할, 규칙, 말투 |
| 대화 기록 | 앞서 주고받은 말 |
| 검색해 온 자료 | 관련 문서 조각 (RAG) |
| 도구 결과 | 계산기, 검색, 데이터베이스 결과 (에이전트) |
| 이번 질문 | 사용자의 요청 |
맥락 창이 커져도 많이 넣는다고 좋은 건 아니에요. 관련 없는 내용이 많으면 중요한 내용이 묻혀요. 긴 맥락의 가운데에 있는 정보를 앞이나 끝에 있는 정보보다 덜 활용하는 경향이 있다는 연구(2023년, "Lost in the Middle")도 있어요. 그래서 이런 습관이 도움이 돼요.
- 꼭 필요한 자료만 골라 넣기
- 긴 자료는 앞에, 구체적인 질문과 지시는 끝에 두기
- 오래된 대화는 요약해서 넣기
프롬프트도 시험하고 고친다
프롬프트는 한 번 쓰고 끝나는 게 아니라, 예시 입력 몇 개로 시험하고 고치는 과정이에요. 머신러닝 트랙의 평가 강의와 같은 정신이에요.
- 실제로 들어올 법한 입력을 10개쯤 모아요. 쉬운 것과 까다로운 것을 섞어서요.
- 프롬프트를 돌려 결과를 보고, 틀린 패턴을 찾아요.
- 그 패턴을 막는 지시나 예시를 추가해요.
- 고친 뒤 전부 다시 돌려 봐요. 하나를 고치다 다른 걸 망가뜨리는 일이 흔해요.
중요한 업무에 쓰는 프롬프트라면 이 시험 묶음을 저장해 두고, 프롬프트나 모델을 바꿀 때마다 다시 돌려 보세요.
자주 쓰는 틀
| 일 | 틀 |
|---|---|
| 요약 | 누가 읽는지, 무엇에 쓸지, 분량, 꼭 넣을 항목, 원문에 없는 내용 금지 |
| 번역 | 대상 독자, 용어집(고정 번역어), 말투, 원문 형식 유지 여부 |
| 글쓰기 | 목적, 독자, 문체 예시 한두 개, 분량, 피할 표현 |
| 코드 작성 | 언어와 버전, 입력과 출력, 예외 상황, 기존 코드 스타일, 테스트 예시 |
| 데이터 추출 | 정확한 출력 형식, 값이 없을 때의 처리, 애매할 때의 규칙 |
실습
- 최근 AI에게 시킨 일 하나를 골라, 위의 다섯 요소(목표, 대상, 내용, 형식, 제약)로 다시 써 보세요. 결과가 어떻게 달라지나요?
- 고객 문의 분류 예시에서 "교환" 요청을 어디로 보낼지 정하고, 그 기준을 보여 주는 예시를 하나 추가해 보세요.
- 리뷰 10개를 모아 JSON 추출 프롬프트를 돌리고, 형식을 어긴 경우가 몇 번인지 세어 보세요. 어떻게 고치면 줄어드나요?
- 같은 질문을 온도를 바꿔(가능한 서비스라면) 다섯 번씩 물어보고, 답이 얼마나 달라지는지 비교해 보세요.
자주 하는 실수
- 모델이 내 사정을 안다고 가정하기. 맥락에 없으면 모델은 몰라요.
- 사실 확인 없이 숫자와 인용을 그대로 쓰기. 모델은 모르면 그럴듯하게 지어낼 수 있어요.
- 한 프롬프트에 모든 걸 몰아넣기. 일을 나누면 더 정확하고 고치기도 쉬워요.
- 쉬운 예시만 보여 주기. 경계가 애매한 예시가 가장 쓸모 있어요.
- 한 번 잘 된 프롬프트를 믿기. 여러 입력으로 시험해야 해요.
점검 문제
- 대화 앱이 이전 대화를 "기억"하는 것처럼 보이는 이유는?
- 사내 정보처럼 모델이 학습하지 않은 사실을 정확하게 다루려면 어떻게 해야 하나요?
- 퓨샷 예시를 고를 때 쉬운 예시만 고르면 안 되는 이유는?
- 지시와 자료를 태그나 구분선으로 나누면 좋은 이유 두 가지는?
- 맥락 창이 아주 크다면, 관련 문서를 모두 넣는 게 항상 좋을까요?
정답
- 앱이 이전 대화 내용을 이번 맥락에 다시 넣어 주기 때문이에요. 모델 자체가 기억하는 게 아니에요.
- 그 정보를 맥락에 직접 넣고, 넣은 자료에 근거해서만 답하게 해요. 이를 자동화한 것이 RAG예요.
- 쉬운 예시로는 모델이 헷갈리는 경계의 기준을 알 수 없기 때문이에요.
- 모델이 지시와 자료를 혼동하지 않게 하고, 자료 속에 숨은 지시(프롬프트 주입)에 덜 휘둘리게 해요.
- 아니에요. 관련 없는 내용이 많으면 중요한 정보가 묻히고, 긴 맥락의 가운데 정보는 덜 활용되는 경향도 있어요. 필요한 것만 골라 넣는 게 좋아요.
다음 강의
이번 강의에서 "토큰", "맥락 창" 같은 말이 계속 나왔어요. 다음 강의에서는 언어 모델이 글을 어떻게 숫자로 바꾸는지, 토큰으로 자르는 방법을 직접 구현하고, 단어의 뜻을 벡터로 담는 임베딩을 만들어 봐요.