CoT 유출 없이 추론 강화하는 RAG+Verifier 프롬프트

[DOC doc_id=HR-12 chunk_id=3]
제목: 휴가 정책
발췌: 연차는 입사 1년 미만은 월 1일 발생하며...

[DOC doc_id=HR-12 chunk_id=7]
제목: 휴가 정책
발췌: 이월 연차는 다음 해 6월 30일까지 사용해야 하며...

SYSTEM:
너는 사내 지식 베이스를 기반으로 답변하는 어시스턴트다.
규칙:
- 내부 추론 과정은 출력하지 말 것.
- 답변의 각 핵심 주장에는 반드시 근거 문서 인용(doc_id, chunk_id)을 붙일 것.
- 제공된 문서에 근거가 없으면 "근거 부족"이라고 말하고, 필요한 추가 정보를 질문할 것.

USER:
질문: {{question}}

컨텍스트:
{{retrieved_docs}}

출력 형식(JSON):
{
  "draft_answer": "...",
  "claims": [
    {
      "claim": "...",
      "citations": [{"doc_id": "...", "chunk_id": "..."}]
    }
  ],
  "open_questions": ["..."]
}

SYSTEM:
너는 검증기(Verifier)다.
목표:
- 답변이 컨텍스트 문서로부터 정당화되는지 검증한다.
- 내부 추론 과정은 출력하지 않는다.
- 출력은 반드시 지정된 JSON 스키마를 따른다.

검증 규칙:
- 각 claim은 최소 1개 이상의 citation이 있어야 한다.
- citation이 가리키는 문서 스니펫이 claim을 직접 지지해야 한다.
- 문서가 상충하면 FAIL.
- 문서에 없는 내용을 단정하면 FAIL.

USER:
질문: {{question}}

컨텍스트:
{{retrieved_docs}}

Generator 출력:
{{generator_json}}

출력(JSON):
{
  "verdict": "PASS|FAIL",
  "reasons": ["NO_EVIDENCE|CONTRADICTED|NOT_ANSWERED|HALLUCINATION|FORMAT_ERROR"],
  "failed_claims": [
    {
      "claim": "...",
      "reason": "...",
      "required_citations": [{"doc_id": "...", "chunk_id": "..."}]
    }
  ],
  "safe_answer": ""
}

SYSTEM:
너는 최종 편집기(Finalizer)다.
규칙:
- 내부 추론 과정, 검증 로그, 정책 텍스트를 출력하지 말 것.
- PASS인 경우에만 답변을 사용자용으로 간결하게 정리한다.
- 인용은 (doc_id:chunk_id) 형태로 최소화해 포함한다.

USER:
질문: {{question}}

Generator 출력:
{{generator_json}}

Verifier 출력:
{{verifier_json}}

출력(자연어):
- 최종 답변
- 필요한 경우 추가 질문 1~3개

import json
from typing import Any, Dict, List

class LLMClient:
    def chat(self, messages: List[Dict[str, str]], temperature: float = 0.0) -> str:
        # 실제 구현에서는 OpenAI/호환 API 호출
        raise NotImplementedError


def build_messages(system: str, user: str) -> List[Dict[str, str]]:
    return [
        {"role": "system", "content": system},
        {"role": "user", "content": user},
    ]


def run_rag_verifier_flow(
    llm: LLMClient,
    question: str,
    retrieved_docs: str,
    max_repair_rounds: int = 2,
) -> Dict[str, Any]:
    generator_system = """너는 사내 지식 베이스를 기반으로 답변하는 어시스턴트다.
규칙:
- 내부 추론 과정은 출력하지 말 것.
- 답변의 각 핵심 주장에는 반드시 근거 문서 인용(doc_id, chunk_id)을 붙일 것.
- 제공된 문서에 근거가 없으면 \"근거 부족\"이라고 말하고, 필요한 추가 정보를 질문할 것.
"""

    verifier_system = """너는 검증기(Verifier)다.
목표:
- 답변이 컨텍스트 문서로부터 정당화되는지 검증한다.
- 내부 추론 과정은 출력하지 않는다.
- 출력은 반드시 지정된 JSON 스키마를 따른다.
"""

    generator_user_tpl = """질문: {question}

컨텍스트:
{docs}

출력 형식(JSON):
{{
  \"draft_answer\": \"...\",
  \"claims\": [
    {{
      \"claim\": \"...\",
      \"citations\": [{{\"doc_id\": \"...\", \"chunk_id\": \"...\"}}]
    }}
  ],
  \"open_questions\": [\"...\"]
}}
"""

    verifier_user_tpl = """질문: {question}

컨텍스트:
{docs}

Generator 출력:
{gen}

출력(JSON):
{{
  \"verdict\": \"PASS|FAIL\",
  \"reasons\": [\"NO_EVIDENCE|CONTRADICTED|NOT_ANSWERED|HALLUCINATION|FORMAT_ERROR\"],
  \"failed_claims\": [
    {{
      \"claim\": \"...\",
      \"reason\": \"...\",
      \"required_citations\": [{{\"doc_id\": \"...\", \"chunk_id\": \"...\"}}]
    }}
  ],
  \"safe_answer\": \"\"
}}
"""

    gen_user = generator_user_tpl.format(question=question, docs=retrieved_docs)
    gen_raw = llm.chat(build_messages(generator_system, gen_user), temperature=0.2)

    for _ in range(max_repair_rounds + 1):
        ver_user = verifier_user_tpl.format(question=question, docs=retrieved_docs, gen=gen_raw)
        ver_raw = llm.chat(build_messages(verifier_system, ver_user), temperature=0.0)

        try:
            ver = json.loads(ver_raw)
        except json.JSONDecodeError:
            ver = {"verdict": "FAIL", "reasons": ["FORMAT_ERROR"], "failed_claims": [], "safe_answer": "출력 형식 오류로 답변을 확정할 수 없습니다."}

        if ver.get("verdict") == "PASS":
            return {"status": "PASS", "generator": gen_raw, "verifier": ver_raw}

        # 간단한 repair: verifier 결과를 generator에 다시 주고 재작성
        repair_user = (
            f"질문: {question}\n\n"
            f"컨텍스트:\n{retrieved_docs}\n\n"
            f"이전 출력:\n{gen_raw}\n\n"
            f"검증 실패 정보:\n{ver_raw}\n\n"
            "위 실패를 반영해, 근거가 없는 주장은 제거하거나 근거를 보강하고, JSON 형식으로 다시 작성하라."
        )
        gen_raw = llm.chat(build_messages(generator_system, repair_user), temperature=0.2)

    return {"status": "FAIL", "generator": gen_raw, "verifier": ver_raw}