CoT 노출 없이 추론 정확도 올리는 실전 패턴

import OpenAI from "openai";

const client = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

const schema = {
  name: "answer_schema",
  schema: {
    type: "object",
    additionalProperties: false,
    properties: {
      answer: { type: "string" },
      confidence: { type: "number", minimum: 0, maximum: 1 },
      evidence: {
        type: "array",
        items: {
          type: "object",
          additionalProperties: false,
          properties: {
            type: { type: "string", enum: ["quote", "calc", "rule", "link"] },
            detail: { type: "string" }
          },
          required: ["type", "detail"]
        }
      },
      next_questions: { type: "array", items: { type: "string" } }
    },
    required: ["answer", "confidence", "evidence"]
  }
} as const;

const resp = await client.responses.create({
  model: "gpt-4.1-mini",
  input: [
    {
      role: "system",
      content: [
        {
          type: "text",
          text:
            "너는 정확한 기술 어시스턴트다. 내부 추론 과정은 절대 출력하지 말고, 결과와 검증 가능한 근거만 JSON 스키마에 맞춰 출력하라."
        }
      ]
    },
    {
      role: "user",
      content: [{ type: "text", text: "Redis 캐시가 간헐적으로 stale 되는 원인 3가지를 알려줘" }]
    }
  ],
  text: {
    format: {
      type: "json_schema",
      ...schema
    }
  }
});

console.log(resp.output_text);

from openai import OpenAI

client = OpenAI()

def draft_reasoning(question: str) -> str:
    r = client.responses.create(
        model="gpt-4.1-mini",
        input=[
            {"role": "system", "content": "문제를 철저히 분석하고 해결 전략을 만든다. 출력은 초안이며 사용자에게 노출되지 않는다."},
            {"role": "user", "content": question},
        ],
    )
    return r.output_text

def final_answer(question: str, draft: str) -> str:
    r = client.responses.create(
        model="gpt-4.1-mini",
        input=[
            {
                "role": "system",
                "content": "초안을 참고하되, 내부 추론은 절대 노출하지 말고 핵심 답과 근거만 간결히 출력하라."
            },
            {"role": "user", "content": f"질문: {question}\n\n초안(내부용): {draft}\n\n최종 답변을 작성해줘."},
        ],
    )
    return r.output_text

q = "RAG에서 검색은 잘 되는데 답이 자꾸 틀리는 이유와 개선책은?"
d = draft_reasoning(q)
print(final_answer(q, d))

type Verdict = {
  ok: boolean;
  issues: string[];
  fix_instructions: string;
};

async function verify(answer: string, question: string): Promise<Verdict> {
  const r = await client.responses.create({
    model: "gpt-4.1-mini",
    input: [
      {
        role: "system",
        content:
          "너는 엄격한 검증자다. 답변의 정확성/누락/모순/금지된 CoT 노출 여부를 검사하고 Verdict JSON만 출력하라."
      },
      { role: "user", content: `질문: ${question}\n답변: ${answer}` }
    ],
    text: {
      format: {
        type: "json_schema",
        name: "verdict",
        schema: {
          type: "object",
          additionalProperties: false,
          properties: {
            ok: { type: "boolean" },
            issues: { type: "array", items: { type: "string" } },
            fix_instructions: { type: "string" }
          },
          required: ["ok", "issues", "fix_instructions"]
        }
      }
    }
  });

  return JSON.parse(r.output_text) as Verdict;
}

# 의사코드: 검색 결과 chunks를 넣고, 인용만 근거로 허용
system = """
너는 문서 기반 Q&A다.
- 답변은 제공된 컨텍스트에서만 작성
- 근거는 인용(quote)로만 제시
- 내부 추론은 출력하지 말 것
"""

user = "배포 롤백 기준을 3가지로 정리해줘"
context = """
[doc1] ...
[doc2] ...
"""

resp = client.responses.create(
  model="gpt-4.1-mini",
  input=[
    {"role":"system","content":system},
    {"role":"user","content":f"컨텍스트:\n{context}\n\n질문:{user}"}
  ],
)
print(resp.output_text)

function route(question: string) {
  const len = question.length;
  const hasNumbers = /\d/.test(question);
  const hasPolicy = /(규정|정책|컴플라이언스|PII|개인정보)/.test(question);

  if (hasPolicy) return "hard";
  if (hasNumbers && len > 80) return "medium";
  if (len > 200) return "medium";
  return "easy";
}