Prompt工程调优实录：从42%到89%准确率的RAG问答系统优化

P1: 基础指令型 - 直接问“根据以下内容回答问题”
P2: 角色设定型 - 设定为“资深技术客服专家”
P3: 上下文限定型 - 明确“只能使用给定内容，禁止使用外部知识”
P4: 格式约束型 - 要求“先给出结论，再给出依据，最后列出引用来源”
P5: 结构化推理型 - 分步骤：“1.理解问题 2.提取关键信息 3.匹配上下文 4.生成答案”
P6: 负面提示型 - 增加“如果上下文不包含答案，直接说不知道”
P7: 综合优化型 - 融合P3、P4、P5、P6，并加入评分机制

# prompt_template.py
from dataclasses import dataclass

@dataclass
class PromptTemplate:
    name: str
    system_prompt: str
    user_prompt_template: str

    def format(self, context: str, question: str) -> str:
        return self.user_prompt_template.format(context=context, question=question)

# P7 综合优化型
P7 = PromptTemplate(
    name="P7_综合优化型",
    system_prompt="你是一个严谨的技术文档问答助手。你的回答必须严格基于给定的上下文内容，禁止使用任何外部知识或猜测。",
    user_prompt_template="""
请按照以下步骤回答用户问题：

【步骤1】理解问题：用一句话复述用户问题的核心诉求。
【步骤2】信息提取：从上下文中找出与问题直接相关的关键信息点，列出1-3条。
【步骤3】生成答案：基于提取的信息，生成完整回答。要求：
- 先给出直接结论（一句话）
- 再补充具体操作步骤或参数细节
- 如果上下文未包含足够信息，明确回答“根据现有资料无法回答此问题”，不要编造

【上下文开始】
{context}
【上下文结束】

【用户问题】
{question}

请严格按照上述步骤格式输出。
"""
)

# batch_test_runner.py
import asyncio
from openai import AsyncOpenAI
import tiktoken

class PromptTester:
    def __init__(self, api_key: str, model: str = "gpt-4o-mini"):
        self.client = AsyncOpenAI(api_key=api_key)
        self.model = model
        self.encoder = tiktoken.encoding_for_model("gpt-4o-mini")

    async def run_single(self, system_prompt: str, user_prompt: str) -> tuple[str, int]:
        """返回(回答文本, 消耗tokens)"""
        messages = [
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_prompt}
        ]

        response = await self.client.chat.completions.create(
            model=self.model,
            messages=messages,
            temperature=0,
            max_tokens=512
        )

        total_tokens = response.usage.total_tokens
        answer = response.choices[0].message.content
        return answer, total_tokens

    async def batch_test(self, template: PromptTemplate, test_cases: list[dict]) -> dict:
        """test_cases: [{"question": str, "context": str, "expected": str}]"""
        results = []
        total_tokens = 0

        for case in test_cases:
            user_prompt = template.format(case["context"], case["question"])
            answer, tokens = await self.run_single(template.system_prompt, user_prompt)
            total_tokens += tokens
            results.append({
                "question": case["question"],
                "answer": answer,
                "expected": case["expected"],
                "tokens": tokens
            })

        return {
            "template_name": template.name,
            "results": results,
            "total_tokens": total_tokens,
            "avg_tokens": total_tokens / len(test_cases)
        }