一、问题背景

上个月接了个活儿:把一批非结构化的产品需求文档(PRD)转成结构化 JSON,字段包括 product_name、target_user、core_features(数组)、deadline、priority。文档长度平均 700~900 字,中文为主,格式很乱——有的用 markdown 列表,有的就是大白话段落。

一开始我图省事,直接丢一句「请提取以下信息并输出 JSON」就完事了。跑了两百条,人工抽查 50 条,字段准确率只有 71%,最要命的是有 18% 的输出压根不是合法 JSON——模型会在前面加「好的,以下是提取结果:」,或者用 markdown 代码块包起来,甚至把 core_features 输出成一个字符串而不是数组。下游 json.loads() 直接炸。

于是决定认真做一轮 Prompt 对比实验,搞清楚三件事:

  1. 不同 Prompt 结构对输出质量的影响到底有多大;
  2. 质量提升要付出多少 token 代价;
  3. 有没有性价比最高的那一版。

二、环境与版本

  • Python 3.11.6
  • openai SDK 1.35.0
  • 模型:gpt-4o-mini,快照 gpt-4o-mini-2024-07-18
  • 参数:temperature=0.2、max_tokens=800、top_p=1.0
  • 评测集:人工标注的 60 条 PRD 样本,字段级 ground truth
  • Token 统计用 tiktoken 0.7.0 交叉校验,同时记录 API 返回的 usage

选 gpt-4o-mini 是因为这个任务量级大(日均几千条),成本敏感。temperature 压到 0.2 是为了让输出稳定,方便复现——这点很重要,做 Prompt 实验时如果 temperature 高,你根本分不清质量波动是 Prompt 的问题还是采样随机性。

三、方案设计

设计了 5 版 Prompt,复杂度递增:

版本 设计要点 预估 token
V1 零样本,一句话指令 ~600
V2 明确字段定义 + 输出格式说明 ~750
V3 V2 + JSON Schema 约束 + 「只输出 JSON」 ~850
V4 V3 + 2 个 few-shot 示例 ~1180
V5 V4 + 字段级校验规则 + 边界情况说明 ~1450

评测指标三个:

  • 字段准确率:5 个字段逐一比对,字符串用完全匹配,数组用集合匹配,全部正确才算该条通过;
  • JSON 解析成功率:json.loads() 能否直接成功,不做任何清洗;
  • 平均 token 消耗:输入 + 输出总和。

四、核心实现

先上评测框架的代码。核心思路是每版 Prompt 跑同一批 60 条样本,收集输出后统一打分。

import json
import time
from openai import OpenAI
import tiktoken

client = OpenAI(api_key="sk-xxx")
enc = tiktoken.encoding_for_model("gpt-4o-mini")

def call_model(system_prompt: str, user_content: str) -> dict:
    resp = client.chat.completions.create(
        model="gpt-4o-mini-2024-07-18",
        temperature=0.2,
        max_tokens=800,
        top_p=1.0,
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_content},
        ],
    )
    return {
        "content": resp.choices[0].message.content,
        "prompt_tokens": resp.usage.prompt_tokens,
        "completion_tokens": resp.usage.completion_tokens,
        "total_tokens": resp.usage.total_tokens,
    }

def safe_parse(text: str):
    """不做任何清洗,直接尝试解析,用来衡量解析成功率"""
    try:
        return json.loads(text), True
    except json.JSONDecodeError:
        return None, False

def evaluate(prompt_version: str, system_prompt: str, samples: list) -> dict:
    total_tokens = 0
    parse_ok = 0
    field_ok = 0
    latencies = []

    for s in samples:
        t0 = time.time()
        r = call_model(system_prompt, s["prd_text"])
        latencies.append(time.time() - t0)
        total_tokens += r["total_tokens"]

        parsed, ok = safe_parse(r["content"])
        if ok:
            parse_ok += 1
            if match_fields(parsed, s["ground_truth"]):
                field_ok += 1

    n = len(samples)
    return {
        "version": prompt_version,
        "avg_tokens": round(total_tokens / n, 1),
        "parse_rate": round(parse_ok / n * 100, 1),
        "field_acc": round(field_ok / n * 100, 1),
        "p50_latency": round(sorted(latencies)[n // 2], 2),
    }

def match_fields(pred: dict, gt: dict) -> bool:
    for k, v in gt.items():
        pv = pred.get(k)
        if isinstance(v, list):
            if not isinstance(pv, list) or set(map(str, pv)) != set(map(str, v)):
                return False
        elif str(pv).strip() != str(v).strip():
            return False
    return True

下面是 V3(JSON Schema 约束版)的 Prompt 主体,也是我最终推荐给大部分场景的基线版本:

SYSTEM_V3 = """你是一个信息抽取引擎。从用户提供的产品需求文档中抽取字段,严格按照以下 JSON Schema 输出,不要输出任何解释、前后缀或 markdown 代码块标记。

Schema:
{
  "type": "object",
  "properties": {
    "product_name": {"type": "string"},
    "target_user": {"type": "string"},
    "core_features": {"type": "array", "items": {"type": "string"}},
    "deadline": {"type": "string", "description": "YYYY-MM-DD, 无法确定填 null"},
    "priority": {"type": "string", "enum": ["P0", "P1", "P2"]}
  },
  "required": ["product_name", "target_user", "core_features", "deadline", "priority"]
}

规则:
1. 输出必须是单个合法 JSON 对象,第一个字符是 {,最后一个字符是 }。
2. 字段缺失或无法从原文推断时,字符串填 null,数组填 [],不要编造。
3. core_features 每个元素不超过 20 字,只保留功能点本身,去掉修饰语。
"""

V4 在此基础上追加了两个 few-shot 示例(一短一长,短的 100 字、长的 750 字),刻意覆盖了「deadline 模糊表述」和「priority 未明确写出」两种边界情况。V5 又加了 6 条校验规则,比如「priority 若原文出现『紧急』『最高优先级』映射为 P0」。

五、踩坑与优化

坑 1:response_format 参数救不了所有问题。 我试过 response_format={"type": "json_object"},确实能把解析成功率拉到 99%,但它要求 prompt 里必须出现 "JSON" 字样,而且对 schema 的字段结构约束很弱——模型照样会把 core_features 输出成逗号分隔的字符串。所以最终我保留了 V3 的 schema 文本约束 + 不用 response_format,两者叠加反而更稳。

坑 2:few-shot 示例的 token 成本被低估。 V4 的两个示例占了约 330 token,是 V3 到 V4 涨幅的大头。但实测下来,这一个示例专门治「deadline 模糊」的错误,让该字段准确率从 78% 跳到 97%。这笔钱花得值。

坑 3:temperature=0.2 下输出仍不完全确定。 同一批样本跑两遍,V1 的字段准确率相差 3 个百分点。所以评测集不能太小,60 条是我试出来的下限,再少噪声就盖过信号了。

坑 4:中文 token 计数别用英文经验估。 一段 800 字中文 PRD,tiktoken 数出来约 520 token,比很多人直觉的「一个字一 token」要少,但比英文同字数多约 1.6 倍。做成本预算时一定要实测。

六、效果数据

60 条样本,每版跑一遍,结果如下:

版本 平均 token JSON 解析率 字段准确率 P50 延迟
V1 612 82.0% 71.0% 1.8s
V2 748 88.3% 79.5% 2.0s
V3 856 96.7% 88.3% 2.1s
V4 1180 100% 96.0% 2.6s
V5 1452 100% 96.7% 3.0s

几个结论:

  1. V3 是拐点。schema 约束让解析率从 88% 跳到 96.7%,token 只多了 108,性价比极高。如果你的下游有重试机制,V3 够用。
  2. V4 是质量天花板的最优解。多花 324 token 换来 7.7 个百分点的准确率和 100% 解析率,按 gpt-4o-mini 输入 $0.15/1M、输出 $0.60/1M 算,60 条样本总成本从 $0.008 涨到 $0.011,几乎可以忽略。
  3. V5 是负收益。加了 272 token 只换来 0.7 个百分点,那 6 条校验规则里有 4 条在 V4 的示例中已经被隐式学会了。写规则前先看看示例覆盖没覆盖,别重复劳动。

最终线上用的是 V4,日均 4000 条,月成本约 $22,字段准确率稳定在 95% 以上(线上样本分布比评测集更杂,略低一点正常)。

七、总结

这轮实验最大的收获不是「哪个 Prompt 最好」,而是建立了量化的判断习惯:每次改 Prompt 都跑一遍固定评测集,看 token 和准确率的边际收益。经验上,Prompt 优化的收益曲线在「结构化约束 + 少量高质量示例」这一步之后迅速变平,继续堆规则和示例的性价比很低。

另外提醒一句:评测集一定要自己标注,网上的通用 benchmark 跟你的业务分布差太远。我这 60 条样本标注花了两个下午,但后面每次调 Prompt 都能十分钟出结论,这钱(时间)花得值。