一、问题背景
上个月接了个活儿:把一批非结构化的产品需求文档(PRD)转成结构化 JSON,字段包括 product_name、target_user、core_features(数组)、deadline、priority。文档长度平均 700~900 字,中文为主,格式很乱——有的用 markdown 列表,有的就是大白话段落。
一开始我图省事,直接丢一句「请提取以下信息并输出 JSON」就完事了。跑了两百条,人工抽查 50 条,字段准确率只有 71%,最要命的是有 18% 的输出压根不是合法 JSON——模型会在前面加「好的,以下是提取结果:」,或者用 markdown 代码块包起来,甚至把 core_features 输出成一个字符串而不是数组。下游 json.loads() 直接炸。
于是决定认真做一轮 Prompt 对比实验,搞清楚三件事:
- 不同 Prompt 结构对输出质量的影响到底有多大;
- 质量提升要付出多少 token 代价;
- 有没有性价比最高的那一版。
二、环境与版本
- Python 3.11.6
- openai SDK 1.35.0
- 模型:
gpt-4o-mini,快照gpt-4o-mini-2024-07-18 - 参数:
temperature=0.2、max_tokens=800、top_p=1.0 - 评测集:人工标注的 60 条 PRD 样本,字段级 ground truth
- Token 统计用
tiktoken 0.7.0交叉校验,同时记录 API 返回的usage
选 gpt-4o-mini 是因为这个任务量级大(日均几千条),成本敏感。temperature 压到 0.2 是为了让输出稳定,方便复现——这点很重要,做 Prompt 实验时如果 temperature 高,你根本分不清质量波动是 Prompt 的问题还是采样随机性。
三、方案设计
设计了 5 版 Prompt,复杂度递增:
| 版本 | 设计要点 | 预估 token |
|---|---|---|
| V1 | 零样本,一句话指令 | ~600 |
| V2 | 明确字段定义 + 输出格式说明 | ~750 |
| V3 | V2 + JSON Schema 约束 + 「只输出 JSON」 | ~850 |
| V4 | V3 + 2 个 few-shot 示例 | ~1180 |
| V5 | V4 + 字段级校验规则 + 边界情况说明 | ~1450 |
评测指标三个:
- 字段准确率:5 个字段逐一比对,字符串用完全匹配,数组用集合匹配,全部正确才算该条通过;
- JSON 解析成功率:
json.loads()能否直接成功,不做任何清洗; - 平均 token 消耗:输入 + 输出总和。
四、核心实现
先上评测框架的代码。核心思路是每版 Prompt 跑同一批 60 条样本,收集输出后统一打分。
import json
import time
from openai import OpenAI
import tiktoken
client = OpenAI(api_key="sk-xxx")
enc = tiktoken.encoding_for_model("gpt-4o-mini")
def call_model(system_prompt: str, user_content: str) -> dict:
resp = client.chat.completions.create(
model="gpt-4o-mini-2024-07-18",
temperature=0.2,
max_tokens=800,
top_p=1.0,
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_content},
],
)
return {
"content": resp.choices[0].message.content,
"prompt_tokens": resp.usage.prompt_tokens,
"completion_tokens": resp.usage.completion_tokens,
"total_tokens": resp.usage.total_tokens,
}
def safe_parse(text: str):
"""不做任何清洗,直接尝试解析,用来衡量解析成功率"""
try:
return json.loads(text), True
except json.JSONDecodeError:
return None, False
def evaluate(prompt_version: str, system_prompt: str, samples: list) -> dict:
total_tokens = 0
parse_ok = 0
field_ok = 0
latencies = []
for s in samples:
t0 = time.time()
r = call_model(system_prompt, s["prd_text"])
latencies.append(time.time() - t0)
total_tokens += r["total_tokens"]
parsed, ok = safe_parse(r["content"])
if ok:
parse_ok += 1
if match_fields(parsed, s["ground_truth"]):
field_ok += 1
n = len(samples)
return {
"version": prompt_version,
"avg_tokens": round(total_tokens / n, 1),
"parse_rate": round(parse_ok / n * 100, 1),
"field_acc": round(field_ok / n * 100, 1),
"p50_latency": round(sorted(latencies)[n // 2], 2),
}
def match_fields(pred: dict, gt: dict) -> bool:
for k, v in gt.items():
pv = pred.get(k)
if isinstance(v, list):
if not isinstance(pv, list) or set(map(str, pv)) != set(map(str, v)):
return False
elif str(pv).strip() != str(v).strip():
return False
return True
下面是 V3(JSON Schema 约束版)的 Prompt 主体,也是我最终推荐给大部分场景的基线版本:
SYSTEM_V3 = """你是一个信息抽取引擎。从用户提供的产品需求文档中抽取字段,严格按照以下 JSON Schema 输出,不要输出任何解释、前后缀或 markdown 代码块标记。
Schema:
{
"type": "object",
"properties": {
"product_name": {"type": "string"},
"target_user": {"type": "string"},
"core_features": {"type": "array", "items": {"type": "string"}},
"deadline": {"type": "string", "description": "YYYY-MM-DD, 无法确定填 null"},
"priority": {"type": "string", "enum": ["P0", "P1", "P2"]}
},
"required": ["product_name", "target_user", "core_features", "deadline", "priority"]
}
规则:
1. 输出必须是单个合法 JSON 对象,第一个字符是 {,最后一个字符是 }。
2. 字段缺失或无法从原文推断时,字符串填 null,数组填 [],不要编造。
3. core_features 每个元素不超过 20 字,只保留功能点本身,去掉修饰语。
"""
V4 在此基础上追加了两个 few-shot 示例(一短一长,短的 100 字、长的 750 字),刻意覆盖了「deadline 模糊表述」和「priority 未明确写出」两种边界情况。V5 又加了 6 条校验规则,比如「priority 若原文出现『紧急』『最高优先级』映射为 P0」。
五、踩坑与优化
坑 1:response_format 参数救不了所有问题。 我试过 response_format={"type": "json_object"},确实能把解析成功率拉到 99%,但它要求 prompt 里必须出现 "JSON" 字样,而且对 schema 的字段结构约束很弱——模型照样会把 core_features 输出成逗号分隔的字符串。所以最终我保留了 V3 的 schema 文本约束 + 不用 response_format,两者叠加反而更稳。
坑 2:few-shot 示例的 token 成本被低估。 V4 的两个示例占了约 330 token,是 V3 到 V4 涨幅的大头。但实测下来,这一个示例专门治「deadline 模糊」的错误,让该字段准确率从 78% 跳到 97%。这笔钱花得值。
坑 3:temperature=0.2 下输出仍不完全确定。 同一批样本跑两遍,V1 的字段准确率相差 3 个百分点。所以评测集不能太小,60 条是我试出来的下限,再少噪声就盖过信号了。
坑 4:中文 token 计数别用英文经验估。 一段 800 字中文 PRD,tiktoken 数出来约 520 token,比很多人直觉的「一个字一 token」要少,但比英文同字数多约 1.6 倍。做成本预算时一定要实测。
六、效果数据
60 条样本,每版跑一遍,结果如下:
| 版本 | 平均 token | JSON 解析率 | 字段准确率 | P50 延迟 |
|---|---|---|---|---|
| V1 | 612 | 82.0% | 71.0% | 1.8s |
| V2 | 748 | 88.3% | 79.5% | 2.0s |
| V3 | 856 | 96.7% | 88.3% | 2.1s |
| V4 | 1180 | 100% | 96.0% | 2.6s |
| V5 | 1452 | 100% | 96.7% | 3.0s |
几个结论:
- V3 是拐点。schema 约束让解析率从 88% 跳到 96.7%,token 只多了 108,性价比极高。如果你的下游有重试机制,V3 够用。
- V4 是质量天花板的最优解。多花 324 token 换来 7.7 个百分点的准确率和 100% 解析率,按
gpt-4o-mini输入 $0.15/1M、输出 $0.60/1M 算,60 条样本总成本从 $0.008 涨到 $0.011,几乎可以忽略。 - V5 是负收益。加了 272 token 只换来 0.7 个百分点,那 6 条校验规则里有 4 条在 V4 的示例中已经被隐式学会了。写规则前先看看示例覆盖没覆盖,别重复劳动。
最终线上用的是 V4,日均 4000 条,月成本约 $22,字段准确率稳定在 95% 以上(线上样本分布比评测集更杂,略低一点正常)。
七、总结
这轮实验最大的收获不是「哪个 Prompt 最好」,而是建立了量化的判断习惯:每次改 Prompt 都跑一遍固定评测集,看 token 和准确率的边际收益。经验上,Prompt 优化的收益曲线在「结构化约束 + 少量高质量示例」这一步之后迅速变平,继续堆规则和示例的性价比很低。
另外提醒一句:评测集一定要自己标注,网上的通用 benchmark 跟你的业务分布差太远。我这 60 条样本标注花了两个下午,但后面每次调 Prompt 都能十分钟出结论,这钱(时间)花得值。