一、问题背景:为什么我要认真测一遍Prompt
事情起因很朴素。我们做的是一个商品评论分析的后台,需要从用户评论里抽取 sentiment、aspect、issue_type、severity 四个字段,输出严格JSON。一开始我随手写了一版Prompt,上线后发现两个问题:一是模型偶尔在JSON前后加“好的,以下是结果:”这种废话,导致 json.loads 直接崩;二是“物流慢”“包装破损”这类复合评论经常只抽出一个aspect。
团队里为了“Prompt要不要写长”吵了两天。一派认为要写详细规则、给足约束;另一派说现在模型聪明了,写那么长纯属浪费token。吵不出结果,那就测。这篇文章就是那次实验的完整记录,包括每一版Prompt的设计动机、实测token和准确率。样本是我从业务库里随机抽的200条中文评论,人工标了金标准。
二、环境与版本
先把环境交代清楚,不然数据没法复现:
- Python 3.11.6
- openai==1.51.0,模型
gpt-4o-mini-2024-07-18,temperature=0,max_tokens=512,response_format={"type":"json_object"}(第1版故意不开) - anthropic==0.34.2,模型
claude-3-5-haiku-20241022,temperature=0,max_tokens=512 - 评测脚本自己写的,字段级 exact match 算 P/R/F1,JSON解析失败单独计一类错误
- token数直接取API返回的
usage.prompt_tokens,不自己估
数据集:200条中文电商评论,平均长度38字,人工标注平均每条1.4个aspect。
三、方案设计:6版Prompt的演进逻辑
我不是瞎试,每版都针对上一版暴露的问题改:
- P1 裸奔版:一句话指令,“从评论中抽取情感、方面、问题类型、严重程度,输出JSON”。不开
response_format。用来做基线。 - P2 加字段定义:给每个字段加一句解释和枚举值,比如
severity限定为low/medium/high。 - P3 加输出格式约束:明确“只输出JSON,不要任何解释文字”,并开启
response_format=json_object。 - P4 加规则清单:补上“一条评论有多个问题时输出数组”“aspect必须是名词短语”等5条规则。
- P5 few-shot 版:在P4基础上加2个示例(一正一负,负例是复合问题)。
- P6 精简版:把P5压到最短,规则用分号连写,示例只留1个,测试“少即是多”。
四、核心实现:评测脚本与Prompt原文
先上评测脚本的骨架,这段是复用的,换Prompt只改 PROMPTS 字典:
import json, time
from openai import OpenAI
client = OpenAI(api_key="sk-xxx")
PROMPTS = {
"P1": "从评论中抽取情感、方面、问题类型、严重程度,输出JSON。",
"P5": """你是电商评论结构化抽取器。按以下规则输出JSON:
1. 输出必须是合法JSON对象,禁止任何解释文字、markdown代码块标记。
2. 字段:sentiment(positive/negative/neutral)、aspects(数组,每项含aspect、issue_type、severity)。
3. 一条评论涉及多个问题时,aspects输出多项,不要合并。
4. aspect必须是名词短语,如"物流速度""包装质量",不要写整句。
5. severity取值low/medium/high,无法判断填medium。
示例输入:物流太慢了,但是东西还不错
示例输出:{"sentiment":"neutral","aspects":[{"aspect":"物流速度","issue_type":"配送时效","severity":"high"},{"aspect":"商品质量","issue_type":"无","severity":"low"}]}
""",
}
def run_one(prompt, text):
t0 = time.time()
resp = client.chat.completions.create(
model="gpt-4o-mini-2024-07-18",
messages=[{"role":"user","content":prompt + "\n评论:" + text}],
temperature=0,
max_tokens=512,
response_format={"type":"json_object"},
)
latency = time.time() - t0
return {
"raw": resp.choices[0].message.content,
"prompt_tokens": resp.usage.prompt_tokens,
"completion_tokens": resp.usage.completion_tokens,
"latency": latency,
}
解析和打分的部分,关键是把“JSON解析失败”和“字段抽错”分开统计,不然会低估格式问题的代价:
def parse_and_score(raw, gold):
try:
pred = json.loads(raw)
except json.JSONDecodeError:
return {"parse_ok": False, "f1": 0.0}
# 字段级比对,aspect做去空格归一化
pred_set = {(a["aspect"].strip(), a["severity"]) for a in pred.get("aspects", [])}
gold_set = {(a["aspect"].strip(), a["severity"]) for a in gold["aspects"]}
tp = len(pred_set & gold_set)
p = tp / len(pred_set) if pred_set else 0
r = tp / len(gold_set) if gold_set else 0
f1 = 2*p*r/(p+r) if p+r else 0
return {"parse_ok": True, "f1": f1}
五、踩坑与优化:三个真实的坑
坑1:response_format 不是万能药。 P1没开这个参数,JSON解析失败率11.5%,模型爱在开头加“好的”。P3开了之后失败率降到0.5%,但那0.5%是因为模型把数组写成了字符串 "aspects": "[...]"。所以格式参数要开,但解析层仍要做兜底重试——我加了一次“你的输出不是合法JSON,请只输出JSON”的二次请求,整体失败率压到0.1%。
坑2:few-shot示例的“副作用”。 P5加了负例示例后,模型开始过度模仿示例里的 issue_type 取值,把“配送时效”硬套到“客服态度”上。后来我把示例里的 issue_type 换成更通用的描述,并加了一句“issue_type按实际语义填写,不要照抄示例”,字段准确率回升了3.1个点。
坑3:中文评论的aspect边界。 “包装完好但里面的杯子碎了”这种,P2-P4都只抽“包装”,漏了“商品完好度”。P4的规则“多问题输出数组”有帮助但不够,最终是P5的负例示例教会了模型拆句。这也说明:规则描述对“拆句”这种操作,效果远不如一个具体例子。
六、效果数据
200条样本,两个模型各跑一遍,核心数字如下(gpt-4o-mini):
| 版本 | 平均prompt tokens | 平均输出tokens | JSON解析失败率 | 字段F1 | 单条延迟 |
|---|---|---|---|---|---|
| P1 | 42 | 61 | 11.5% | 0.612 | 0.71s |
| P2 | 168 | 58 | 3.0% | 0.704 | 0.74s |
| P3 | 191 | 55 | 0.5% | 0.718 | 0.72s |
| P4 | 342 | 57 | 0.5% | 0.761 | 0.78s |
| P5 | 486 | 59 | 0.0% | 0.834 | 0.83s |
| P6 | 152 | 56 | 1.5% | 0.792 | 0.73s |
几个结论值得说:
- P4到P5是性价比拐点:token多了42%,F1涨了7.3个点。原因是few-shot把“复合评论拆aspect”这个最难的能力补上了,字段缺失率从17%降到4%。
- P6精简版很香:token只有P5的31%,F1只低4.2个点。如果业务对成本敏感、准确率要求没那么苛刻,P6是更好的选择。按gpt-4o-mini输入$0.15/1M tokens算,200万条评论P5要花约$146,P6只要$46。
- claude-3-5-haiku表现:整体F1比gpt-4o-mini低约2-3个点,但P5版本下差距缩到1.1个点,且延迟低15%。它对“只输出JSON”的服从性更好,P1裸奔版解析失败率只有6.8%。
- 长Prompt的边际收益递减很明显:P3到P4多了151个token,F1只涨4.3个点;再往上加规则,基本是花钱买心安。
七、总结
这轮测下来,我的态度很明确:Prompt该写多长,取决于任务里有没有“需要示范的隐式操作”。像格式约束、枚举值这种,规则描述就够,写清楚就行;但“复合问题拆解”“边界情况判断”这种,一个负例示例顶十行规则。另外,别迷信token数——P5比P6贵3倍多,换来的4个点F1在你的业务里值不值,得自己算账。
最后提醒一句:temperature=0 下模型输出仍不完全确定,我同一版Prompt跑两遍,F1有±0.8的波动,所以对比实验样本量别低于100条,不然结论可能是噪声。代码和Prompt原文我都放在仓库里了,感兴趣的可以自己复现。