一、问题背景:为什么我要认真测一遍Prompt

事情起因很朴素。我们做的是一个商品评论分析的后台,需要从用户评论里抽取 sentiment、aspect、issue_type、severity 四个字段,输出严格JSON。一开始我随手写了一版Prompt,上线后发现两个问题:一是模型偶尔在JSON前后加“好的,以下是结果:”这种废话,导致 json.loads 直接崩;二是“物流慢”“包装破损”这类复合评论经常只抽出一个aspect。

团队里为了“Prompt要不要写长”吵了两天。一派认为要写详细规则、给足约束;另一派说现在模型聪明了,写那么长纯属浪费token。吵不出结果,那就测。这篇文章就是那次实验的完整记录,包括每一版Prompt的设计动机、实测token和准确率。样本是我从业务库里随机抽的200条中文评论,人工标了金标准。

二、环境与版本

先把环境交代清楚,不然数据没法复现:

  • Python 3.11.6
  • openai==1.51.0,模型 gpt-4o-mini-2024-07-18,temperature=0,max_tokens=512,response_format={"type":"json_object"}(第1版故意不开)
  • anthropic==0.34.2,模型 claude-3-5-haiku-20241022,temperature=0,max_tokens=512
  • 评测脚本自己写的,字段级 exact match 算 P/R/F1,JSON解析失败单独计一类错误
  • token数直接取API返回的 usage.prompt_tokens,不自己估

数据集:200条中文电商评论,平均长度38字,人工标注平均每条1.4个aspect。

三、方案设计:6版Prompt的演进逻辑

我不是瞎试,每版都针对上一版暴露的问题改:

  • P1 裸奔版:一句话指令,“从评论中抽取情感、方面、问题类型、严重程度,输出JSON”。不开 response_format。用来做基线。
  • P2 加字段定义:给每个字段加一句解释和枚举值,比如 severity 限定为 low/medium/high。
  • P3 加输出格式约束:明确“只输出JSON,不要任何解释文字”,并开启 response_format=json_object。
  • P4 加规则清单:补上“一条评论有多个问题时输出数组”“aspect必须是名词短语”等5条规则。
  • P5 few-shot 版:在P4基础上加2个示例(一正一负,负例是复合问题)。
  • P6 精简版:把P5压到最短,规则用分号连写,示例只留1个,测试“少即是多”。

四、核心实现:评测脚本与Prompt原文

先上评测脚本的骨架,这段是复用的,换Prompt只改 PROMPTS 字典:

import json, time
from openai import OpenAI

client = OpenAI(api_key="sk-xxx")

PROMPTS = {
    "P1": "从评论中抽取情感、方面、问题类型、严重程度,输出JSON。",
    "P5": """你是电商评论结构化抽取器。按以下规则输出JSON:
1. 输出必须是合法JSON对象,禁止任何解释文字、markdown代码块标记。
2. 字段:sentiment(positive/negative/neutral)、aspects(数组,每项含aspect、issue_type、severity)。
3. 一条评论涉及多个问题时,aspects输出多项,不要合并。
4. aspect必须是名词短语,如"物流速度""包装质量",不要写整句。
5. severity取值low/medium/high,无法判断填medium。
示例输入:物流太慢了,但是东西还不错
示例输出:{"sentiment":"neutral","aspects":[{"aspect":"物流速度","issue_type":"配送时效","severity":"high"},{"aspect":"商品质量","issue_type":"无","severity":"low"}]}
""",
}

def run_one(prompt, text):
    t0 = time.time()
    resp = client.chat.completions.create(
        model="gpt-4o-mini-2024-07-18",
        messages=[{"role":"user","content":prompt + "\n评论:" + text}],
        temperature=0,
        max_tokens=512,
        response_format={"type":"json_object"},
    )
    latency = time.time() - t0
    return {
        "raw": resp.choices[0].message.content,
        "prompt_tokens": resp.usage.prompt_tokens,
        "completion_tokens": resp.usage.completion_tokens,
        "latency": latency,
    }

解析和打分的部分,关键是把“JSON解析失败”和“字段抽错”分开统计,不然会低估格式问题的代价:

def parse_and_score(raw, gold):
    try:
        pred = json.loads(raw)
    except json.JSONDecodeError:
        return {"parse_ok": False, "f1": 0.0}
    # 字段级比对,aspect做去空格归一化
    pred_set = {(a["aspect"].strip(), a["severity"]) for a in pred.get("aspects", [])}
    gold_set = {(a["aspect"].strip(), a["severity"]) for a in gold["aspects"]}
    tp = len(pred_set & gold_set)
    p = tp / len(pred_set) if pred_set else 0
    r = tp / len(gold_set) if gold_set else 0
    f1 = 2*p*r/(p+r) if p+r else 0
    return {"parse_ok": True, "f1": f1}

五、踩坑与优化:三个真实的坑

坑1:response_format 不是万能药。 P1没开这个参数,JSON解析失败率11.5%,模型爱在开头加“好的”。P3开了之后失败率降到0.5%,但那0.5%是因为模型把数组写成了字符串 "aspects": "[...]"。所以格式参数要开,但解析层仍要做兜底重试——我加了一次“你的输出不是合法JSON,请只输出JSON”的二次请求,整体失败率压到0.1%。

坑2:few-shot示例的“副作用”。 P5加了负例示例后,模型开始过度模仿示例里的 issue_type 取值,把“配送时效”硬套到“客服态度”上。后来我把示例里的 issue_type 换成更通用的描述,并加了一句“issue_type按实际语义填写,不要照抄示例”,字段准确率回升了3.1个点。

坑3:中文评论的aspect边界。 “包装完好但里面的杯子碎了”这种,P2-P4都只抽“包装”,漏了“商品完好度”。P4的规则“多问题输出数组”有帮助但不够,最终是P5的负例示例教会了模型拆句。这也说明:规则描述对“拆句”这种操作,效果远不如一个具体例子。

六、效果数据

200条样本,两个模型各跑一遍,核心数字如下(gpt-4o-mini):

版本 平均prompt tokens 平均输出tokens JSON解析失败率 字段F1 单条延迟
P1 42 61 11.5% 0.612 0.71s
P2 168 58 3.0% 0.704 0.74s
P3 191 55 0.5% 0.718 0.72s
P4 342 57 0.5% 0.761 0.78s
P5 486 59 0.0% 0.834 0.83s
P6 152 56 1.5% 0.792 0.73s

几个结论值得说:

  1. P4到P5是性价比拐点:token多了42%,F1涨了7.3个点。原因是few-shot把“复合评论拆aspect”这个最难的能力补上了,字段缺失率从17%降到4%。
  2. P6精简版很香:token只有P5的31%,F1只低4.2个点。如果业务对成本敏感、准确率要求没那么苛刻,P6是更好的选择。按gpt-4o-mini输入$0.15/1M tokens算,200万条评论P5要花约$146,P6只要$46。
  3. claude-3-5-haiku表现:整体F1比gpt-4o-mini低约2-3个点,但P5版本下差距缩到1.1个点,且延迟低15%。它对“只输出JSON”的服从性更好,P1裸奔版解析失败率只有6.8%。
  4. 长Prompt的边际收益递减很明显:P3到P4多了151个token,F1只涨4.3个点;再往上加规则,基本是花钱买心安。

七、总结

这轮测下来,我的态度很明确:Prompt该写多长,取决于任务里有没有“需要示范的隐式操作”。像格式约束、枚举值这种,规则描述就够,写清楚就行;但“复合问题拆解”“边界情况判断”这种,一个负例示例顶十行规则。另外,别迷信token数——P5比P6贵3倍多,换来的4个点F1在你的业务里值不值,得自己算账。

最后提醒一句:temperature=0 下模型输出仍不完全确定,我同一版Prompt跑两遍,F1有±0.8的波动,所以对比实验样本量别低于100条,不然结论可能是噪声。代码和Prompt原文我都放在仓库里了,感兴趣的可以自己复现。