一、问题背景:为什么我又回头折腾Prompt了

上个月接了个需求:客户是家做小家电的电商,售后邮箱每天进两千多封用户来信,客服要手工把「订单号、故障现象、期望处理方式(退货/换货/维修/退款)、是否在保」抄进工单系统。他们想用LLM做自动抽取,把结构化结果直接推到工单接口。

一开始我觉得这活儿简单,写了个Prompt丢给GPT-4o-mini就上线了。结果第一周工单系统里出现了不少脏数据:订单号被截断、期望处理方式填成了「希望尽快处理」这种自由文本、还有模型自作主张补了个不存在的字段。客服主管拿着报表来找我,我才意识到——抽取类任务的Prompt不是"写清楚要什么"就完事,字段定义、边界值枚举、输出格式约束,每一项都会直接反映在F1上。

于是我把这件事正经做了一遍:固定测试集,横向对比6个版本的Prompt,记录Token消耗和字段级准确率。下面把过程完整写出来。

二、环境与版本

先交代清楚,不然数据没法复现:

  • Python 3.11.6
  • openai 1.51.0(走的是兼容OpenAI协议的网关,模型 gpt-4o-mini-2024-07-18)
  • transformers 4.44.2 + vLLM 0.6.1,本地跑 Qwen2.5-7B-Instruct
  • 评测脚本自己写的,没有用LangChain之类框架,避免中间层干扰Token统计
  • 测试集:从客户历史邮件中人工标注120封,覆盖退货、换货、维修、咨询四类,其中18封故意包含缺失字段(比如用户没写订单号)
  • 参数统一:temperature=0,max_tokens=256,top_p=1.0
  • Token统计用 tiktoken 的 cl100k_base 编码器估算(和网关计费口径基本一致)

评测指标定义:字段级F1。四个字段(order_id / fault_desc / expected_action / in_warranty)各自算precision和recall,缺失字段预测为空算对、乱填算错,最后宏平均。

三、方案设计:6个版本的Prompt

我把Prompt的演进拆成6个版本,每个版本只改一个变量,方便归因:

版本 核心变化 想验证什么
V1 纯自然语言描述任务 基线
V2 V1 + 明确字段列表 字段枚举是否有用
V3 V2 + JSON Schema约束输出 格式约束对合格率的影响
V4 V3 + 3条Few-shot示例 示例的边际收益
V5 V4 + 精简示例至1条 + 边界规则 示例数量与Token的权衡
V6 V5 + 输出字段顺序固定 + 禁止补全指令 抑制幻觉字段

核心实现上,我写了个统一的评测函数,把Prompt模板、测试集、模型调用串起来:

# eval_runner.py
import json, time
from openai import OpenAI
import tiktoken

client = OpenAI(base_url="http://your-gateway/v1", api_key="sk-xxx")
enc = tiktoken.get_encoding("cl100k_base")

FIELDS = ["order_id", "fault_desc", "expected_action", "in_warranty"]

def build_prompt(version: str, email: str) -> str:
    with open(f"prompts/{version}.txt", encoding="utf-8") as f:
        template = f.read()
    return template.replace("{{EMAIL}}", email)

def call_model(prompt: str, model="gpt-4o-mini-2024-07-18"):
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
        temperature=0,
        max_tokens=256,
        top_p=1.0,
    )
    usage = resp.usage
    return resp.choices[0].message.content, usage.prompt_tokens, usage.completion_tokens

def parse_output(raw: str):
    """容错解析:模型有时会包 ```json 代码块"""
    s = raw.strip()
    if s.startswith("```"):
        s = s.split("```")[1]
        s = s.replace("json", "", 1).strip()
    try:
        obj = json.loads(s)
        return {k: obj.get(k) for k in FIELDS}, True
    except Exception:
        return {}, False

def field_f1(pred: dict, gold: dict):
    tp = fp = fn = 0
    for k in FIELDS:
        p, g = pred.get(k), gold.get(k)
        if p == g:
            tp += 1
        elif g is None and p is not None:
            fp += 1
        elif g is not None and p != g:
            fp += 1; fn += 1
    prec = tp / (tp + fp) if tp + fp else 0
    rec = tp / (tp + fn) if tp + fn else 0
    return 2 * prec * rec / (prec + rec) if prec + rec else 0

跑批的时候顺便把每条的prompt_tokens和completion_tokens累加,最后除以条数得到均值。这个统计方式比事后用tiktoken重算准,因为网关返回的usage是真实计费值。

V3之后的Prompt(以V6为例)长这样:

你是电商售后工单系统的信息抽取模块。从用户邮件中抽取字段,仅输出JSON,不要任何解释。

字段定义:
- order_id: 订单号,仅保留字母数字,形如 "SO20240815xxxx"。邮件中未出现则填 null。
- fault_desc: 故障现象,一句话概括,不超过40字。
- expected_action: 必须是以下枚举之一 ["退货","换货","维修","退款","咨询"],无法判断填 null。
- in_warranty: 布尔值 true/false,未提及保修信息填 null。

规则:
1. 只抽取邮件中明确出现的信息,禁止推断或补全。
2. 输出字段顺序固定为 order_id, fault_desc, expected_action, in_warranty。
3. 输出必须是合法JSON对象,不要用markdown代码块包裹。

示例:
邮件:我上个月买的空气炸锅SO20240710A123,加热到一半突然断电,还在保修期内,想换一台新的。
输出:{"order_id":"SO20240710A123","fault_desc":"加热过程中突然断电","expected_action":"换货","in_warranty":true}

邮件:{{EMAIL}}
输出:

四、踩坑与优化记录

坑1:V1的"想当然"输出。 V1就一句话「提取订单号、故障、处理方式、保修状态」,模型返回的是自然语言段落,我还得再写正则去抠。输出合格率(能直接json.loads的)只有62%。这说明对抽取任务,输出格式必须在Prompt里硬约束,不能靠后处理兜底。

坑2:Few-shot不是越多越好。 V4放了3条示例,F1涨了0.11,但单条Token从298涨到436。后来发现示例主要作用是教会模型「枚举值怎么选」和「缺失填null」,这两件事1条示例就能说清。V5砍到1条,F1只掉了0.01,Token省了41%。

坑3:模型爱补全。 V5在18封缺订单号的邮件上,有7封被模型"编"出了形似的订单号——它会根据上下文里的日期拼一个。加了两条规则("禁止推断或补全" + 缺失填null的显式说明)后,幻觉字段降到1条。这个改动对整体F1贡献最大,因为precision被拉回来了。

坑4:in_warranty的布尔陷阱。 早期版本模型会输出字符串"是"/"否",后来统一在字段定义里写明 布尔值 true/false,并在解析层做了一次类型归一化,避免评测时把"true"和true算成两个值。

坑5:Qwen2.5-7B对中文标点敏感。 同一版Prompt,GPT-4o-mini稳定输出合法JSON,Qwen在枚举值里偶尔带中文引号「」,导致解析失败。解决办法是在system侧加一句「使用英文双引号」,合格率从88%回到99%。

五、效果数据

120条测试集,两模型各跑一遍,结果如下(单条均值):

版本 Prompt Token Completion Token 输出合格率 字段F1 (4o-mini) 字段F1 (Qwen2.5-7B)
V1 96 121 62.5% 0.71 0.63
V2 158 108 71.7% 0.79 0.72
V3 214 84 96.7% 0.85 0.81
V4 352 82 98.3% 0.93 0.88
V5 208 79 98.3% 0.92 0.87
V6 231 76 99.2% 0.94 0.90

几个值得说的点:

  1. V3是性价比拐点。加了JSON Schema约束后,completion token从108降到84(因为不再输出废话),总Token反而比V2低,合格率却从71.7%跳到96.7%。格式约束是"免费的午餐"。
  2. V6总Token 307,比V1的217高,但F1从0.71到0.94。按GPT-4o-mini的定价(输入$0.15/1M,输出$0.60/1M)算,单条成本从约$0.000087涨到$0.000080——因为completion token降了,实际成本几乎持平。这就是Prompt工程里最舒服的情况:质量大涨,成本不涨。
  3. Qwen2.5-7B整体比4o-mini低3-5个点,但趋势一致,说明这套Prompt结构对小模型同样有效。如果要做私有化部署,V6是可直接迁移的起点。
  4. 延迟方面,4o-mini单条P50约620ms,Qwen2.5-7B在单卡A10上约480ms,都满足工单系统2s内的要求。

六、总结

这轮折腾下来,我的几点结论:

  • 抽取任务的Prompt,结构比措辞重要。字段定义、枚举值、缺失值约定、输出格式,这四样写清楚,比反复调"请你仔细阅读"有用得多。
  • Few-shot的收益在"教格式"而非"教内容",1-3条足够,多了纯烧Token。
  • 一定要建测试集再改Prompt。我中间有两次凭感觉改,上线后F1反而掉了,回头跑评测才发现是改了字段顺序导致模型输出错位。
  • Token统计别用估算,直接用API返回的usage,否则优化方向会跑偏。

代码和6版Prompt我都放在仓库里了(结构就是上面 prompts/v1.txt 到 v6.txt),换掉测试集就能在你自己的抽取任务上跑。下一步我打算试试结构化输出(response_format=json_schema)能不能把V6的合格率推到100%,有结果再写一篇。