一、问题背景:为什么我又回头折腾Prompt了
上个月接了个需求:客户是家做小家电的电商,售后邮箱每天进两千多封用户来信,客服要手工把「订单号、故障现象、期望处理方式(退货/换货/维修/退款)、是否在保」抄进工单系统。他们想用LLM做自动抽取,把结构化结果直接推到工单接口。
一开始我觉得这活儿简单,写了个Prompt丢给GPT-4o-mini就上线了。结果第一周工单系统里出现了不少脏数据:订单号被截断、期望处理方式填成了「希望尽快处理」这种自由文本、还有模型自作主张补了个不存在的字段。客服主管拿着报表来找我,我才意识到——抽取类任务的Prompt不是"写清楚要什么"就完事,字段定义、边界值枚举、输出格式约束,每一项都会直接反映在F1上。
于是我把这件事正经做了一遍:固定测试集,横向对比6个版本的Prompt,记录Token消耗和字段级准确率。下面把过程完整写出来。
二、环境与版本
先交代清楚,不然数据没法复现:
- Python 3.11.6
- openai 1.51.0(走的是兼容OpenAI协议的网关,模型
gpt-4o-mini-2024-07-18) - transformers 4.44.2 + vLLM 0.6.1,本地跑
Qwen2.5-7B-Instruct - 评测脚本自己写的,没有用LangChain之类框架,避免中间层干扰Token统计
- 测试集:从客户历史邮件中人工标注120封,覆盖退货、换货、维修、咨询四类,其中18封故意包含缺失字段(比如用户没写订单号)
- 参数统一:
temperature=0,max_tokens=256,top_p=1.0 - Token统计用
tiktoken的cl100k_base编码器估算(和网关计费口径基本一致)
评测指标定义:字段级F1。四个字段(order_id / fault_desc / expected_action / in_warranty)各自算precision和recall,缺失字段预测为空算对、乱填算错,最后宏平均。
三、方案设计:6个版本的Prompt
我把Prompt的演进拆成6个版本,每个版本只改一个变量,方便归因:
| 版本 | 核心变化 | 想验证什么 |
|---|---|---|
| V1 | 纯自然语言描述任务 | 基线 |
| V2 | V1 + 明确字段列表 | 字段枚举是否有用 |
| V3 | V2 + JSON Schema约束输出 | 格式约束对合格率的影响 |
| V4 | V3 + 3条Few-shot示例 | 示例的边际收益 |
| V5 | V4 + 精简示例至1条 + 边界规则 | 示例数量与Token的权衡 |
| V6 | V5 + 输出字段顺序固定 + 禁止补全指令 | 抑制幻觉字段 |
核心实现上,我写了个统一的评测函数,把Prompt模板、测试集、模型调用串起来:
# eval_runner.py
import json, time
from openai import OpenAI
import tiktoken
client = OpenAI(base_url="http://your-gateway/v1", api_key="sk-xxx")
enc = tiktoken.get_encoding("cl100k_base")
FIELDS = ["order_id", "fault_desc", "expected_action", "in_warranty"]
def build_prompt(version: str, email: str) -> str:
with open(f"prompts/{version}.txt", encoding="utf-8") as f:
template = f.read()
return template.replace("{{EMAIL}}", email)
def call_model(prompt: str, model="gpt-4o-mini-2024-07-18"):
resp = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=256,
top_p=1.0,
)
usage = resp.usage
return resp.choices[0].message.content, usage.prompt_tokens, usage.completion_tokens
def parse_output(raw: str):
"""容错解析:模型有时会包 ```json 代码块"""
s = raw.strip()
if s.startswith("```"):
s = s.split("```")[1]
s = s.replace("json", "", 1).strip()
try:
obj = json.loads(s)
return {k: obj.get(k) for k in FIELDS}, True
except Exception:
return {}, False
def field_f1(pred: dict, gold: dict):
tp = fp = fn = 0
for k in FIELDS:
p, g = pred.get(k), gold.get(k)
if p == g:
tp += 1
elif g is None and p is not None:
fp += 1
elif g is not None and p != g:
fp += 1; fn += 1
prec = tp / (tp + fp) if tp + fp else 0
rec = tp / (tp + fn) if tp + fn else 0
return 2 * prec * rec / (prec + rec) if prec + rec else 0
跑批的时候顺便把每条的prompt_tokens和completion_tokens累加,最后除以条数得到均值。这个统计方式比事后用tiktoken重算准,因为网关返回的usage是真实计费值。
V3之后的Prompt(以V6为例)长这样:
你是电商售后工单系统的信息抽取模块。从用户邮件中抽取字段,仅输出JSON,不要任何解释。
字段定义:
- order_id: 订单号,仅保留字母数字,形如 "SO20240815xxxx"。邮件中未出现则填 null。
- fault_desc: 故障现象,一句话概括,不超过40字。
- expected_action: 必须是以下枚举之一 ["退货","换货","维修","退款","咨询"],无法判断填 null。
- in_warranty: 布尔值 true/false,未提及保修信息填 null。
规则:
1. 只抽取邮件中明确出现的信息,禁止推断或补全。
2. 输出字段顺序固定为 order_id, fault_desc, expected_action, in_warranty。
3. 输出必须是合法JSON对象,不要用markdown代码块包裹。
示例:
邮件:我上个月买的空气炸锅SO20240710A123,加热到一半突然断电,还在保修期内,想换一台新的。
输出:{"order_id":"SO20240710A123","fault_desc":"加热过程中突然断电","expected_action":"换货","in_warranty":true}
邮件:{{EMAIL}}
输出:
四、踩坑与优化记录
坑1:V1的"想当然"输出。 V1就一句话「提取订单号、故障、处理方式、保修状态」,模型返回的是自然语言段落,我还得再写正则去抠。输出合格率(能直接json.loads的)只有62%。这说明对抽取任务,输出格式必须在Prompt里硬约束,不能靠后处理兜底。
坑2:Few-shot不是越多越好。 V4放了3条示例,F1涨了0.11,但单条Token从298涨到436。后来发现示例主要作用是教会模型「枚举值怎么选」和「缺失填null」,这两件事1条示例就能说清。V5砍到1条,F1只掉了0.01,Token省了41%。
坑3:模型爱补全。 V5在18封缺订单号的邮件上,有7封被模型"编"出了形似的订单号——它会根据上下文里的日期拼一个。加了两条规则("禁止推断或补全" + 缺失填null的显式说明)后,幻觉字段降到1条。这个改动对整体F1贡献最大,因为precision被拉回来了。
坑4:in_warranty的布尔陷阱。 早期版本模型会输出字符串"是"/"否",后来统一在字段定义里写明 布尔值 true/false,并在解析层做了一次类型归一化,避免评测时把"true"和true算成两个值。
坑5:Qwen2.5-7B对中文标点敏感。 同一版Prompt,GPT-4o-mini稳定输出合法JSON,Qwen在枚举值里偶尔带中文引号「」,导致解析失败。解决办法是在system侧加一句「使用英文双引号」,合格率从88%回到99%。
五、效果数据
120条测试集,两模型各跑一遍,结果如下(单条均值):
| 版本 | Prompt Token | Completion Token | 输出合格率 | 字段F1 (4o-mini) | 字段F1 (Qwen2.5-7B) |
|---|---|---|---|---|---|
| V1 | 96 | 121 | 62.5% | 0.71 | 0.63 |
| V2 | 158 | 108 | 71.7% | 0.79 | 0.72 |
| V3 | 214 | 84 | 96.7% | 0.85 | 0.81 |
| V4 | 352 | 82 | 98.3% | 0.93 | 0.88 |
| V5 | 208 | 79 | 98.3% | 0.92 | 0.87 |
| V6 | 231 | 76 | 99.2% | 0.94 | 0.90 |
几个值得说的点:
- V3是性价比拐点。加了JSON Schema约束后,completion token从108降到84(因为不再输出废话),总Token反而比V2低,合格率却从71.7%跳到96.7%。格式约束是"免费的午餐"。
- V6总Token 307,比V1的217高,但F1从0.71到0.94。按GPT-4o-mini的定价(输入$0.15/1M,输出$0.60/1M)算,单条成本从约$0.000087涨到$0.000080——因为completion token降了,实际成本几乎持平。这就是Prompt工程里最舒服的情况:质量大涨,成本不涨。
- Qwen2.5-7B整体比4o-mini低3-5个点,但趋势一致,说明这套Prompt结构对小模型同样有效。如果要做私有化部署,V6是可直接迁移的起点。
- 延迟方面,4o-mini单条P50约620ms,Qwen2.5-7B在单卡A10上约480ms,都满足工单系统2s内的要求。
六、总结
这轮折腾下来,我的几点结论:
- 抽取任务的Prompt,结构比措辞重要。字段定义、枚举值、缺失值约定、输出格式,这四样写清楚,比反复调"请你仔细阅读"有用得多。
- Few-shot的收益在"教格式"而非"教内容",1-3条足够,多了纯烧Token。
- 一定要建测试集再改Prompt。我中间有两次凭感觉改,上线后F1反而掉了,回头跑评测才发现是改了字段顺序导致模型输出错位。
- Token统计别用估算,直接用API返回的usage,否则优化方向会跑偏。
代码和6版Prompt我都放在仓库里了(结构就是上面 prompts/v1.txt 到 v6.txt),换掉测试集就能在你自己的抽取任务上跑。下一步我打算试试结构化输出(response_format=json_schema)能不能把V6的合格率推到100%,有结果再写一篇。