一、问题背景:为什么我要认真做这次Prompt对比
事情是这样的。我们组有个内部工单系统,每天几百条用户反馈进来,需要自动打上分类标签(比如「功能异常」「计费问题」「账号权限」「使用咨询」四类),再路由给对应的值班同学。之前用的是某个开源小模型微调,效果一般,维护成本还高。后来大家商量干脆换成调用大模型API,靠Prompt Engineering来解决分类问题——毕竟只有四个类别,看起来不难。
但真动手就发现问题了:Prompt怎么写,效果和成本差异巨大。一开始随手写的零样本Prompt,准确率只有七成多,误分类的工单被路由到错误的组,值班同学怨声载道;后来加了示例,准确率上去了,但token消耗翻了好几倍,按每天500条算,一个月成本差距能有几十美元。老板问我「到底该怎么写」,我不能拍脑袋回答,于是干脆设计了一组对照实验,把不同Prompt方案的准确率、token消耗、输出稳定性都量化出来。
这篇文章就是这次实验的完整记录。任务虽然简单(四分类),但方法论可以迁移到你自己的场景里。
二、环境与版本
先把实验环境交代清楚,方便复现:
- 模型:
gpt-4o-mini,API版本2024-07-18,temperature 固定0.0(分类任务要稳定,不要随机性) - SDK:
openaiPython 包1.35.0 - 测试集:从历史工单里人工标注了 200 条,四类各 50 条,类别均衡,避免样本偏差
- 评测指标:准确率(Accuracy)+ 每类 F1 + 平均单次请求 token 消耗(prompt_tokens + completion_tokens)+ P95 延迟
- 运行方式:串行调用,每条请求间隔 200ms,避免触发限流
温度设 0 是刻意的——分类任务不需要创造性,我要的是可复现。如果你做的是生成类任务,这个参数另说。
三、方案设计:三种Prompt结构
我设计了三种方案,从简单到复杂:
方案A:零样本(Zero-shot) —— 直接给类别定义,让模型输出类别名。最省token,考验模型自身理解力。
方案B:Few-shot —— 每个类别给 2 个示例,共 8 个示例,让模型照猫画虎。token 明显增加,但通常能显著提升准确率。
方案C:结构化推理Prompt —— 在 Few-shot 基础上,要求模型先输出一句「判断依据」,再输出最终类别,并且用固定的 JSON 格式返回。多了一步推理,理论上准确率更高,但 completion token 会增加。
这里有个细节:方案C我要求输出 JSON,是为了后续程序解析稳定。方案A和B我一开始只要求输出类别名,结果发现模型有时候会输出「类别:功能异常」这种带前缀的格式,解析还得做兼容——这个坑后面细说。
四、核心实现(含代码)
先看调用和评测的骨架代码:
import json
import time
from openai import OpenAI
client = OpenAI(api_key="sk-xxx")
CATEGORIES = ["功能异常", "计费问题", "账号权限", "使用咨询"]
def call_model(prompt: str, text: str) -> dict:
start = time.time()
resp = client.chat.completions.create(
model="gpt-4o-mini",
temperature=0.0,
messages=[
{"role": "system", "content": prompt},
{"role": "user", "content": f"工单内容:{text}"},
],
)
latency = time.time() - start
return {
"output": resp.choices[0].message.content.strip(),
"prompt_tokens": resp.usage.prompt_tokens,
"completion_tokens": resp.usage.completion_tokens,
"latency": latency,
}
三种方案的 Prompt 构造:
# 方案A:零样本
PROMPT_A = """你是工单分类助手。请将用户工单归入以下四类之一:
功能异常、计费问题、账号权限、使用咨询。
只输出类别名称,不要输出任何其他内容。"""
# 方案B:Few-shot
FEW_SHOT_EXAMPLES = [
("APP一打开就闪退,重启手机也没用", "功能异常"),
("这个月扣费比上个月多了20块,什么情况", "计费问题"),
("我换了手机号,怎么改绑定的账号", "账号权限"),
("会员套餐都有哪些档位,有什么区别", "使用咨询"),
# ... 每类2条,共8条,此处省略其余4条
]
PROMPT_B = "你是工单分类助手。请参考以下示例,将工单归入四类之一:功能异常、计费问题、账号权限、使用咨询。\n\n"
for text, label in FEW_SHOT_EXAMPLES:
PROMPT_B += f"工单:{text}\n类别:{label}\n\n"
PROMPT_B += "只输出类别名称,不要输出任何其他内容。"
# 方案C:结构化推理 + JSON输出
PROMPT_C = PROMPT_B + """
请按以下JSON格式输出,先写一句判断依据,再给类别:
{"reason": "简短判断依据", "category": "类别名称"}
"""
解析逻辑要单独处理,因为方案C输出的是JSON:
def parse_output(scheme: str, raw: str) -> str:
if scheme == "C":
try:
data = json.loads(raw)
return data.get("category", "解析失败")
except json.JSONDecodeError:
return "解析失败"
# A/B 方案:做一次清洗,去掉可能的前缀
for cat in CATEGORIES:
if cat in raw:
return cat
return "解析失败"
评测循环我跑了两轮(第一轮发现解析坑,修完重跑),最终数据以第二轮为准。
五、踩坑与优化
坑1:输出格式不稳定。 方案A跑第一轮时,200条里有 11 条输出不是纯类别名,比如「该工单属于:功能异常」「功能异常(APP闪退)」。虽然我的解析函数用「包含类别名」兜底救回来了,但这说明零样本下模型对格式的服从度不够。优化办法是在 system prompt 里加一句「不要输出任何解释、前缀或标点」,改完后异常输出降到 3 条。这也是为什么方案C我直接上 JSON——结构化约束比自然语言约束更硬。
坑2:Few-shot 示例的选择偏差。 第一版示例我挑的都是「典型」工单,结果模型对边界样本(比如「扣了钱但功能也没生效」这种计费和功能交叉的)判断很差。后来我把示例换成每类 1 条典型 + 1 条边界,准确率提升了约 3 个百分点。示例不是越多越好,覆盖边界比堆数量重要。
坑3:JSON 输出偶尔带 markdown 代码块。 方案C有 4 条输出被包在 json ... 里,直接 json.loads 会报错。修复方式是在 prompt 里明确「直接输出JSON,不要用代码块包裹」,同时在解析前做一次 strip 处理。这个坑很常见,建议所有要求 JSON 输出的场景都加防御性解析。
坑4:token 统计口径。 我一开始只看了 completion tokens,后来发现 system prompt 本身占大头——方案B的示例全塞在 system 里,每次请求都重复计费。如果示例很长,考虑把示例放到 user message 里或者用更短的示例,能省不少。不过对分类这种短任务,缓存(prompt caching)也能帮上忙,只是 gpt-4o-mini 当时的缓存命中收益有限,我没深入测。
六、效果数据
200 条测试集,temperature=0,结果如下:
| 方案 | 准确率 | 宏平均F1 | 平均prompt tokens | 平均completion tokens | P95延迟 |
|---|---|---|---|---|---|
| A 零样本 | 78.5% | 0.781 | 96 | 6 | 0.62s |
| B Few-shot | 91.0% | 0.908 | 452 | 6 | 0.81s |
| C 结构化推理 | 93.5% | 0.933 | 468 | 31 | 1.05s |
几个观察:
-
Few-shot 是性价比拐点。 从A到B,token涨了约4.7倍,但准确率涨了12.5个百分点,这个投入非常值。从B到C,token只多约15%(主要是completion多了25个token的推理内容),准确率再涨2.5个百分点——如果你的业务对准确率极其敏感,C值得上;否则B已经够用。
-
错误集中在交叉类别。 方案C剩下的13条错误里,有9条是「计费问题」和「功能异常」的交叉(比如「扣费后会员没生效」)。这提示我:与其继续调Prompt,不如考虑加一个「复合类别」或者二级分类,Prompt Engineering 解决不了标签体系本身的模糊性。
-
成本估算。 按 gpt-4o-mini 的定价(输入 $0.15/1M tokens,输出 $0.60/1M tokens),每天500条工单:方案A月成本约 $0.03,方案B约 $0.11,方案C约 $0.12。说实话这个量级下成本根本不是瓶颈,准确率才是。但如果你的调用量是百万级,方案B和A的差距就会被放大,这时候值得做示例压缩或者换更小的模型。
七、总结
这次实验给我最大的教训是:Prompt 的效果不能靠感觉,要跑数据。 同一个任务,随手写和认真设计的Prompt,准确率能差15个百分点,而token成本可能只差几倍——在大多数业务场景里,这点成本远小于误分类带来的麻烦。
我的选型建议是:先用零样本快速验证任务可行性,再用 Few-shot 把准确率拉到可用区间(通常加示例是ROI最高的一步),最后根据业务对准确率和格式稳定性的要求决定要不要上结构化推理。别忘了做防御性解析,模型输出格式的稳定性永远比你想象的差。
代码和测试集我脱敏后留在了本地,方法本身可以直接复用到你自己的分类、抽取、路由类任务上。如果你也在做类似的Prompt选型,欢迎交流你踩过的坑。