一、问题背景
上个月接手了一个电商客服系统的工单自动分流模块。业务方的诉求很直接:用户提交的工单要自动打上分类标签,然后路由到对应的处理组。分类体系一共8类:退款退货、物流异常、商品质量、优惠券问题、账号问题、发票问题、投诉建议、其他。
一开始想得很简单,直接上模型分类不就完了。但真正跑起来才发现问题:零样本Prompt的准确率只有七成出头,而且"物流异常"和"退款退货"这两类经常混淆——用户说"我的快递三天没动了,我要退款",这到底算物流还是退款?人工标注的口径是"以用户最终诉求为准",但这个规则不写进Prompt,模型根本猜不到。
于是就有了这轮Prompt Engineering实验。目标很明确:在成本可控的前提下,把分类准确率推到90%以上。我把6种方案挨个跑了一遍,记录了Token消耗和延迟,下面完整复盘。
二、环境与版本
先把环境交代清楚,避免复现时对不上:
- 模型:
gpt-4o-mini,快照版本gpt-4o-mini-2024-07-18 - SDK:
openai==1.40.3(Python) - Python:3.11.9
- 测试集:500条脱敏真实工单,人工双标注,标注一致率96.2%,以仲裁结果为准
- 调用参数:
temperature=0,top_p=1,max_tokens=64(分类标签很短,不需要长输出) - 评估指标:准确率(整体+各类别)、平均prompt tokens、平均completion tokens、P50延迟
- 每条方案跑3轮取平均,规避偶发抖动
补充一句:选mini版本是因为线上QPS不低,成本敏感。如果你们场景对准确率要求极致,可以换gpt-4o,但本文的结论方向是一致的。
三、方案设计
6种方案的设计思路如下,从简到繁:
| 方案 | 描述 | 核心变量 |
|---|---|---|
| P1 零样本 | 只给分类体系和工单内容 | baseline |
| P2 少样本3例 | 每类抽1个代表性例子(共3例,覆盖易混类) | few-shot数量 |
| P3 少样本6例 | 8类中挑6个易混类各1例 | few-shot数量 |
| P4 角色设定 | 系统消息设定"资深客服主管"角色 | role prompting |
| P5 思维链 | 要求先输出判断理由再给标签 | CoT |
| P6 组合方案 | 角色设定 + 6例少样本 + 结构化JSON输出 + 分类规则说明 | 组合 |
这里有个关键设计:分类规则说明。我把人工标注口径提炼成3条规则写进P6,比如"用户同时提及物流和退款时,若明确表达退款意愿,归为退款退货;若仅催促物流,归为物流异常"。这条规则直接从业务方那里抠出来的,是P6准确率提升的最大贡献项,比少样本本身还管用。
四、核心实现
先看基础调用封装,所有方案共用:
import json
import time
from openai import OpenAI
client = OpenAI(api_key="sk-xxx")
CATEGORIES = [
"退款退货", "物流异常", "商品质量", "优惠券问题",
"账号问题", "发票问题", "投诉建议", "其他"
]
def classify(ticket_text: str, system_prompt: str, user_template: str) -> dict:
"""单条工单分类,返回标签、token消耗与延迟"""
user_content = user_template.format(ticket=ticket_text)
start = time.perf_counter()
resp = client.chat.completions.create(
model="gpt-4o-mini-2024-07-18",
temperature=0,
top_p=1,
max_tokens=64,
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_content},
],
)
latency = (time.perf_counter() - start) * 1000 # ms
content = resp.choices[0].message.content.strip()
return {
"raw": content,
"prompt_tokens": resp.usage.prompt_tokens,
"completion_tokens": resp.usage.completion_tokens,
"latency_ms": round(latency, 1),
}
再看P6组合方案的Prompt构造,这是最终上线的版本:
SYSTEM_P6 = """你是一名有5年经验的电商客服主管,负责工单精准分流。
请严格依据以下分类规则判断工单归属:
【分类体系】
退款退货、物流异常、商品质量、优惠券问题、账号问题、发票问题、投诉建议、其他
【判定规则】
1. 用户同时提及物流与退款时,若明确表达退款/退货意愿,归为"退款退货";
若仅催促物流进度、未提退款,归为"物流异常"。
2. 涉及商品功能故障、破损、变质等,归为"商品质量";单纯不喜欢/买错了走"退款退货"。
3. 无法归入前7类的,归为"其他"。
【输出格式】
仅输出JSON,不要任何解释:
{"category": "", "confidence": }
"""
FEW_SHOT = """示例1:
工单:快递三天没更新了,我要退款
输出:{"category": "退款退货", "confidence": 0.92}
示例2:
工单:我的包裹到站点五天了还没派送,麻烦催一下
输出:{"category": "物流异常", "confidence": 0.90}
示例3:
工单:收到的杯子底部裂了,怎么处理
输出:{"category": "商品质量", "confidence": 0.95}
示例4:
工单:满200减30的券用不了,提示不满足条件
输出:{"category": "优惠券问题", "confidence": 0.93}
示例5:
工单:登录一直提示密码错误,重置也收不到短信
输出:{"category": "账号问题", "confidence": 0.94}
示例6:
工单:开票信息填错了,能重开吗
输出:{"category": "发票问题", "confidence": 0.91}
"""
USER_TEMPLATE_P6 = FEW_SHOT + "\n\n现在请分类以下工单:\n工单:{ticket}\n输出:"
注意P6把少样本示例直接拼在user消息里,而不是拆成多轮对话。原因是多轮messages的格式token开销更大,且实测准确率无明显差异,拼在单条user里更省token。
五、踩坑与优化
这轮实验踩了几个坑,值得单独说:
坑1:CoT反而拉低了准确率。 P5要求模型先输出理由再给标签,结果准确率只有78.2%,比零样本高一点但远低于少样本。看badcase发现,模型在"推理"阶段经常自我说服,把一个本该是"物流异常"的工单绕到"退款退货"上。原因是我们这个任务本质是短文本意图分类,不需要复杂推理,CoT的中间步骤反而引入了噪声。另外completion tokens从平均12涨到89,延迟翻倍。结论:分类任务别盲目上CoT。
坑2:少样本示例的选择比数量更重要。 P2只放了3例(退款、物流、质量),准确率84.6%;P3放到6例,87.2%。但如果6例里不放"退款vs物流"这对易混样本,准确率只有83.1%,比P2还低。说明示例要覆盖决策边界,而不是均匀覆盖类别。P6最终选的6例全是易混类和高频类。
坑3:结构化输出格式的稳定性。 早期P6没加"仅输出JSON"约束,模型有约4%的概率在JSON前后加一句"根据分析……",导致解析失败。加了强约束并配合response_format={"type": "json_object"}后,解析成功率从96%提到99.8%。剩下0.2%是confidence字段给了字符串,加了兜底解析。
坑4:max_tokens设太小会截断。 一开始设32,P6的JSON偶尔被截断成{"category": "退款退,解析直接崩。调到64后解决。分类任务64足够,再大就是浪费。
六、效果数据
500条测试集,3轮平均,结果如下:
| 方案 | 准确率 | 平均prompt tokens | 平均completion tokens | P50延迟(ms) |
|---|---|---|---|---|
| P1 零样本 | 72.6% | 187 | 9 | 412 |
| P2 少样本3例 | 84.6% | 341 | 11 | 508 |
| P3 少样本6例 | 87.2% | 498 | 11 | 601 |
| P4 角色设定 | 74.1% | 203 | 9 | 419 |
| P5 思维链 | 78.2% | 214 | 89 | 987 |
| P6 组合方案 | 91.4% | 612 | 14 | 648 |
几个观察:
- P6相比P1准确率提升18.8个百分点,prompt tokens从187涨到612,按gpt-4o-mini定价(输入$0.15/1M tokens)算,单条成本从约$0.000028涨到$0.000092,涨幅约2.3倍。但考虑到人工分流的成本,这个投入完全值得。
- 角色设定单独用几乎无用(74.1% vs 72.6%),但和少样本组合后有协同效应——去掉角色设定的P6变体准确率是89.7%,掉了1.7个点,说明角色+规则+示例三者是互相加持的。
- CoT在这个任务上是负优化,准确率和延迟双输,已排除。
- 分类别看,P6在"物流异常"和"退款退货"上的F1分别是0.89和0.93,相比P1的0.71和0.78提升最明显,正好对应我们加的判定规则。
线上灰度跑了两周,日均1.2万单,自动分流占比从68%提到89%,人工复核队列压力下降明显。
七、总结
这轮实验下来,几条经验可以直接复用:
- 分类任务的Prompt优化优先级:业务规则说明 > 覆盖决策边界的少样本 > 结构化输出约束 > 角色设定 > CoT(基本不需要)。
- 少样本不是越多越好,6例左右性价比最高,关键要选易混样本,均匀覆盖类别是无效的。
- Token成本要算总账:P6单条贵2.3倍,但省下的人工成本远高于此。反过来,如果任务量大且准确率要求不高,P2是很好的折中。
- 结构化输出一定要加硬约束,
json_object模式 + 兜底解析,别信模型自觉。
下一步打算试试把分类规则做成可配置的YAML,让业务方自己维护,避免每次规则调整都要改代码重新发版。另外想验证一下用更小的模型(比如gpt-4o-mini换成更便宜的替代)跑P6,看准确率能守住多少。
代码和测试集脱敏脚本我整理在本地仓库了,有需要的可以评论区交流。