一、问题背景

上个月接手了一个电商客服系统的工单自动分流模块。业务方的诉求很直接:用户提交的工单要自动打上分类标签,然后路由到对应的处理组。分类体系一共8类:退款退货、物流异常、商品质量、优惠券问题、账号问题、发票问题、投诉建议、其他。

一开始想得很简单,直接上模型分类不就完了。但真正跑起来才发现问题:零样本Prompt的准确率只有七成出头,而且"物流异常"和"退款退货"这两类经常混淆——用户说"我的快递三天没动了,我要退款",这到底算物流还是退款?人工标注的口径是"以用户最终诉求为准",但这个规则不写进Prompt,模型根本猜不到。

于是就有了这轮Prompt Engineering实验。目标很明确:在成本可控的前提下,把分类准确率推到90%以上。我把6种方案挨个跑了一遍,记录了Token消耗和延迟,下面完整复盘。

二、环境与版本

先把环境交代清楚,避免复现时对不上:

  • 模型:gpt-4o-mini,快照版本 gpt-4o-mini-2024-07-18
  • SDK:openai==1.40.3(Python)
  • Python:3.11.9
  • 测试集:500条脱敏真实工单,人工双标注,标注一致率96.2%,以仲裁结果为准
  • 调用参数:temperature=0,top_p=1,max_tokens=64(分类标签很短,不需要长输出)
  • 评估指标:准确率(整体+各类别)、平均prompt tokens、平均completion tokens、P50延迟
  • 每条方案跑3轮取平均,规避偶发抖动

补充一句:选mini版本是因为线上QPS不低,成本敏感。如果你们场景对准确率要求极致,可以换gpt-4o,但本文的结论方向是一致的。

三、方案设计

6种方案的设计思路如下,从简到繁:

方案 描述 核心变量
P1 零样本 只给分类体系和工单内容 baseline
P2 少样本3例 每类抽1个代表性例子(共3例,覆盖易混类) few-shot数量
P3 少样本6例 8类中挑6个易混类各1例 few-shot数量
P4 角色设定 系统消息设定"资深客服主管"角色 role prompting
P5 思维链 要求先输出判断理由再给标签 CoT
P6 组合方案 角色设定 + 6例少样本 + 结构化JSON输出 + 分类规则说明 组合

这里有个关键设计:分类规则说明。我把人工标注口径提炼成3条规则写进P6,比如"用户同时提及物流和退款时,若明确表达退款意愿,归为退款退货;若仅催促物流,归为物流异常"。这条规则直接从业务方那里抠出来的,是P6准确率提升的最大贡献项,比少样本本身还管用。

四、核心实现

先看基础调用封装,所有方案共用:

import json
import time
from openai import OpenAI

client = OpenAI(api_key="sk-xxx")

CATEGORIES = [
    "退款退货", "物流异常", "商品质量", "优惠券问题",
    "账号问题", "发票问题", "投诉建议", "其他"
]

def classify(ticket_text: str, system_prompt: str, user_template: str) -> dict:
    """单条工单分类,返回标签、token消耗与延迟"""
    user_content = user_template.format(ticket=ticket_text)
    start = time.perf_counter()
    resp = client.chat.completions.create(
        model="gpt-4o-mini-2024-07-18",
        temperature=0,
        top_p=1,
        max_tokens=64,
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_content},
        ],
    )
    latency = (time.perf_counter() - start) * 1000  # ms
    content = resp.choices[0].message.content.strip()
    return {
        "raw": content,
        "prompt_tokens": resp.usage.prompt_tokens,
        "completion_tokens": resp.usage.completion_tokens,
        "latency_ms": round(latency, 1),
    }

再看P6组合方案的Prompt构造,这是最终上线的版本:

SYSTEM_P6 = """你是一名有5年经验的电商客服主管,负责工单精准分流。
请严格依据以下分类规则判断工单归属:

【分类体系】
退款退货、物流异常、商品质量、优惠券问题、账号问题、发票问题、投诉建议、其他

【判定规则】
1. 用户同时提及物流与退款时,若明确表达退款/退货意愿,归为"退款退货";
   若仅催促物流进度、未提退款,归为"物流异常"。
2. 涉及商品功能故障、破损、变质等,归为"商品质量";单纯不喜欢/买错了走"退款退货"。
3. 无法归入前7类的,归为"其他"。

【输出格式】
仅输出JSON,不要任何解释:
{"category": "", "confidence": }
"""

FEW_SHOT = """示例1:
工单:快递三天没更新了,我要退款
输出:{"category": "退款退货", "confidence": 0.92}

示例2:
工单:我的包裹到站点五天了还没派送,麻烦催一下
输出:{"category": "物流异常", "confidence": 0.90}

示例3:
工单:收到的杯子底部裂了,怎么处理
输出:{"category": "商品质量", "confidence": 0.95}

示例4:
工单:满200减30的券用不了,提示不满足条件
输出:{"category": "优惠券问题", "confidence": 0.93}

示例5:
工单:登录一直提示密码错误,重置也收不到短信
输出:{"category": "账号问题", "confidence": 0.94}

示例6:
工单:开票信息填错了,能重开吗
输出:{"category": "发票问题", "confidence": 0.91}
"""

USER_TEMPLATE_P6 = FEW_SHOT + "\n\n现在请分类以下工单:\n工单:{ticket}\n输出:"

注意P6把少样本示例直接拼在user消息里,而不是拆成多轮对话。原因是多轮messages的格式token开销更大,且实测准确率无明显差异,拼在单条user里更省token。

五、踩坑与优化

这轮实验踩了几个坑,值得单独说:

坑1:CoT反而拉低了准确率。 P5要求模型先输出理由再给标签,结果准确率只有78.2%,比零样本高一点但远低于少样本。看badcase发现,模型在"推理"阶段经常自我说服,把一个本该是"物流异常"的工单绕到"退款退货"上。原因是我们这个任务本质是短文本意图分类,不需要复杂推理,CoT的中间步骤反而引入了噪声。另外completion tokens从平均12涨到89,延迟翻倍。结论:分类任务别盲目上CoT。

坑2:少样本示例的选择比数量更重要。 P2只放了3例(退款、物流、质量),准确率84.6%;P3放到6例,87.2%。但如果6例里不放"退款vs物流"这对易混样本,准确率只有83.1%,比P2还低。说明示例要覆盖决策边界,而不是均匀覆盖类别。P6最终选的6例全是易混类和高频类。

坑3:结构化输出格式的稳定性。 早期P6没加"仅输出JSON"约束,模型有约4%的概率在JSON前后加一句"根据分析……",导致解析失败。加了强约束并配合response_format={"type": "json_object"}后,解析成功率从96%提到99.8%。剩下0.2%是confidence字段给了字符串,加了兜底解析。

坑4:max_tokens设太小会截断。 一开始设32,P6的JSON偶尔被截断成{"category": "退款退,解析直接崩。调到64后解决。分类任务64足够,再大就是浪费。

六、效果数据

500条测试集,3轮平均,结果如下:

方案 准确率 平均prompt tokens 平均completion tokens P50延迟(ms)
P1 零样本 72.6% 187 9 412
P2 少样本3例 84.6% 341 11 508
P3 少样本6例 87.2% 498 11 601
P4 角色设定 74.1% 203 9 419
P5 思维链 78.2% 214 89 987
P6 组合方案 91.4% 612 14 648

几个观察:

  1. P6相比P1准确率提升18.8个百分点,prompt tokens从187涨到612,按gpt-4o-mini定价(输入$0.15/1M tokens)算,单条成本从约$0.000028涨到$0.000092,涨幅约2.3倍。但考虑到人工分流的成本,这个投入完全值得。
  2. 角色设定单独用几乎无用(74.1% vs 72.6%),但和少样本组合后有协同效应——去掉角色设定的P6变体准确率是89.7%,掉了1.7个点,说明角色+规则+示例三者是互相加持的。
  3. CoT在这个任务上是负优化,准确率和延迟双输,已排除。
  4. 分类别看,P6在"物流异常"和"退款退货"上的F1分别是0.89和0.93,相比P1的0.71和0.78提升最明显,正好对应我们加的判定规则。

线上灰度跑了两周,日均1.2万单,自动分流占比从68%提到89%,人工复核队列压力下降明显。

七、总结

这轮实验下来,几条经验可以直接复用:

  • 分类任务的Prompt优化优先级:业务规则说明 > 覆盖决策边界的少样本 > 结构化输出约束 > 角色设定 > CoT(基本不需要)。
  • 少样本不是越多越好,6例左右性价比最高,关键要选易混样本,均匀覆盖类别是无效的。
  • Token成本要算总账:P6单条贵2.3倍,但省下的人工成本远高于此。反过来,如果任务量大且准确率要求不高,P2是很好的折中。
  • 结构化输出一定要加硬约束,json_object模式 + 兜底解析,别信模型自觉。

下一步打算试试把分类规则做成可配置的YAML,让业务方自己维护,避免每次规则调整都要改代码重新发版。另外想验证一下用更小的模型(比如gpt-4o-mini换成更便宜的替代)跑P6,看准确率能守住多少。

代码和测试集脱敏脚本我整理在本地仓库了,有需要的可以评论区交流。