一、问题背景

上个月接手一个电商评论情感分类模块,需求很朴素:给定一条中文评论,输出 positive / neutral / negative 三分类标签,并附带一句理由。团队一开始的方案是直接丢一句"请判断这条评论的情感",结果上线一周后,运营反馈"明显是差评的判成中性",且下游解析经常报错——模型有时候返回"这条评论是正面的",有时候返回"positive",格式完全不统一。

这不是模型能力问题,是Prompt设计问题。我花了大概三天时间做了一轮系统性对比实验,把5种Prompt策略在同一份测试集上跑了一遍,记录了准确率、Token消耗、延迟和格式合规率。这篇文章就是把实验过程和数据摊开讲清楚,给同样在做分类任务的同学一个参考。

二、环境与版本

  • Python 3.11.6
  • openai SDK 1.51.0(调用 GPT-4o-mini,模型快照 gpt-4o-mini-2024-07-18)
  • dashscope SDK 1.20.0(调用 Qwen2.5-7B-Instruct)
  • 测试集:自建电商评论 200 条,人工标注三分类,positive 92 条 / neutral 61 条 / negative 47 条
  • 评测脚本单机运行,temperature=0,top_p=1,max_tokens=256
  • 统计指标:Accuracy、Macro-F1、平均 prompt tokens、平均 completion tokens、P95 延迟、JSON 可解析率

说明一下:所有实验 temperature 都设 0,目的是减少随机性,方便横向比较;真实线上如果追求多样性可以调,但分类任务没必要。

三、方案设计

设计了 5 组 Prompt,覆盖从"最懒"到"最工程化"的梯度:

编号 策略 核心特征
P1 零样本直问 一句话指令,无格式约束
P2 少样本 3-shot 给 3 条示例,无格式约束
P3 角色扮演 "你是资深电商运营专家……"
P4 结构化 CoT 分步骤:先提取情绪词→再判断极性→最后给标签
P5 JSON 强制输出 + CoT 结构化推理 + response_format 约束

P1 到 P4 的输出用正则兜底解析,P5 直接 json.loads。这样对比才有意义——不能因为 P5 格式好就忽略它可能推理更啰嗦。

四、核心实现

先贴评测主循环,这是所有实验共用的骨架:

import json, re, time
from openai import OpenAI

client = OpenAI(api_key="sk-xxx", base_url="https://api.openai.com/v1")

def call_model(prompt: str, system: str = "") -> dict:
    messages = []
    if system:
        messages.append({"role": "system", "content": system})
    messages.append({"role": "user", "content": prompt})
    t0 = time.time()
    resp = client.chat.completions.create(
        model="gpt-4o-mini-2024-07-18",
        messages=messages,
        temperature=0,
        top_p=1,
        max_tokens=256,
    )
    latency = time.time() - t0
    return {
        "text": resp.choices[0].message.content,
        "prompt_tokens": resp.usage.prompt_tokens,
        "completion_tokens": resp.usage.completion_tokens,
        "latency": latency,
    }

LABEL_PAT = re.compile(r"(positive|neutral|negative)", re.I)

def parse_label(text: str):
    m = LABEL_PAT.search(text)
    return m.group(1).lower() if m else None

再看 P4 和 P5 这两个关键 Prompt 的具体写法。P4 的结构化 CoT:

P4_TEMPLATE = """请按以下步骤分析这条电商评论:

步骤1:列出评论中表达情绪的关键词(最多3个)。
步骤2:判断整体情感极性,只能从 positive / neutral / negative 中选一个。
步骤3:用一句话说明理由。

输出格式:
关键词:...
极性:...
理由:...

评论:{review}
"""

P5_TEMPLATE = """分析电商评论情感,严格输出JSON,不要输出任何其他内容。

JSON schema:
{{"keywords": ["..."], "sentiment": "positive|neutral|negative", "reason": "..."}}

分析步骤(内部思考,不要输出):
1. 提取情绪关键词
2. 判断极性
3. 生成简短理由

评论:{review}
"""

P5 调用时额外加 response_format={"type": "json_object"},并在 system 里强调"只输出 JSON"。这里有个坑后面会讲。

五、踩坑与优化

坑1:P5 的 JSON 逃逸。 最早 P5 模板里直接写了 schema 示例,结果模型有时候把示例也当输出,返回两段 JSON。后来改成用 {{}} 转义 + system 里明确"不要复述 schema",才稳定。另外 response_format=json_object 要求 prompt 里必须出现 "JSON" 字样,否则 OpenAI 会报 400,这个文档里写得不显眼。

坑2:P3 角色扮演反而降低准确率。 "你是资深电商运营专家"这种 system prompt 在分类任务上让模型倾向于"过度解读",把中性评论判成负面。准确率比 P1 还低 2.1 个百分点。结论:角色扮演适合生成类任务,分类任务里是噪音。

坑3:P2 少样本的示例顺序有影响。 把 negative 示例放最后,模型对负面评论的召回明显提升(F1 +4.2)。这是经典的 recency bias,做 few-shot 时示例顺序要按类别平衡排布,别一股脑把 positive 堆前面。

坑4:max_tokens=256 对 P4 偶尔不够。 有 3 条长评论触发截断,导致解析失败。把 max_tokens 提到 320 后解决,但 Token 成本上升,最后折中到 288。

六、效果数据

200 条测试集,GPT-4o-mini 上的结果:

策略 Accuracy Macro-F1 平均prompt tokens 平均completion tokens P95延迟(ms) 可解析率
P1 零样本 0.715 0.682 38 21 640 91.5%
P2 3-shot 0.780 0.751 312 19 810 93.0%
P3 角色扮演 0.694 0.660 52 34 720 88.5%
P4 结构化CoT 0.899 0.881 96 87 1180 96.0%
P5 JSON+CoT 0.905 0.889 118 92 1240 100%

几个关键结论:

  1. P4 相对 P1 准确率提升 18.4 个百分点,Macro-F1 提升 19.9 个百分点,代价是 prompt tokens 从 38 涨到 96(2.5 倍),completion 从 21 涨到 87(4.1 倍)。按 gpt-4o-mini 的定价(输入 $0.15/1M,输出 $0.60/1M)算,单条成本从约 $0.000018 涨到 $0.000067,涨了 3.7 倍。但分类任务量级不大,这个成本完全可接受。
  2. P5 相比 P4 准确率只多 0.6 个百分点,但可解析率从 96% 拉到 100%,下游不用写正则兜底,工程上更省心。如果下游是程序消费,P5 是首选。
  3. P2 少样本性价比其实不错,Token 涨了 8 倍但准确率只涨 6.5 个点,不如 P4。few-shot 在分类任务里被 CoT 全面压制。
  4. P3 角色扮演是负收益,直接排除。

Qwen2.5-7B-Instruct 上趋势一致,但整体低 6-9 个百分点,P5 的 JSON 合规率只有 97.5%(有 5 条输出带了 markdown 代码块包裹),需要额外 strip 处理。

七、总结

这轮实验最直接的收获:分类任务别用角色扮演,上结构化 CoT,下游要程序消费就加 JSON 约束。P5 是我最终上线的方案,配合 response_format=json_object 和正则兜底双保险,线上跑了三周,格式错误率 0,人工抽检准确率 90% 左右,和离线数据吻合。

另一个体会是:Prompt 实验一定要固定 temperature、固定测试集、记录 Token,否则不同 Prompt 之间的对比没有意义。我见过太多"感觉这个 Prompt 更好"的讨论,最后落地翻车的。数据说话,比什么都靠谱。

后续打算再测一轮 P5 在 few-shot + CoT 组合下的表现,以及把 200 条扩到 1000 条看方差,有结果再更新。