一、问题背景

上个月接手一个电商后台的评论分析模块,需求很朴素:把用户评论分成正面、负面、中性三类,给运营做舆情看板。团队一开始想上微调,但标注数据只有几百条,训练成本不划算,于是决定先用API做Prompt Engineering,把效果压榨到极限再说。

问题在于,Prompt这东西"能跑"和"跑得好"之间差距很大。我见过同事写的提示词,一条评论分类要烧掉200多个token,准确率还不如我随手写的一句。所以这次我干脆做了个系统性对比实验:同一个任务、同一个模型、同一批测试数据,只改Prompt,看token和准确率怎么变。

这篇博客就是实验记录,包含代码、数据和我踩过的坑。模型用的是 gpt-4o-mini(快照 gpt-4o-mini-2024-07-18),SDK是 openai==1.40.0,Python 3.11。测试集是我从真实评论里抽的200条,人工标好三类标签,正负中各80条,中性40条。

二、环境与版本

先把环境和参数固定下来,不然对比没意义。

  • 模型:gpt-4o-mini-2024-07-18
  • SDK:openai==1.40.0
  • Python:3.11.9
  • 参数:temperature=0(分类任务要稳定)、max_tokens=16(标签很短,给多了浪费)、top_p=1
  • 测试集:200条,正/负各80,中性40
  • 评测指标:准确率 + 平均单条token消耗(输入+输出)+ P95延迟

统一用 response.usage 拿真实token数,不自己估算。下面是跑实验的骨架代码:

import json
import time
from openai import OpenAI

client = OpenAI(api_key="sk-xxx")

def classify(prompt_template, review, few_shot_examples=None):
    messages = [{"role": "system", "content": prompt_template}]
    if few_shot_examples:
        for ex in few_shot_examples:
            messages.append({"role": "user", "content": ex["text"]})
            messages.append({"role": "assistant", "content": ex["label"]})
    messages.append({"role": "user", "content": review})

    t0 = time.time()
    resp = client.chat.completions.create(
        model="gpt-4o-mini-2024-07-18",
        messages=messages,
        temperature=0,
        max_tokens=16,
        top_p=1,
    )
    latency = (time.time() - t0) * 1000
    usage = resp.usage
    return {
        "label": resp.choices[0].message.content.strip(),
        "prompt_tokens": usage.prompt_tokens,
        "completion_tokens": usage.completion_tokens,
        "latency_ms": latency,
    }

def evaluate(prompt_template, dataset, few_shot_examples=None):
    correct, total_tokens, latencies = 0, 0, []
    for item in dataset:
        r = classify(prompt_template, item["text"], few_shot_examples)
        if r["label"] == item["label"]:
            correct += 1
        total_tokens += r["prompt_tokens"] + r["completion_tokens"]
        latencies.append(r["latency_ms"])
    n = len(dataset)
    latencies.sort()
    return {
        "accuracy": correct / n,
        "avg_tokens": total_tokens / n,
        "p95_latency_ms": latencies[int(n * 0.95) - 1],
    }

三、方案设计:6版Prompt

我设计了6个版本,基本覆盖了常见的Prompt Engineering手法,从简到繁再回到简:

V1 极简零样本:一句话让模型输出标签。
V2 角色扮演:加"你是资深电商运营"的人设。
V3 少样本:塞3条示例(正负中各一,中性一)。
V4 结构化输出:要求只输出JSON,字段固定。
V5 思维链(CoT):先分析理由再给标签。
V6 压缩结构化:在V4基础上砍掉冗余说明,用分隔符和简短指令。

设计思路很明确:V1到V5是逐步加料,看边际收益;V6是反向操作,验证"加料是否真的必要"。很多教程默认"提示词越长效果越好",我想用数据打脸或者验证。

四、核心实现:6版Prompt具体内容

直接上代码,每个版本的system prompt内容如下:

PROMPTS = {
    "V1_极简": "判断下面评论的情感类别,只输出 正面/负面/中性 之一。",

    "V2_角色": (
        "你是一名有5年经验的电商运营专家,擅长从用户评论中识别情绪。"
        "请判断下面评论的情感类别,只输出 正面/负面/中性 之一。"
    ),

    "V3_少样本": "判断评论情感,只输出 正面/负面/中性 之一。参考示例:",
    # V3 的示例通过 few_shot_examples 参数传入:
    # [{"text": "质量很好,物流也快", "label": "正面"},
    #  {"text": "收到就坏了,客服还不理人", "label": "负面"},
    #  {"text": "东西还行,就是包装一般", "label": "中性"}]

    "V4_结构化": (
        "任务:对电商评论做情感三分类。\n"
        "类别定义:\n"
        "- 正面:明确表达满意或推荐\n"
        "- 负面:明确表达不满、投诉或贬损\n"
        "- 中性:客观描述、褒贬混合或情绪不明确\n"
        "输出格式:仅输出JSON,如 {\"label\": \"正面\"},不要额外文字。"
    ),

    "V5_思维链": (
        "你是电商情感分析专家。请按以下步骤分析评论:\n"
        "1. 找出评论中表达情绪的关键词;\n"
        "2. 判断整体倾向是满意、不满还是中性;\n"
        "3. 给出最终标签。\n"
        "输出格式:{\"reason\": \"一句话理由\", \"label\": \"正面/负面/中性\"}"
    ),

    "V6_压缩": (
        "情感分类:正面|负面|中性。\n"
        "规则:褒义/推荐→正面;投诉/贬损→负面;客观/混合→中性。\n"
        "只输出标签词。"
    ),
}

注意V3的示例是走messages里user/assistant轮次的,不是写进system。这两种做法我都试过,写在system里token更省但模型对示例的"模仿感"稍弱,放在对话轮次里效果更稳。这里选后者。

V5的CoT输出格式是JSON,max_tokens=16会截断reason,所以V5单独把max_tokens调到80。这也是个坑,后面细说。

跑评测的代码:

with open("testset_200.json", "r", encoding="utf-8") as f:
    dataset = json.load(f)

results = {}
for name, p in PROMPTS.items():
    few_shot = None
    max_tok = 16
    if name == "V3_少样本":
        few_shot = [
            {"text": "质量很好,物流也快", "label": "正面"},
            {"text": "收到就坏了,客服还不理人", "label": "负面"},
            {"text": "东西还行,就是包装一般", "label": "中性"},
        ]
    if name == "V5_思维链":
        max_tok = 80  # 给reason留空间
    # 注意:classify里max_tokens是写死的,实验中改成参数传入
    results[name] = evaluate(p, dataset, few_shot)
    print(name, results[name])

(实际代码里我把 max_tokens 提成了 classify 的参数,上面骨架为了简洁写死了,这里说明一下。)

五、踩坑与优化

实验过程中踩了几个值得说的坑:

坑1:V5思维链被max_tokens截断。 一开始V5也用 max_tokens=16,结果输出全是 {"reason": "评论 这种半截JSON,解析失败率超过60%,准确率掉到70%以下。把上限提到80才正常。这提醒我:CoT类提示的输出预算必须按输出结构给,不能按标签长度算。

坑2:V4结构化输出偶尔带markdown代码块。 模型有时候返回 ```json\n{"label":"正面"}\n```,直接字符串比较就废了。解决办法是在评测代码里做清洗:strip掉反引号和json前缀,再json.loads。生产环境建议直接用 response_format={"type": "json_object"},但那个会额外增加约10-15个token的隐性开销,小任务不划算。

坑3:中性类最难分。 所有版本的错误里,中性被误判成正面/负面的比例最高,V1有近一半中性样本判错。原因是中性评论往往带轻微褒贬词("还行""一般"),模型容易偏向极性。V4的类别定义里明确写了"褒贬混合→中性",中性召回从V1的52%提到V4的78%,这是结构化提示最大的收益点。

坑4:少样本示例的选择偏差。 V3最初选的3条示例都是短句,结果模型对长评论倾向输出"中性"(模仿了示例的简短风格)。换成一条长负面、一条短正面、一条混合中性后,准确率涨了4个点。示例的代表性比数量重要。

优化动作:基于以上,最终把V4的定义句和V6的压缩风格合并,得到生产版提示(其实就是V6,但把V4的"褒贬混合→中性"规则保留),这也是最后推荐上线的版本。

六、效果数据

200条测试集,temperature=0,单次运行结果(token为单条平均,含输入+输出):

版本 准确率 平均token/条 P95延迟(ms)
V1 极简 78.5% 41 620
V2 角色 79.0% 58 655
V3 少样本 86.5% 132 810
V4 结构化 90.5% 118 790
V5 思维链 91.5% 187 1420
V6 压缩 90.0% 62 640

几个结论:

  1. 角色扮演几乎没用。V2比V1只高0.5个点,token却多了40%,纯属浪费。人设对分类这种封闭任务帮助有限,对开放生成可能才有用。
  2. 少样本有效但贵。V3准确率涨了8个点,代价是token翻3倍。示例的token成本是实打实的。
  3. 结构化提示性价比最高。V4用118 token拿到90.5%,比V3还准还便宜,因为类别定义消除了歧义。这是本次实验最大的发现。
  4. CoT最准但最不划算。V5准确率91.5%只比V4高1个点,token是V4的1.6倍,延迟翻倍。分类任务上CoT的边际收益很低。
  5. 压缩版是生产最优解。V6把V4的定义浓缩成规则句,62 token做到90.0%,比V4只低0.5个点,成本降47%。按每天10万条评论算,V6比V4每天省约560万token。

按 gpt-4o-mini 输入$0.15/百万token、输出$0.60/百万token估算,V5方案每天成本约$2.9,V6约$0.95,差三倍。对量大管饱的C端业务,这个差距不能忽略。

七、总结

这次实验给我最大的教训是:Prompt Engineering不是堆字数,是消除歧义。V4和V6之所以好,不是因为长或短,而是因为把"什么算中性"这个模型最容易犯迷糊的点写清楚了。反过来,角色扮演、CoT这些"看起来很专业"的技巧,在封闭分类任务上收益有限,甚至负收益。

给同行的建议:先写一版能跑的极简提示,跑出baseline,然后每次只改一个变量,用 usage 字段记录真实token,用固定测试集算准确率。别凭感觉调Prompt,数据会告诉你哪句话是废话。

代码和数据我都整理在本地了,测试集因为涉及真实评论不便公开,但Prompt模板和评测脚本可以直接复用。下一个实验我打算试试批量API(Batch API,五折价格)配合V6,看看延迟换成本这笔账划不划算,有结果再写一篇。