**

一、问题背景

上个月接手一个电商评论分析模块,需求很朴素:从用户评论里抽出四个字段——商品名、评分(1-5)、问题类型(物流/质量/客服/价格/其他)、情感极性(正/负/中)。下游要拿这些字段做聚合报表,所以格式必须是稳定 JSON,字段缺失比字段错误更麻烦。

一开始我随手写了个零样本 prompt,跑通就上线了。结果第一周就出问题:模型偶尔在 JSON 前后加"好的,以下是解析结果:"这种前缀,json.loads() 直接炸;偶尔把"评分"输出成"4分"而不是数字 4;更离谱的是有些评论里根本没提商品名,模型开始编。

于是我决定正经做一轮 Prompt Engineering 实验,把几种常见套路放在同一批数据上量化对比。本文就是这轮实验的记录。

二、环境与版本

项目 版本/配置
Python 3.11.7
openai SDK 1.35.0
模型 gpt-4o-mini(2024-07-18 快照)
temperature 0(保证可复现)
max_tokens 256
测试集 200 条人工标注电商评论,四字段均有 gold label
评测指标 字段级 exact match 准确率、JSON 解析成功率、平均 token、p50 延迟

选 gpt-4o-mini 是因为生产环境就是这个,成本敏感,单条预算控制在 300 token 以内。所有实验单线程串行跑,避免并发带来的延迟噪声。

三、方案设计

我设计了 4 个递进方案,核心变量是"给模型的约束强度":

  • P1 零样本直问:一句话描述任务,要求输出 JSON。
  • P2 角色 + 格式约束:加系统角色,明确字段枚举值,强调"只输出 JSON,不要任何解释"。
  • P3 Few-shot:在 P2 基础上给 3 个覆盖边界情况的示例(含"商品名缺失"和"情感中性")。
  • P4 结构化模板 + CoT + JSON Schema:分区块(任务/规则/字段定义/输出格式),要求模型先在 `` 里简短推理再给 JSON,并在 prompt 里内联 JSON Schema。

评测脚本统一:解析时先尝试直接 json.loads,失败则用正则抠第一个 {...} 块再解析,两者都失败记为解析失败。

四、核心实现

先看四个 prompt 的实际写法(这是实验的核心变量,必须贴出来):

# prompts.py
SYSTEM_P2 = "你是一个严谨的电商评论信息抽取引擎,只输出 JSON,不输出任何其他文字。"

P1 = """从下面的评论中抽取商品名、评分、问题类型、情感极性,用 JSON 输出。
评论:{text}"""

P2 = """抽取以下字段,输出 JSON:
- product: 商品名字符串,未提及则为 null
- rating: 1-5 的整数,未提及则为 null
- issue_type: 只能是 [物流, 质量, 客服, 价格, 其他] 之一
- sentiment: 只能是 [正, 负, 中] 之一
评论:{text}"""

FEWSHOT = """示例1:
评论:耳机音质不错,就是发货慢了两天。
输出:{{"product":"耳机","rating":null,"issue_type":"物流","sentiment":"中"}}

示例2:
评论:充电器用了三天就坏了,客服还不理人。
输出:{{"product":"充电器","rating":null,"issue_type":"质量","sentiment":"负"}}

示例3:
评论:5分好评,包装完好,下次还来。
输出:{{"product":null,"rating":5,"issue_type":"其他","sentiment":"正"}}

现在处理:
评论:{text}"""

P4 = """## 任务
从电商评论中抽取结构化信息。

## 规则
1. 只依据评论原文,禁止推断或编造未出现的信息。
2. 未提及的字段一律填 null,不要填 "未知" 或空字符串。
3. rating 必须是整数,不要把"4分"写成字符串。

## 输出格式(严格遵守此 JSON Schema)
{{"product": string|null, "rating": integer|null, "issue_type": "物流"|"质量"|"客服"|"价格"|"其他", "sentiment": "正"|"负"|"中"}}

## 处理流程
先在  中用一句话说明判断依据,再输出 JSON。

评论:{text}"""

评测主循环(含 token 统计与解析兜底):

# evaluate.py
import json, re, time
from openai import OpenAI
from prompts import SYSTEM_P2, P1, P2, FEWSHOT, P4

client = OpenAI(api_key="sk-xxx")

def parse_json(raw: str):
    try:
        return json.loads(raw), "direct"
    except json.JSONDecodeError:
        m = re.search(r"\{.*?\}", raw, re.S)
        if m:
            try:
                return json.loads(m.group()), "regex"
            except json.JSONDecodeError:
                pass
    return None, "fail"

def run_one(prompt_tpl, text, use_system=False):
    messages = []
    if use_system:
        messages.append({"role": "system", "content": SYSTEM_P2})
    messages.append({"role": "user", "content": prompt_tpl.format(text=text)})
    t0 = time.time()
    resp = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=messages,
        temperature=0,
        max_tokens=256,
    )
    latency = time.time() - t0
    raw = resp.choices[0].message.content
    data, mode = parse_json(raw)
    return {
        "raw": raw, "data": data, "parse_mode": mode,
        "in_tok": resp.usage.prompt_tokens,
        "out_tok": resp.usage.completion_tokens,
        "latency": latency,
    }

def field_acc(pred, gold):
    if pred is None:
        return 0.0
    hit = sum(1 for k in gold if pred.get(k) == gold[k])
    return hit / len(gold)

if __name__ == "__main__":
    samples = json.load(open("dataset_200.json"))  # [{"text":..., "gold": {...}}, ...]
    configs = {
        "P1": (P1, False), "P2": (P2, True),
        "P3": (FEWSHOT, True), "P4": (P4, True),
    }
    for name, (tpl, use_sys) in configs.items():
        accs, in_toks, out_toks, lats, fails = [], [], [], [], 0
        for s in samples:
            r = run_one(tpl, s["text"], use_sys)
            if r["parse_mode"] == "fail":
                fails += 1
            accs.append(field_acc(r["data"], s["gold"]))
            in_toks.append(r["in_tok"]); out_toks.append(r["out_tok"])
            lats.append(r["latency"])
        n = len(samples)
        print(f"{name}: acc={sum(accs)/n:.3f} parse_fail={fails}/{n} "
              f"in={sum(in_toks)/n:.1f} out={sum(out_toks)/n:.1f} "
              f"p50={sorted(lats)[n//2]*1000:.0f}ms")

五、踩坑与优化

坑 1:P1 的解析失败率高达 11%。 200 条里 22 条解析失败,几乎全是模型加了"以下是解析结果:"前缀,或者用了 markdown 代码围栏。这不是模型不聪明,是我没约束输出空间。P2 加"只输出 JSON"后失败率降到 1.5%。

坑 2:max_tokens=256 对 P4 差点不够。 P4 要求先输出 ` 再输出 JSON,平均输出 118 token,但个别长评论推理写多了会顶到 256 上限被截断,JSON 直接不完整。后来把max_tokens提到 320,并把 reasoning 限制为"一句话",截断率归零。这个坑很隐蔽——不看finish_reason == "length"` 根本发现不了,建议在评测里显式统计。

坑 3:Few-shot 示例的"负面迁移"。 我最初的示例 1 是"物流问题 + 中性情感",结果模型在测试集上把好几条明显的负面物流评论也判成"中"。换成一个更典型的负面示例后,物流类的情感准确率从 81% 回到 93%。示例不是越多越好,是要覆盖边界,且别让某个组合过度代表。

坑 4:temperature=0 不等于完全确定。 同一输入重跑两次,P3 有约 0.5% 的输出差异(主要出现在 null 和"其他"的抉择上)。所以评测我只跑一轮、200 条,结论看趋势而非小数点后两位。

六、效果数据

200 条测试集,单条平均结果:

方案 字段准确率 解析失败率 平均输入 token 平均输出 token 平均总 token p50 延迟
P1 零样本 78.5% 11.0% 62 41 103 620ms
P2 角色+格式 88.0% 1.5% 118 38 156 680ms
P3 Few-shot 96.5% 0.5% 342 37 379 910ms
P4 模板+CoT 94.0% 0.5% 214 118 332 1180ms

几点解读:

  1. 从 P1 到 P2 是收益最大的一步:token 只涨 51%,准确率涨 9.5 个百分点,解析失败率降了 7 倍。格式约束是性价比之王。
  2. P3 准确率最高但最贵:379 token/条是最低方案的 3.7 倍。按 gpt-4o-mini 输入 $0.15/1M、输出 $0.60/1M 算,200 万条评论 P3 约 $113,P4 约 $99,P2 约 $47。量大的时候这个差距很肉疼。
  3. P4 的 CoT 让输出 token 涨了 3 倍,延迟也最高,但准确率反而略低于 P3——因为这个任务的判断本身不难,CoT 的收益被示例的收益盖过了。CoT 不是万能药,简单抽取任务上它主要是花钱买可解释性。
  4. 最终我选了 P4 的模板结构 + P3 的 2 个精简示例 的混合方案,实测 95.5% 准确率、268 token/条,比纯 P3 省 29% 成本。

七、总结

这轮实验最实在的结论有三条:格式约束的边际收益远大于堆示例;Few-shot 的示例质量比数量重要,一个坏示例能把某类准确率拉低 10 个百分点;CoT 在简单抽取任务上是成本项而非收益项。Prompt Engineering 不是玄学,把 token、准确率、解析失败率摆到一张表上,选型就没那么纠结了。下一步我打算把这套评测脚本接进 CI,每次改 prompt 自动跑一遍回归,免得再出现"随手改一句,线上炸一片"的事故。