**
一、问题背景
上个月接手一个电商评论分析模块,需求很朴素:从用户评论里抽出四个字段——商品名、评分(1-5)、问题类型(物流/质量/客服/价格/其他)、情感极性(正/负/中)。下游要拿这些字段做聚合报表,所以格式必须是稳定 JSON,字段缺失比字段错误更麻烦。
一开始我随手写了个零样本 prompt,跑通就上线了。结果第一周就出问题:模型偶尔在 JSON 前后加"好的,以下是解析结果:"这种前缀,json.loads() 直接炸;偶尔把"评分"输出成"4分"而不是数字 4;更离谱的是有些评论里根本没提商品名,模型开始编。
于是我决定正经做一轮 Prompt Engineering 实验,把几种常见套路放在同一批数据上量化对比。本文就是这轮实验的记录。
二、环境与版本
| 项目 | 版本/配置 |
|---|---|
| Python | 3.11.7 |
| openai SDK | 1.35.0 |
| 模型 | gpt-4o-mini(2024-07-18 快照) |
| temperature | 0(保证可复现) |
| max_tokens | 256 |
| 测试集 | 200 条人工标注电商评论,四字段均有 gold label |
| 评测指标 | 字段级 exact match 准确率、JSON 解析成功率、平均 token、p50 延迟 |
选 gpt-4o-mini 是因为生产环境就是这个,成本敏感,单条预算控制在 300 token 以内。所有实验单线程串行跑,避免并发带来的延迟噪声。
三、方案设计
我设计了 4 个递进方案,核心变量是"给模型的约束强度":
- P1 零样本直问:一句话描述任务,要求输出 JSON。
- P2 角色 + 格式约束:加系统角色,明确字段枚举值,强调"只输出 JSON,不要任何解释"。
- P3 Few-shot:在 P2 基础上给 3 个覆盖边界情况的示例(含"商品名缺失"和"情感中性")。
- P4 结构化模板 + CoT + JSON Schema:分区块(任务/规则/字段定义/输出格式),要求模型先在 `` 里简短推理再给 JSON,并在 prompt 里内联 JSON Schema。
评测脚本统一:解析时先尝试直接 json.loads,失败则用正则抠第一个 {...} 块再解析,两者都失败记为解析失败。
四、核心实现
先看四个 prompt 的实际写法(这是实验的核心变量,必须贴出来):
# prompts.py
SYSTEM_P2 = "你是一个严谨的电商评论信息抽取引擎,只输出 JSON,不输出任何其他文字。"
P1 = """从下面的评论中抽取商品名、评分、问题类型、情感极性,用 JSON 输出。
评论:{text}"""
P2 = """抽取以下字段,输出 JSON:
- product: 商品名字符串,未提及则为 null
- rating: 1-5 的整数,未提及则为 null
- issue_type: 只能是 [物流, 质量, 客服, 价格, 其他] 之一
- sentiment: 只能是 [正, 负, 中] 之一
评论:{text}"""
FEWSHOT = """示例1:
评论:耳机音质不错,就是发货慢了两天。
输出:{{"product":"耳机","rating":null,"issue_type":"物流","sentiment":"中"}}
示例2:
评论:充电器用了三天就坏了,客服还不理人。
输出:{{"product":"充电器","rating":null,"issue_type":"质量","sentiment":"负"}}
示例3:
评论:5分好评,包装完好,下次还来。
输出:{{"product":null,"rating":5,"issue_type":"其他","sentiment":"正"}}
现在处理:
评论:{text}"""
P4 = """## 任务
从电商评论中抽取结构化信息。
## 规则
1. 只依据评论原文,禁止推断或编造未出现的信息。
2. 未提及的字段一律填 null,不要填 "未知" 或空字符串。
3. rating 必须是整数,不要把"4分"写成字符串。
## 输出格式(严格遵守此 JSON Schema)
{{"product": string|null, "rating": integer|null, "issue_type": "物流"|"质量"|"客服"|"价格"|"其他", "sentiment": "正"|"负"|"中"}}
## 处理流程
先在 中用一句话说明判断依据,再输出 JSON。
评论:{text}"""
评测主循环(含 token 统计与解析兜底):
# evaluate.py
import json, re, time
from openai import OpenAI
from prompts import SYSTEM_P2, P1, P2, FEWSHOT, P4
client = OpenAI(api_key="sk-xxx")
def parse_json(raw: str):
try:
return json.loads(raw), "direct"
except json.JSONDecodeError:
m = re.search(r"\{.*?\}", raw, re.S)
if m:
try:
return json.loads(m.group()), "regex"
except json.JSONDecodeError:
pass
return None, "fail"
def run_one(prompt_tpl, text, use_system=False):
messages = []
if use_system:
messages.append({"role": "system", "content": SYSTEM_P2})
messages.append({"role": "user", "content": prompt_tpl.format(text=text)})
t0 = time.time()
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=messages,
temperature=0,
max_tokens=256,
)
latency = time.time() - t0
raw = resp.choices[0].message.content
data, mode = parse_json(raw)
return {
"raw": raw, "data": data, "parse_mode": mode,
"in_tok": resp.usage.prompt_tokens,
"out_tok": resp.usage.completion_tokens,
"latency": latency,
}
def field_acc(pred, gold):
if pred is None:
return 0.0
hit = sum(1 for k in gold if pred.get(k) == gold[k])
return hit / len(gold)
if __name__ == "__main__":
samples = json.load(open("dataset_200.json")) # [{"text":..., "gold": {...}}, ...]
configs = {
"P1": (P1, False), "P2": (P2, True),
"P3": (FEWSHOT, True), "P4": (P4, True),
}
for name, (tpl, use_sys) in configs.items():
accs, in_toks, out_toks, lats, fails = [], [], [], [], 0
for s in samples:
r = run_one(tpl, s["text"], use_sys)
if r["parse_mode"] == "fail":
fails += 1
accs.append(field_acc(r["data"], s["gold"]))
in_toks.append(r["in_tok"]); out_toks.append(r["out_tok"])
lats.append(r["latency"])
n = len(samples)
print(f"{name}: acc={sum(accs)/n:.3f} parse_fail={fails}/{n} "
f"in={sum(in_toks)/n:.1f} out={sum(out_toks)/n:.1f} "
f"p50={sorted(lats)[n//2]*1000:.0f}ms")
五、踩坑与优化
坑 1:P1 的解析失败率高达 11%。 200 条里 22 条解析失败,几乎全是模型加了"以下是解析结果:"前缀,或者用了 markdown 代码围栏。这不是模型不聪明,是我没约束输出空间。P2 加"只输出 JSON"后失败率降到 1.5%。
坑 2:max_tokens=256 对 P4 差点不够。 P4 要求先输出 ` 再输出 JSON,平均输出 118 token,但个别长评论推理写多了会顶到 256 上限被截断,JSON 直接不完整。后来把max_tokens提到 320,并把 reasoning 限制为"一句话",截断率归零。这个坑很隐蔽——不看finish_reason == "length"` 根本发现不了,建议在评测里显式统计。
坑 3:Few-shot 示例的"负面迁移"。 我最初的示例 1 是"物流问题 + 中性情感",结果模型在测试集上把好几条明显的负面物流评论也判成"中"。换成一个更典型的负面示例后,物流类的情感准确率从 81% 回到 93%。示例不是越多越好,是要覆盖边界,且别让某个组合过度代表。
坑 4:temperature=0 不等于完全确定。 同一输入重跑两次,P3 有约 0.5% 的输出差异(主要出现在 null 和"其他"的抉择上)。所以评测我只跑一轮、200 条,结论看趋势而非小数点后两位。
六、效果数据
200 条测试集,单条平均结果:
| 方案 | 字段准确率 | 解析失败率 | 平均输入 token | 平均输出 token | 平均总 token | p50 延迟 |
|---|---|---|---|---|---|---|
| P1 零样本 | 78.5% | 11.0% | 62 | 41 | 103 | 620ms |
| P2 角色+格式 | 88.0% | 1.5% | 118 | 38 | 156 | 680ms |
| P3 Few-shot | 96.5% | 0.5% | 342 | 37 | 379 | 910ms |
| P4 模板+CoT | 94.0% | 0.5% | 214 | 118 | 332 | 1180ms |
几点解读:
- 从 P1 到 P2 是收益最大的一步:token 只涨 51%,准确率涨 9.5 个百分点,解析失败率降了 7 倍。格式约束是性价比之王。
- P3 准确率最高但最贵:379 token/条是最低方案的 3.7 倍。按
gpt-4o-mini输入 $0.15/1M、输出 $0.60/1M 算,200 万条评论 P3 约 $113,P4 约 $99,P2 约 $47。量大的时候这个差距很肉疼。 - P4 的 CoT 让输出 token 涨了 3 倍,延迟也最高,但准确率反而略低于 P3——因为这个任务的判断本身不难,CoT 的收益被示例的收益盖过了。CoT 不是万能药,简单抽取任务上它主要是花钱买可解释性。
- 最终我选了 P4 的模板结构 + P3 的 2 个精简示例 的混合方案,实测 95.5% 准确率、268 token/条,比纯 P3 省 29% 成本。
七、总结
这轮实验最实在的结论有三条:格式约束的边际收益远大于堆示例;Few-shot 的示例质量比数量重要,一个坏示例能把某类准确率拉低 10 个百分点;CoT 在简单抽取任务上是成本项而非收益项。Prompt Engineering 不是玄学,把 token、准确率、解析失败率摆到一张表上,选型就没那么纠结了。下一步我打算把这套评测脚本接进 CI,每次改 prompt 自动跑一遍回归,免得再出现"随手改一句,线上炸一片"的事故。