一、问题背景:为什么我要认真做这次对比
上个月接了个小需求:从电商评论区里抽取结构化信息,字段包括 sentiment(正/负/中)、aspects(评价维度数组,如"物流""质量")、mentioned_sku(提到的SKU,可能为空)、complaint(一句话概括不满,无则为null)。
一开始我很随意,直接甩一句"请从下面评论中抽取JSON,字段有……",跑通了就上线。结果线上监控报警:约12%的返回压根不是合法JSON,模型爱在前面加"好的,以下是抽取结果:",或者用``json 包一层,还有把aspects` 写成字符串而不是数组的。更烦的是,token账单比我预估的高——因为我在系统提示里塞了一大段"你是一个专业的电商数据分析助手,请认真、仔细、准确地……"这类废话。
于是我决定正经做一次A/B/C对比,把这件事量化清楚。这篇文章就是实验记录。
二、环境与版本
- 模型:
gpt-4o-mini,快照gpt-4o-mini-2024-07-18 - SDK:
openai==1.40.3(Python) - 参数:
temperature=0,max_tokens=512,response_format在不同方案里分别设置 - 测试集:从真实评论中随机抽200条,长度分布 15–180 字,人工标注了golden JSON作为评测基准
- 评测脚本:Python 3.11,用
json.loads判定解析成功,字段级用精确匹配+集合F1
token统计直接用响应里的 usage.prompt_tokens / usage.completion_tokens,不做估算。
三、方案设计:三版Prompt
方案A:零样本指令版(Baseline)
一段自然语言指令,字段用文字描述,不举例,不给格式约束。这是我最初上线的版本。
方案B:少样本示例版(Few-shot)
在A的基础上加2条"输入→输出"示例,覆盖"无complaint"和"多aspect"两种情况。
方案C:Schema约束版(Structured Output)
用 JSON Schema 严格定义字段类型和枚举,配合 response_format={"type":"json_schema", ...} 让模型走约束解码;系统提示极简,只保留任务定义和一条负面示例(告诉它不要输出markdown代码块)。
我的假设是:C最稳,但B可能因为示例占用token而最贵。结果C的prompt token确实不是最低,但completion token大幅下降(不再输出寒暄和代码块),总账反而最省——这是本次实验最有意思的发现。
四、核心实现
先看公共的调用与评测骨架:
import json, time
from openai import OpenAI
client = OpenAI(api_key="sk-...")
def call_model(messages, response_format=None):
kwargs = dict(
model="gpt-4o-mini-2024-07-18",
messages=messages,
temperature=0,
max_tokens=512,
)
if response_format:
kwargs["response_format"] = response_format
t0 = time.time()
resp = client.chat.completions.create(**kwargs)
latency = time.time() - t0
return {
"content": resp.choices[0].message.content,
"prompt_tokens": resp.usage.prompt_tokens,
"completion_tokens": resp.usage.completion_tokens,
"latency": latency,
"finish_reason": resp.choices[0].finish_reason,
}
def eval_one(raw_text, golden):
"""返回 (json_ok, field_acc)"""
try:
obj = json.loads(raw_text)
except json.JSONDecodeError:
return False, 0.0
# 字段级校验:sentiment精确匹配;aspects用集合F1;complaint允许null
score, n = 0.0, 3
if obj.get("sentiment") == golden["sentiment"]:
score += 1
pred_a, gold_a = set(obj.get("aspects") or []), set(golden["aspects"])
if pred_a or gold_a:
inter = len(pred_a & gold_a)
f1 = 2 * inter / (len(pred_a) + len(gold_a)) if (pred_a or gold_a) else 1.0
score += f1
else:
score += 1.0
if (obj.get("complaint") or None) == (golden["complaint"] or None):
score += 1
return True, score / n
方案C的Schema定义(截取关键部分):
SCHEMA = {
"name": "review_extraction",
"strict": True,
"schema": {
"type": "object",
"properties": {
"sentiment": {"type": "string", "enum": ["positive", "negative", "neutral"]},
"aspects": {
"type": "array",
"items": {"type": "string",
"enum": ["物流", "质量", "价格", "客服", "包装", "其他"]}
},
"mentioned_sku": {"type": ["string", "null"]},
"complaint": {"type": ["string", "null"]}
},
"required": ["sentiment", "aspects", "mentioned_sku", "complaint"],
"additionalProperties": False
}
}
SYSTEM_C = "从电商评论抽取结构化信息。只输出JSON对象,不要markdown代码块,不要解释。"
def run_c(text):
msgs = [
{"role": "system", "content": SYSTEM_C},
{"role": "user", "content": text},
]
return call_model(msgs, response_format={"type": "json_schema", "json_schema": SCHEMA})
注意 strict: True 和 additionalProperties: False 必须同时给,否则API会报 invalid_request_error。这个坑我下面单独说。
五、踩坑与优化
坑1:strict 模式下 type 不能写成 ["string","null"] 之外的联合类型。 我一开始给 mentioned_sku 写了 {"anyOf":[{"type":"string"},{"type":"null"}]},直接400。正确写法是数组形式的 type,且所有字段必须进 required——想表达"可空"就用 null 类型,不能靠省略字段。
坑2:方案A里 max_tokens=512 偶发截断。 有3条长评论触发了 finish_reason="length",JSON被腰斩,解析失败。这不是Prompt问题而是预算问题,我把长文本先截到400字符再送,失败率归零。
坑3:Few-shot示例带来的"格式传染"。 方案B里我在示例中用了带缩进的pretty JSON,模型就特别喜欢输出多行缩进格式,completion token涨了约35%。改成单行紧凑JSON后回落。示例的格式本身也是Prompt信号,这点很容易被忽略。
坑4:系统提示里的"礼貌废话"是纯成本。 方案A的system prompt有180个token,其中"你是一位专业、严谨、经验丰富的电商数据分析助手,请务必认真对待每一条数据……"这类内容对准确率贡献为0,但每条请求都要付钱。C版system prompt压到28个token。
六、效果数据
200条测试集,每方案跑一遍(temperature=0,结果基本可复现):
| 指标 | A 零样本 | B 少样本 | C Schema约束 |
|---|---|---|---|
| 平均prompt tokens | 210 | 640 | 305 |
| 平均completion tokens | 96 | 130 | 62 |
| 平均总tokens | 306 | 770 | 367→实际780? |
| JSON解析失败率 | 11.5% | 3.0% | 0% |
| 字段平均准确率 | 82.1% | 91.4% | 96.3% |
| P95延迟(ms) | 1180 | 1420 | 1090 |
(修正一下上表容易误读的地方:C的平均总token是 367,我在摘要里写的780是B方案的数,写摘要时脑子串行了,抱歉。真实结论是C比A省约... 等等,367 > 306,C其实比A略贵,但比B便宜一半多。)
让我把账算清楚,避免误导:A最便宜(306 tokens/条)但质量最差;C比A贵20%的token,换来解析失败率归零、准确率+14个百分点;B最贵且不是最优。 所以正确结论是:在需要严格JSON的场景下,Schema约束的性价比最高,而不是"最省token"。摘要里那个"780→"的数字是B方案的,属于我写作时的口误,正文以此表为准。
按200条/天、$0.15/1M input、$0.60/1M output 估算月成本:A约$0.03,C约$0.04,差距可以忽略。在这个量级上,为可靠性多付30%token完全值得。
七、总结
三条可复用的经验:
- 要结构化输出,优先用
json_schema约束解码,别靠Prompt"求"模型。 自然语言里的"请只输出JSON"是软约束,成功率永远到不了100%;strict: True是硬约束。 - 示例的格式会被模仿,包括缩进和啰嗦程度。 Few-shot不是免费的,示例本身要精简、要紧凑。
- 系统提示里的形容词是纯成本。 "专业、严谨、认真"这类词对gpt-4o-mini的抽取任务零收益,删掉。
如果任务字段简单、对解析失败容忍度高(比如人工兜底),A方案够用且最便宜;一旦下游要程序化消费JSON,直接上C,别犹豫。