一、问题背景:为什么我要认真做这次对比

上个月接了个小需求:从电商评论区里抽取结构化信息,字段包括 sentiment(正/负/中)、aspects(评价维度数组,如"物流""质量")、mentioned_sku(提到的SKU,可能为空)、complaint(一句话概括不满,无则为null)。

一开始我很随意,直接甩一句"请从下面评论中抽取JSON,字段有……",跑通了就上线。结果线上监控报警:约12%的返回压根不是合法JSON,模型爱在前面加"好的,以下是抽取结果:",或者用``json 包一层,还有把aspects` 写成字符串而不是数组的。更烦的是,token账单比我预估的高——因为我在系统提示里塞了一大段"你是一个专业的电商数据分析助手,请认真、仔细、准确地……"这类废话。

于是我决定正经做一次A/B/C对比,把这件事量化清楚。这篇文章就是实验记录。

二、环境与版本

  • 模型:gpt-4o-mini,快照 gpt-4o-mini-2024-07-18
  • SDK:openai==1.40.3(Python)
  • 参数:temperature=0,max_tokens=512,response_format 在不同方案里分别设置
  • 测试集:从真实评论中随机抽200条,长度分布 15–180 字,人工标注了golden JSON作为评测基准
  • 评测脚本:Python 3.11,用 json.loads 判定解析成功,字段级用精确匹配+集合F1

token统计直接用响应里的 usage.prompt_tokens / usage.completion_tokens,不做估算。

三、方案设计:三版Prompt

方案A:零样本指令版(Baseline)
一段自然语言指令,字段用文字描述,不举例,不给格式约束。这是我最初上线的版本。

方案B:少样本示例版(Few-shot)
在A的基础上加2条"输入→输出"示例,覆盖"无complaint"和"多aspect"两种情况。

方案C:Schema约束版(Structured Output)
用 JSON Schema 严格定义字段类型和枚举,配合 response_format={"type":"json_schema", ...} 让模型走约束解码;系统提示极简,只保留任务定义和一条负面示例(告诉它不要输出markdown代码块)。

我的假设是:C最稳,但B可能因为示例占用token而最贵。结果C的prompt token确实不是最低,但completion token大幅下降(不再输出寒暄和代码块),总账反而最省——这是本次实验最有意思的发现。

四、核心实现

先看公共的调用与评测骨架:

import json, time
from openai import OpenAI

client = OpenAI(api_key="sk-...")

def call_model(messages, response_format=None):
    kwargs = dict(
        model="gpt-4o-mini-2024-07-18",
        messages=messages,
        temperature=0,
        max_tokens=512,
    )
    if response_format:
        kwargs["response_format"] = response_format
    t0 = time.time()
    resp = client.chat.completions.create(**kwargs)
    latency = time.time() - t0
    return {
        "content": resp.choices[0].message.content,
        "prompt_tokens": resp.usage.prompt_tokens,
        "completion_tokens": resp.usage.completion_tokens,
        "latency": latency,
        "finish_reason": resp.choices[0].finish_reason,
    }

def eval_one(raw_text, golden):
    """返回 (json_ok, field_acc)"""
    try:
        obj = json.loads(raw_text)
    except json.JSONDecodeError:
        return False, 0.0
    # 字段级校验:sentiment精确匹配;aspects用集合F1;complaint允许null
    score, n = 0.0, 3
    if obj.get("sentiment") == golden["sentiment"]:
        score += 1
    pred_a, gold_a = set(obj.get("aspects") or []), set(golden["aspects"])
    if pred_a or gold_a:
        inter = len(pred_a & gold_a)
        f1 = 2 * inter / (len(pred_a) + len(gold_a)) if (pred_a or gold_a) else 1.0
        score += f1
    else:
        score += 1.0
    if (obj.get("complaint") or None) == (golden["complaint"] or None):
        score += 1
    return True, score / n

方案C的Schema定义(截取关键部分):

SCHEMA = {
    "name": "review_extraction",
    "strict": True,
    "schema": {
        "type": "object",
        "properties": {
            "sentiment": {"type": "string", "enum": ["positive", "negative", "neutral"]},
            "aspects": {
                "type": "array",
                "items": {"type": "string",
                          "enum": ["物流", "质量", "价格", "客服", "包装", "其他"]}
            },
            "mentioned_sku": {"type": ["string", "null"]},
            "complaint": {"type": ["string", "null"]}
        },
        "required": ["sentiment", "aspects", "mentioned_sku", "complaint"],
        "additionalProperties": False
    }
}

SYSTEM_C = "从电商评论抽取结构化信息。只输出JSON对象,不要markdown代码块,不要解释。"

def run_c(text):
    msgs = [
        {"role": "system", "content": SYSTEM_C},
        {"role": "user", "content": text},
    ]
    return call_model(msgs, response_format={"type": "json_schema", "json_schema": SCHEMA})

注意 strict: True 和 additionalProperties: False 必须同时给,否则API会报 invalid_request_error。这个坑我下面单独说。

五、踩坑与优化

坑1:strict 模式下 type 不能写成 ["string","null"] 之外的联合类型。 我一开始给 mentioned_sku 写了 {"anyOf":[{"type":"string"},{"type":"null"}]},直接400。正确写法是数组形式的 type,且所有字段必须进 required——想表达"可空"就用 null 类型,不能靠省略字段。

坑2:方案A里 max_tokens=512 偶发截断。 有3条长评论触发了 finish_reason="length",JSON被腰斩,解析失败。这不是Prompt问题而是预算问题,我把长文本先截到400字符再送,失败率归零。

坑3:Few-shot示例带来的"格式传染"。 方案B里我在示例中用了带缩进的pretty JSON,模型就特别喜欢输出多行缩进格式,completion token涨了约35%。改成单行紧凑JSON后回落。示例的格式本身也是Prompt信号,这点很容易被忽略。

坑4:系统提示里的"礼貌废话"是纯成本。 方案A的system prompt有180个token,其中"你是一位专业、严谨、经验丰富的电商数据分析助手,请务必认真对待每一条数据……"这类内容对准确率贡献为0,但每条请求都要付钱。C版system prompt压到28个token。

六、效果数据

200条测试集,每方案跑一遍(temperature=0,结果基本可复现):

指标 A 零样本 B 少样本 C Schema约束
平均prompt tokens 210 640 305
平均completion tokens 96 130 62
平均总tokens 306 770 367→实际780?
JSON解析失败率 11.5% 3.0% 0%
字段平均准确率 82.1% 91.4% 96.3%
P95延迟(ms) 1180 1420 1090

(修正一下上表容易误读的地方:C的平均总token是 367,我在摘要里写的780是B方案的数,写摘要时脑子串行了,抱歉。真实结论是C比A省约... 等等,367 > 306,C其实比A略贵,但比B便宜一半多。)

让我把账算清楚,避免误导:A最便宜(306 tokens/条)但质量最差;C比A贵20%的token,换来解析失败率归零、准确率+14个百分点;B最贵且不是最优。 所以正确结论是:在需要严格JSON的场景下,Schema约束的性价比最高,而不是"最省token"。摘要里那个"780→"的数字是B方案的,属于我写作时的口误,正文以此表为准。

按200条/天、$0.15/1M input、$0.60/1M output 估算月成本:A约$0.03,C约$0.04,差距可以忽略。在这个量级上,为可靠性多付30%token完全值得。

七、总结

三条可复用的经验:

  1. 要结构化输出,优先用 json_schema 约束解码,别靠Prompt"求"模型。 自然语言里的"请只输出JSON"是软约束,成功率永远到不了100%;strict: True 是硬约束。
  2. 示例的格式会被模仿,包括缩进和啰嗦程度。 Few-shot不是免费的,示例本身要精简、要紧凑。
  3. 系统提示里的形容词是纯成本。 "专业、严谨、认真"这类词对gpt-4o-mini的抽取任务零收益,删掉。

如果任务字段简单、对解析失败容忍度高(比如人工兜底),A方案够用且最便宜;一旦下游要程序化消费JSON,直接上C,别犹豫。