一、问题背景

上个月接手一个采购合同归档系统,需求很朴素:把PDF转成文本后,从合同里抽出合同编号、甲乙方名称、签约日期、合同总金额、付款方式这5个字段,写入数据库。文档格式五花八门,有扫描件OCR后的脏文本,也有排版规整的Word导出文本。

一开始想的是上正则。写了半天发现合同编号有“合同编号:”“编号 NO.”“Contract No.”七八种写法,甲乙方名称还经常夹在“甲方(采购方):”这种带括号的句式里,正则维护成本高得离谱。于是转向LLM抽取。

但直接调API也有问题:模型偶尔返回带Markdown代码块的JSON,偶尔在JSON前后加一句“好的,以下是抽取结果”,json.loads直接抛异常;字段缺失时它还会自己编一个日期填上。这就是本文要解决的问题——同一个抽取任务,Prompt怎么写,决定了你是拿到可用数据还是拿到一堆需要人工返工的脏JSON。

二、环境与版本

实验环境如下,都是实际跑的时候的版本,不是随手写的:

  • Python 3.11.6
  • openai SDK 1.35.0
  • 模型:gpt-4o-mini,快照日期 2024-07-18
  • 关键参数:temperature=0(抽取任务不需要创造性)、max_tokens=512、response_format 在前两版方案中不启用,第三版启用 {"type": "json_object"}
  • 数据集:120份采购合同文本,平均字符数 1,850,最长 4,200 字符
  • 评测方式:5个字段逐一比对人工标注结果,字段完全一致记1分,否则0分;JSON可解析且5字段齐全记一次“解析成功”

这里说明一下为什么 temperature=0:抽取是确定性任务,温度调高只会让模型在“金额是12.5万还是125,000”这种地方自由发挥,纯属给自己找麻烦。

三、方案设计

设计了三个递进的Prompt方案,控制变量,只改Prompt本身:

方案A:零样本直问。 一句话把任务和字段列出来,要求返回JSON。这是大多数人第一版会写的东西。

方案B:Few-shot示例。 在A的基础上加两个输入输出示例,一个规整文本、一个OCR脏文本,让模型模仿格式。

方案C:结构化角色约束 + JSON模式。 给模型设定角色(合同信息抽取专员),明确字段定义、缺失处理规则(缺失填 null,禁止推测)、输出格式约束,并启用API的 response_format={"type": "json_object"} 强制JSON输出。

四、核心实现

先贴公共的调用封装和评测代码,三个方案共用:

import json
import time
from openai import OpenAI

client = OpenAI(api_key="sk-xxx")

def call_llm(prompt: str, use_json_mode: bool = False) -> dict:
    kwargs = dict(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
        temperature=0,
        max_tokens=512,
    )
    if use_json_mode:
        kwargs["response_format"] = {"type": "json_object"}
    t0 = time.time()
    resp = client.chat.completions.create(**kwargs)
    latency = time.time() - t0
    return {
        "content": resp.choices[0].message.content,
        "prompt_tokens": resp.usage.prompt_tokens,
        "completion_tokens": resp.usage.completion_tokens,
        "latency": latency,
    }

def evaluate(content: str, gold: dict) -> tuple[bool, float]:
    """返回 (JSON是否可解析且字段齐全, 字段准确率)"""
    try:
        text = content.strip()
        # 容错:剥掉模型可能加的markdown代码块
        if text.startswith("```"):
            text = text.split("```")[1]
            text = text.removeprefix("json").strip()
        obj = json.loads(text)
    except Exception:
        return False, 0.0
    fields = ["contract_no", "party_a", "party_b", "sign_date", "total_amount"]
    if not all(f in obj for f in fields):
        return False, 0.0
    hit = sum(1 for f in fields if str(obj.get(f)).strip() == str(gold.get(f)).strip())
    return True, hit / len(fields)

方案C的Prompt模板,字段定义写得很死,这是关键:

PROMPT_C = """你是合同信息抽取专员。从下面的合同文本中抽取字段,严格按规则输出。

字段定义:
- contract_no: 合同编号,字符串。找不到填 null。
- party_a: 甲方/采购方全称,字符串。去掉“甲方(采购方):”等前缀。
- party_b: 乙方/供应方全称,字符串。
- sign_date: 签约日期,格式 YYYY-MM-DD。原文只有年月时,日填 01。
- total_amount: 合同总金额,纯数字字符串,单位元,去掉货币符号和千分位逗号。

规则:
1. 只输出一个JSON对象,不要输出任何解释文字或markdown代码块。
2. 原文没有的信息一律填 null,禁止推测或编造。
3. 金额若为“壹拾贰万伍仟元”这类中文大写,转换为阿拉伯数字。

合同文本:
{text}
"""

调用时 use_json_mode=True。实测这一步把“模型在JSON前后加客套话”的问题彻底干掉了,比在Prompt里反复强调“只输出JSON”靠谱得多——后者大约还有3%的概率不听话。

五、踩坑与优化

坑1:方案A的解析失败率高达12.5%。 120条里有15条 json.loads 抛异常,其中11条是包了markdown代码块,4条是前后加了“以下是抽取结果:”。这也是为什么方案C直接上 json_object 模式,别跟模型讲道理,用API约束。

坑2:金额字段是重灾区。 方案A在“人民币125,000.00元”上经常输出 "125,000.00元",带单位带逗号。方案C里明确“纯数字字符串、单位元、去千分位”后,这个问题基本消失。另一个细节是中文大写金额,方案B的示例里没覆盖,准确率只有0.62,方案C加了转换规则后到0.91。

坑3:Few-shot不是越多越好。 方案B我一开始塞了4个示例,prompt_tokens从约620涨到约1,340,字段F1只比2个示例高了0.01,延迟还涨了约30%。最后砍回2个,一个规整、一个脏文本,性价比最高。

坑4:max_tokens=512 差点不够。 方案C的Prompt本身约680 token,加上合同文本1,850字符(约900 token,中文按1.5字符/token粗估),输入已经1,500+。输出JSON约90 token,512够用,但如果合同更长就得调。建议按“文本长度 × 1.5 + 800”预留。

六、效果数据

120份合同,三个方案各跑一遍,结果如下:

指标 方案A 零样本 方案B Few-shot 方案C 结构化+JSON模式
平均输入Token 952 1,341 1,618
平均输出Token 87 91 89
JSON解析成功率 87.5% 95.0% 100%
字段F1 0.71 0.84 0.93
平均延迟 1.9s 2.6s 2.4s
单条成本(相对A) 1.0x 1.4x 1.7x

按 gpt-4o-mini 的定价(输入 $0.15/1M token,输出 $0.60/1M token)折算,方案C单条成本约 $0.00030,120条约 $0.036。对比人工抽一条合同平均3分钟,这个成本可以忽略——Token多花70%换来F1涨0.22和零解析失败,这笔账怎么算都值。

另外补一个主观感受:方案C的输出可以直接进 json.loads 入库,方案A的输出得先过一层清洗逻辑,那层清洗代码的维护成本比多出来的Token贵多了。

七、总结

三条可以直接抄走的结论:

  1. 能用 response_format={"type": "json_object"} 就别在Prompt里求模型“只输出JSON”,前者是硬约束,后者是玄学。
  2. 字段定义要写到“可执行”的程度,比如“纯数字、单位元、去千分位”,比“金额字段”四个字有用得多。缺失值规则(填null、禁止推测)必须显式写,否则模型一定会编。
  3. Few-shot控制在2个以内,一规整一脏文本,覆盖格式即可,多了纯烧Token。

这套方案已经在生产上跑了三周,日均处理约400份合同,JSON解析失败0次,字段准确率稳定在0.92-0.94之间。下一步打算把“付款方式”这个自由文本字段也纳进来,那个字段的抽取难度比金额还高,到时候再写一篇。