一、问题背景
上个月接手一个采购合同归档系统,需求很朴素:把PDF转成文本后,从合同里抽出合同编号、甲乙方名称、签约日期、合同总金额、付款方式这5个字段,写入数据库。文档格式五花八门,有扫描件OCR后的脏文本,也有排版规整的Word导出文本。
一开始想的是上正则。写了半天发现合同编号有“合同编号:”“编号 NO.”“Contract No.”七八种写法,甲乙方名称还经常夹在“甲方(采购方):”这种带括号的句式里,正则维护成本高得离谱。于是转向LLM抽取。
但直接调API也有问题:模型偶尔返回带Markdown代码块的JSON,偶尔在JSON前后加一句“好的,以下是抽取结果”,json.loads直接抛异常;字段缺失时它还会自己编一个日期填上。这就是本文要解决的问题——同一个抽取任务,Prompt怎么写,决定了你是拿到可用数据还是拿到一堆需要人工返工的脏JSON。
二、环境与版本
实验环境如下,都是实际跑的时候的版本,不是随手写的:
- Python 3.11.6
- openai SDK 1.35.0
- 模型:
gpt-4o-mini,快照日期 2024-07-18 - 关键参数:
temperature=0(抽取任务不需要创造性)、max_tokens=512、response_format在前两版方案中不启用,第三版启用{"type": "json_object"} - 数据集:120份采购合同文本,平均字符数 1,850,最长 4,200 字符
- 评测方式:5个字段逐一比对人工标注结果,字段完全一致记1分,否则0分;JSON可解析且5字段齐全记一次“解析成功”
这里说明一下为什么 temperature=0:抽取是确定性任务,温度调高只会让模型在“金额是12.5万还是125,000”这种地方自由发挥,纯属给自己找麻烦。
三、方案设计
设计了三个递进的Prompt方案,控制变量,只改Prompt本身:
方案A:零样本直问。 一句话把任务和字段列出来,要求返回JSON。这是大多数人第一版会写的东西。
方案B:Few-shot示例。 在A的基础上加两个输入输出示例,一个规整文本、一个OCR脏文本,让模型模仿格式。
方案C:结构化角色约束 + JSON模式。 给模型设定角色(合同信息抽取专员),明确字段定义、缺失处理规则(缺失填 null,禁止推测)、输出格式约束,并启用API的 response_format={"type": "json_object"} 强制JSON输出。
四、核心实现
先贴公共的调用封装和评测代码,三个方案共用:
import json
import time
from openai import OpenAI
client = OpenAI(api_key="sk-xxx")
def call_llm(prompt: str, use_json_mode: bool = False) -> dict:
kwargs = dict(
model="gpt-4o-mini",
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=512,
)
if use_json_mode:
kwargs["response_format"] = {"type": "json_object"}
t0 = time.time()
resp = client.chat.completions.create(**kwargs)
latency = time.time() - t0
return {
"content": resp.choices[0].message.content,
"prompt_tokens": resp.usage.prompt_tokens,
"completion_tokens": resp.usage.completion_tokens,
"latency": latency,
}
def evaluate(content: str, gold: dict) -> tuple[bool, float]:
"""返回 (JSON是否可解析且字段齐全, 字段准确率)"""
try:
text = content.strip()
# 容错:剥掉模型可能加的markdown代码块
if text.startswith("```"):
text = text.split("```")[1]
text = text.removeprefix("json").strip()
obj = json.loads(text)
except Exception:
return False, 0.0
fields = ["contract_no", "party_a", "party_b", "sign_date", "total_amount"]
if not all(f in obj for f in fields):
return False, 0.0
hit = sum(1 for f in fields if str(obj.get(f)).strip() == str(gold.get(f)).strip())
return True, hit / len(fields)
方案C的Prompt模板,字段定义写得很死,这是关键:
PROMPT_C = """你是合同信息抽取专员。从下面的合同文本中抽取字段,严格按规则输出。
字段定义:
- contract_no: 合同编号,字符串。找不到填 null。
- party_a: 甲方/采购方全称,字符串。去掉“甲方(采购方):”等前缀。
- party_b: 乙方/供应方全称,字符串。
- sign_date: 签约日期,格式 YYYY-MM-DD。原文只有年月时,日填 01。
- total_amount: 合同总金额,纯数字字符串,单位元,去掉货币符号和千分位逗号。
规则:
1. 只输出一个JSON对象,不要输出任何解释文字或markdown代码块。
2. 原文没有的信息一律填 null,禁止推测或编造。
3. 金额若为“壹拾贰万伍仟元”这类中文大写,转换为阿拉伯数字。
合同文本:
{text}
"""
调用时 use_json_mode=True。实测这一步把“模型在JSON前后加客套话”的问题彻底干掉了,比在Prompt里反复强调“只输出JSON”靠谱得多——后者大约还有3%的概率不听话。
五、踩坑与优化
坑1:方案A的解析失败率高达12.5%。 120条里有15条 json.loads 抛异常,其中11条是包了markdown代码块,4条是前后加了“以下是抽取结果:”。这也是为什么方案C直接上 json_object 模式,别跟模型讲道理,用API约束。
坑2:金额字段是重灾区。 方案A在“人民币125,000.00元”上经常输出 "125,000.00元",带单位带逗号。方案C里明确“纯数字字符串、单位元、去千分位”后,这个问题基本消失。另一个细节是中文大写金额,方案B的示例里没覆盖,准确率只有0.62,方案C加了转换规则后到0.91。
坑3:Few-shot不是越多越好。 方案B我一开始塞了4个示例,prompt_tokens从约620涨到约1,340,字段F1只比2个示例高了0.01,延迟还涨了约30%。最后砍回2个,一个规整、一个脏文本,性价比最高。
坑4:max_tokens=512 差点不够。 方案C的Prompt本身约680 token,加上合同文本1,850字符(约900 token,中文按1.5字符/token粗估),输入已经1,500+。输出JSON约90 token,512够用,但如果合同更长就得调。建议按“文本长度 × 1.5 + 800”预留。
六、效果数据
120份合同,三个方案各跑一遍,结果如下:
| 指标 | 方案A 零样本 | 方案B Few-shot | 方案C 结构化+JSON模式 |
|---|---|---|---|
| 平均输入Token | 952 | 1,341 | 1,618 |
| 平均输出Token | 87 | 91 | 89 |
| JSON解析成功率 | 87.5% | 95.0% | 100% |
| 字段F1 | 0.71 | 0.84 | 0.93 |
| 平均延迟 | 1.9s | 2.6s | 2.4s |
| 单条成本(相对A) | 1.0x | 1.4x | 1.7x |
按 gpt-4o-mini 的定价(输入 $0.15/1M token,输出 $0.60/1M token)折算,方案C单条成本约 $0.00030,120条约 $0.036。对比人工抽一条合同平均3分钟,这个成本可以忽略——Token多花70%换来F1涨0.22和零解析失败,这笔账怎么算都值。
另外补一个主观感受:方案C的输出可以直接进 json.loads 入库,方案A的输出得先过一层清洗逻辑,那层清洗代码的维护成本比多出来的Token贵多了。
七、总结
三条可以直接抄走的结论:
- 能用
response_format={"type": "json_object"}就别在Prompt里求模型“只输出JSON”,前者是硬约束,后者是玄学。 - 字段定义要写到“可执行”的程度,比如“纯数字、单位元、去千分位”,比“金额字段”四个字有用得多。缺失值规则(填null、禁止推测)必须显式写,否则模型一定会编。
- Few-shot控制在2个以内,一规整一脏文本,覆盖格式即可,多了纯烧Token。
这套方案已经在生产上跑了三周,日均处理约400份合同,JSON解析失败0次,字段准确率稳定在0.92-0.94之间。下一步打算把“付款方式”这个自由文本字段也纳进来,那个字段的抽取难度比金额还高,到时候再写一篇。