我用6版Prompt把合同要素抽取准确率从71%做到94%：Token消耗与输出质量对比

import json, re
from openai import OpenAI

client = OpenAI(api_key="sk-xxx")

FIELDS = ["contract_no", "party_a", "party_b", "sign_date",
          "amount", "tax_rate", "payment_method", "penalty_rate"]

def normalize(field, value):
    if value is None:
        return None
    v = str(value).strip()
    if field in ("amount",):
        nums = re.findall(r"[\d,]+\.?\d*", v.replace(",", ""))
        return float(nums[0]) if nums else None
    if field == "tax_rate":
        nums = re.findall(r"\d+\.?\d*", v)
        return float(nums[0]) / 100 if nums and float(nums[0]) > 1 else (float(nums[0]) if nums else None)
    if field == "sign_date":
        m = re.search(r"(\d{4})\D+(\d{1,2})\D+(\d{1,2})", v)
        return f"{m.group(1)}-{int(m.group(2)):02d}-{int(m.group(3)):02d}" if m else v
    return re.sub(r"\s+", "", v)

def evaluate(prompt_builder, use_json_mode=False):
    correct = total = 0
    token_in = token_out = 0
    for text, gold in load_dataset():          # load_dataset 返回 (文本, 标注dict)
        prompt = prompt_builder(text)
        kwargs = dict(model="gpt-4o-mini-2024-07-18", temperature=0,
                      max_tokens=1024, messages=[{"role": "user", "content": prompt}])
        if use_json_mode:
            kwargs["response_format"] = {"type": "json_object"}
        resp = client.chat.completions.create(**kwargs)
        token_in += resp.usage.prompt_tokens
        token_out += resp.usage.completion_tokens
        try:
            pred = json.loads(resp.choices[0].message.content)
        except json.JSONDecodeError:
            pred = {}
        for f in FIELDS:
            total += 1
            if normalize(f, pred.get(f)) == normalize(f, gold.get(f)):
                correct += 1
    return {
        "acc": round(correct / total, 4),
        "avg_in": round(token_in / 120, 1),
        "avg_out": round(token_out / 120, 1),
    }

字段定义：
- amount：合同含税总金额，单位统一为元，只输出数字，不要带“元”“万”。
  若写“113万元”，输出 1130000。
- tax_rate：税率，输出小数，如 13% 输出 0.13。
- sign_date：签订日期，统一为 YYYY-MM-DD。中文数字需转换。
- party_a / party_b：按合同中的“甲方”“乙方”标签取值，不要按出现顺序。

V6_TEMPLATE = """你是合同信息抽取引擎。请从合同文本中抽取8个字段。

字段规则：
- contract_no: 合同编号，保留原始格式
- party_a: “甲方”对应的公司全称
- party_b: “乙方”对应的公司全称
- sign_date: 签订日期，YYYY-MM-DD，中文数字要转换
- amount: 含税总金额，单位元，纯数字，“113万元”->1130000
- tax_rate: 税率小数，13%->0.13
- payment_method: 付款方式原文摘要，不超过20字
- penalty_rate: 违约金比例，小数，如“每日万分之五”->0.0005

示例：
输入：甲方：杭州甲公司 乙方：上海乙公司 签订于二〇二四年三月五日，
合同金额壹佰壹拾叁万元整，税率13%，违约金按日万分之五。
输出：{"contract_no": null, "party_a": "杭州甲公司", "party_b": "上海乙公司",
"sign_date": "2024-03-05", "amount": 1130000, "tax_rate": 0.13,
"payment_method": null, "penalty_rate": 0.0005}

现在请分两步：
第一步，逐字段在原文中定位证据，用一句话说明依据。
第二步，基于证据输出最终JSON。

合同文本：
{text}

请严格按以下格式输出，不要多余文字：
【证据】
...
【结果】
{{...}}
"""

def build_v6(text):
    return V6_TEMPLATE.format(text=text)

def parse_v6(content):
    if "【结果】" in content:
        content = content.split("【结果】")[-1]
    content = content.strip().strip("`").replace("json\n", "")
    return json.loads(content)