Prompt Engineering实践：结构化提示词在合同信息抽取中的Token消耗与输出质量对比实验

from openai import OpenAI
import json, time

client = OpenAI(api_key="sk-xxx")

SYSTEM_PROMPT_V3 = """你是一个合同信息抽取引擎。请从用户提供的合同文本中抽取以下5个字段，严格按JSON格式输出，不要输出任何JSON以外的内容：

{
  "party_a": "甲方全称，字符串",
  "party_b": "乙方全称，字符串",
  "amount": "合同金额，仅保留阿拉伯数字和货币符号，如 100000.00 或 100000.00 CNY，无法确定填 null",
  "sign_date": "签署日期，格式 YYYY-MM-DD，无法确定填 null",
  "valid_period": "有效期限，格式如 '2024-01-01 至 2025-12-31'，无法确定填 null"
}

规则：
1. 金额若为中文大写，请转换为阿拉伯数字。
2. 日期若为中文格式，请转换为 YYYY-MM-DD。
3. 字段无法从文本中确定时，必须填 null，禁止编造。
"""

def extract_v3(text: str) -> dict:
    t0 = time.time()
    resp = client.chat.completions.create(
        model="gpt-4o-mini-2024-07-18",
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT_V3},
            {"role": "user", "content": text},
        ],
        temperature=0,
        max_tokens=512,
        response_format={"type": "json_object"},  # 关键：强制JSON
    )
    latency = time.time() - t0
    content = resp.choices[0].message.content
    usage = resp.usage
    return {
        "data": json.loads(content),
        "completion_tokens": usage.completion_tokens,
        "prompt_tokens": usage.prompt_tokens,
        "latency": latency,
    }

SYSTEM_PROMPT_V4 = """你是一个合同信息抽取引擎。请分两步处理：

第一步：在  标签内，逐字段分析文本中是否出现该信息、出现在哪句话、是否需要格式转换。若不存在请说明。
第二步：在  标签内输出JSON，格式如下：
{"party_a": "", "party_b": "", "amount": "", "sign_date": "", "valid_period": ""}
规则同前：金额转阿拉伯数字，日期转YYYY-MM-DD，无法确定填null，禁止编造。

输出示例：
party_a: 文本第2行"甲方：北京XX科技有限公司"...
{"party_a": "北京XX科技有限公司", ...}
"""

def extract_v4(text: str) -> dict:
    resp = client.chat.completions.create(
        model="gpt-4o-mini-2024-07-18",
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT_V4},
            {"role": "user", "content": text},
        ],
        temperature=0,
        max_tokens=800,
    )
    content = resp.choices[0].message.content
    # 用正则截取  段
    import re
    m = re.search(r"(.*?)", content, re.S)
    data = json.loads(m.group(1)) if m else {}
    return {
        "data": data,
        "completion_tokens": resp.usage.completion_tokens,
        "prompt_tokens": resp.usage.prompt_tokens,
    }

def evaluate(pred: dict, gold: dict) -> dict:
    fields = ["party_a", "party_b", "amount", "sign_date", "valid_period"]
    complete = all(pred.get(f) not in (None, "") for f in fields)
    correct = sum(1 for f in fields if str(pred.get(f)).strip() == str(gold[f]).strip())
    return {"complete": complete, "correct_fields": correct}