我用Claude 3.5 Sonnet做结构化抽取：6版Prompt对比，Token从1200降到380，准确率反升12%

P1 = """你是一个合同信息抽取助手。请从下面的合同文本中提取甲方、乙方、合同金额、签署日期、生效日期、合同编号、合同期限、是否含违约金条款。
合同文本：
{text}
请以JSON格式返回。"""

{"amount": "人民币壹佰贰拾万元整", "sign_date": "二〇二三年五月十日", "breach_clause": "是"}

P2 = """从合同文本中抽取以下字段，严格按说明输出：
- party_a: 甲方名称，字符串
- party_b: 乙方名称，字符串
- amount: 合同金额，只返回数字，单位元，不带千分位
- sign_date: 签署日期，格式YYYY-MM-DD
- effective_date: 生效日期，格式YYYY-MM-DD，若无则null
- contract_no: 合同编号，字符串
- term: 合同期限，单位月，整数
- breach_clause: 是否含违约金条款，布尔值true/false

合同文本：
{text}

只返回JSON，不要解释。"""

P3 = """示例1：
文本：甲方：北京XX科技有限公司；乙方：上海YY信息有限公司；合同金额：人民币50万元；签署日期：2023年1月5日；合同编号：HT-2023-001；期限：12个月；含违约金条款。
输出：{"party_a":"北京XX科技有限公司","party_b":"上海YY信息有限公司","amount":500000,"sign_date":"2023-01-05","effective_date":null,"contract_no":"HT-2023-001","term":12,"breach_clause":true}

示例2：
...

合同文本：
{text}
只返回JSON。"""

P4 = """请从合同文本中抽取信息，输出必须符合以下JSON Schema：
{
  "type": "object",
  "properties": {
    "party_a": {"type": "string"},
    "party_b": {"type": "string"},
    "amount": {"type": "number"},
    "sign_date": {"type": "string", "pattern": "^\\\\d{4}-\\\\d{2}-\\\\d{2}$"},
    "effective_date": {"type": ["string", "null"]},
    "contract_no": {"type": "string"},
    "term": {"type": "integer"},
    "breach_clause": {"type": "boolean"}
  },
  "required": ["party_a","party_b","amount","sign_date","contract_no","term","breach_clause"]
}

合同文本：
{text}
"""

P5 = """抽取合同字段，输出JSON。amount为数字（元），日期为YYYY-MM-DD，term为整数（月），breach_clause为布尔值，缺失字段用null。

合同文本：
{text}
"""

P6 = """抽取合同字段，输出JSON。字段：party_a, party_b, amount, sign_date, effective_date, contract_no, term, breach_clause。缺失用null。

合同文本：
{text}
"""

import os
import json
import re
from anthropic import Anthropic

client = Anthropic(api_key=os.environ["ANTHROPIC_API_KEY"])

PROMPT_P6 = """抽取合同字段，输出JSON。字段：party_a, party_b, amount, sign_date, effective_date, contract_no, term, breach_clause。缺失用null。

合同文本：
{text}
"""

def normalize_amount(text: str) -> str:
    """把中文大写金额转成数字字符串，简单版"""
    cn_num = {"壹":"1","贰":"2","叁":"3","肆":"4","伍":"5","陆":"6","柒":"7","捌":"8","玖":"9","零":"0"}
    # 实际项目用更完整的转换，这里仅示意
    for k, v in cn_num.items():
        text = text.replace(k, v)
    return text

def extract(text: str) -> dict:
    text = normalize_amount(text)
    resp = client.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=512,
        temperature=0,
        messages=[{"role": "user", "content": PROMPT_P6.format(text=text)}]
    )
    raw = resp.content[0].text.strip()
    # 去掉可能的markdown代码块
    raw = re.sub(r"^```json|```$", "", raw, flags=re.MULTILINE).strip()
    return json.loads(raw)

def exact_match(pred: dict, gold: dict, fields: list) -> float:
    hit = 0
    for f in fields:
        p, g = pred.get(f), gold.get(f)
        if isinstance(p, str) and isinstance(g, str):
            p, g = p.strip(), g.strip()
        if p == g:
            hit += 1
    return hit / len(fields)

if __name__ == "__main__":
    fields = ["party_a","party_b","amount","sign_date","effective_date","contract_no","term","breach_clause"]
    with open("testset.json", encoding="utf-8") as f:
        data = json.load(f)  # [{"text": "...", "gold": {...}}, ...]
    total = 0.0
    for item in data:
        pred = extract(item["text"])
        total += exact_match(pred, item["gold"], fields)
    print(f"字段级准确率: {total/len(data):.3f}")

import tiktoken  # 注意：Claude不直接用tiktoken，这里用近似估算
from anthropic import Anthropic

client = Anthropic(api_key=os.environ["ANTHROPIC_API_KEY"])

def count_tokens(prompt: str) -> int:
    # 实际项目建议用 anthropic.count_tokens API
    return client.count_tokens(prompt)

prompts = {"P1": P1, "P2": P2, "P3": P3, "P4": P4, "P5": P5, "P6": P6}
sample_text = open("sample_contract.txt", encoding="utf-8").read()

for name, tpl in prompts.items():
    full = tpl.format(text=sample_text)
    print(f"{name}: {count_tokens(full)} tokens")