Prompt模板迭代实录：从37%到82%的抽取准确率提升

# prompt_template.py
from langchain.prompts import PromptTemplate

# V4版本：模板约束 + 反例
V4_TEMPLATE = """
你是一个严格的金融公告信息抽取系统。你的任务是提取并购重组事件中的结构化字段。

【公告原文】
{text}

【抽取规则】
1. 事件类型必须是以下枚举值之一：股权收购、资产收购、股权转让、资产转让、吸收合并
2. 交易方向务必注意：A公司收购B公司股权，交易方向是"买入"；反之是"卖出"
3. 金额字段必须为纯数字，单位统一为"万元"。例如"1.2亿元"应输出"12000"

【错误反例】
以下抽取结果是错误的，禁止模仿：
- 错误：{{"event_type": "交易", "direction": "未知"}}
- 原因：事件类型不具体，方向不明

【输出格式】
必须严格输出JSON对象，不允许包含任何其他文字：
{{
    "event_type": "string",
    "target_company": "string",
    "direction": "买入|卖出",
    "amount_wan": "number"
}}

现在开始抽取：
"""

def build_prompt(text: str) -> str:
    return PromptTemplate.from_template(V4_TEMPLATE).format(text=text)

# experiment_runner.py
import json
import openai
from prompt_template import V1_TEMPLATE, V2_TEMPLATE, V3_TEMPLATE, V4_TEMPLATE

openai.api_key = "sk-xxx"

def run_extraction(prompt_text: str, content: str) -> tuple:
    """返回 (抽取结果dict, token消耗)"""
    resp = openai.ChatCompletion.create(
        model="gpt-4-0613",
        temperature=0.2,
        max_tokens=1500,
        messages=[
            {"role": "system", "content": "You are a precise data extraction engine."},
            {"role": "user", "content": prompt_text.format(text=content)}
        ]
    )
    raw_output = resp["choices"][0]["message"]["content"]
    usage = resp["usage"]["total_tokens"]
    # 解析JSON，失败则返回空dict
    try:
        return json.loads(raw_output), usage
    except json.JSONDecodeError:
        return {}, usage

# 主循环：50条测试数据，分别跑V1-V4
versions = {"V1": V1_TEMPLATE, "V2": V2_TEMPLATE, "V3": V3_TEMPLATE, "V4": V4_TEMPLATE}
results = {v: {"acc": 0, "tokens": 0} for v in versions}

for i, item in enumerate(test_data):
    for ver, template in versions.items():
        result, tokens = run_extraction(template, item["text"])
        # 字段级匹配
        acc = 0
        for field, value in item["label"].items():
            if result.get(field) == value:
                acc += 1
        acc /= len(item["label"])
        results[ver]["acc"] += acc
        results[ver]["tokens"] += tokens

# 输出汇总
for ver, data in results.items():
    print(f"{ver}: 平均准确率={data['acc']/50:.2%}, 平均Token消耗={data['tokens']/50:.0f}")