Prompt编排四阶调优法：从12%到87%的准确率跃迁实录

# 环境锁版本，避免玄学波动
openai==1.35.0
python-dotenv==1.0.1
pandas==2.2.2
scikit-learn==1.5.0

# 评测集：人工标注200条，其中60条含复杂嵌套实体
# 模型：gpt-4o-mini-2024-07-18
# 温度：0.2（固定）
# top_p：1.0（关闭采样）
# 重试：3次，指数退避

from openai import OpenAI
import os, json, time

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

def call_llm(prompt, temp=0.2):
    for i in range(3):
        try:
            resp = client.chat.completions.create(
                model="gpt-4o-mini-2024-07-18",
                messages=[{"role": "user", "content": prompt}],
                temperature=temp,
                max_tokens=2048,
                response_format={"type": "json_object"}
            )
            return json.loads(resp.choices[0].message.content)
        except Exception as e:
            time.sleep(2**i)
    return None

L1_PROMPT = """
请从研报文本中抽取实体关系四元组(公司, 指标, 数值, 日期)。
输出JSON数组，每个元素包含company, indicator, value, date字段。
文本：{text}
"""

L3_PROMPT = """
请从研报文本中抽取实体关系四元组。严格按以下步骤推理：
1. 先找出所有公司名（含简称和曾用名）
2. 对每个公司，找出其对应的财务指标（如营收、净利润）
3. 提取数值时注意单位（亿/万/元），保留原始字符串
4. 日期只取报告截止日，不取发布日
5. 最后输出JSON数组

推理过程写在"reason"字段，结果写在"results"字段。
文本：{text}
"""

# 自洽性校验：调用3次，取出现次数最多的结果
def self_consistency(prompt, n=3):
    candidates = []
    for _ in range(n):
        r = call_llm(prompt, temp=0.7)  # 提高温度增加多样性
        if r and "results" in r:
            candidates.append(json.dumps(r["results"], sort_keys=True))
    from collections import Counter
    most_common = Counter(candidates).most_common(1)[0][0]
    return json.loads(most_common)

def evaluate_f1(pred_list, gold_list):
    # 将四元组转为集合，比较时忽略顺序
    pred_set = {tuple(sorted(x.items())) for x in pred_list}
    gold_set = {tuple(sorted(x.items())) for x in gold_list}

    tp = len(pred_set & gold_set)
    fp = len(pred_set - gold_set)
    fn = len(gold_set - pred_set)

    precision = tp / (tp + fp) if tp + fp else 0
    recall = tp / (tp + fn) if tp + fn else 0
    f1 = 2 * precision * recall / (precision + recall) if (precision + recall) else 0
    return {"P": precision, "R": recall, "F1": f1}