1. 问题背景：当老板说“把PDF里的数据全抽出来”
上周接到一个活儿：从300份上市公司年报PDF里抽取“高管薪酬”、“持股变动”、“审计意见类型”三个字段。客户要求准确率不低于85%，且每份文档处理成本要低于0.05美元。
我一开始天真地以为，直接调GPT-4-turbo接口，写个Prompt塞进去就行。结果第一轮测试，F1只有0.61——模型把“薪酬总额”和“薪酬构成”搞混，甚至把“标准无保留意见”抽成了“保留意见”。
这让我意识到：在这个任务里，Prompt的工程化设计比模型选型更关键。于是我做了一组对照实验，记录不同Prompt版本下的输出质量与Token消耗。
2. 环境与版本：GPT-4-turbo + Python 3.10 + OpenAI SDK 1.3.7
实验配置如下表，所有请求走同一个API Key，温度设为0（抽取任务不需要创造性）：
| 参数 | 值 |
|---|---|
| 模型 | gpt-4-1106-preview |
| temperature | 0 |
| max_tokens | 800 |
| 限流 | QPS=1，用tenacity重试 |
| 测试集 | 50份随机抽样的财报PDF文本（每份截取前1500字符） |
| 评估指标 | 精确匹配F1（字段级别），Token计数用tiktoken |
我写了个基类函数，所有Prompt版本共用同一套后处理逻辑，只改变模板内容。
# 版本2：结构化指令模板（后面会对比）
PROMPT_V2 = """
你是一个财务信息抽取引擎。从提供的文本中提取以下字段，返回JSON对象。
字段定义：
- exec_compensation: 高管薪酬总额（单位为万元），若无则null
- share_change: 持股变动方向（增持/减持/无变动），若无则null
- audit_opinion: 审计意见类型（标准无保留/保留/无法表示），若无则null
要求：只输出JSON，不要解释。文本如下：
{text}
"""
3. 方案设计：五版Prompt的递进策略
我设计了五个版本，从最粗暴到最精细：
- V1 朴素零样本：
请从文本中提取高管薪酬、持股变动、审计意见。 - V2 结构化指令：明确字段名、单位、取值范围、输出格式（如上代码块）。
- V3 负面约束：在V2基础上加“不要从表格摘要中推断，只看直接陈述”。
- V4 Few-shot：V3基础上加3个真实案例（包含易混淆的“薪酬构成”与“薪酬总额”）。
- V5 思维链+JSON Schema：V4基础上要求模型先列出证据片段，再输出JSON，且用严格JSON Schema校验。
Token消耗统计用tiktoken按实际请求/响应计算。所有版本在相同50份测试文本上运行，每份文本固定1500字符。
4. 核心实现：一个带成本监控的评测脚本
下面是我用的评测脚本核心部分，它同时记录输出质量与Token消耗。注意我用的是max_tokens=800，防止长输出烧钱。
import tiktoken, json, time
from openai import OpenAI
from tenacity import retry, stop_after_attempt, wait_fixed
client = OpenAI(api_key="sk-xxxx")
enc = tiktoken.encoding_for_model("gpt-4-1106-preview")
@retry(stop=stop_after_attempt(3), wait=wait_fixed(2))
def call_gpt(prompt_text):
resp = client.chat.completions.create(
model="gpt-4-1106-preview",
temperature=0,
max_tokens=800,
messages=[{"role": "user", "content": prompt_text}]
)
return resp.choices[0].message.content, resp.usage
def evaluate(prompt_builder, test_set):
total_f1, total_cost = 0.0, 0.0
for sample in test_set:
prompt = prompt_builder(sample["text"])
output, usage = call_gpt(prompt)
# 解析JSON，计算字段级F1（此处省略异常处理）
f1 = compute_f1(output, sample["gold"])
total_f1 += f1
# OpenAI计价：输入0.01$/1K tokens，输出0.03$/1K tokens（1106版）
cost = (usage.prompt_tokens * 0.01 + usage.completion_tokens * 0.03) / 1000
total_cost += cost
time.sleep(1) # 限流
return total_f1/len(test_set), total_cost
运行结果让我惊讶：V2比V1的F1提升15%，但Token消耗几乎没变。真正让成本飙升的是V5——它要求模型先输出证据，导致输出Token平均增加230个。
5. 踩坑与优化：JSON格式陷阱与“证据”幻觉
坑1：模型偶尔输出Markdown代码块包裹JSON。V2版本有6次输出是json\n{...}\n，我的json.loads直接崩溃。后来加了清理函数，但更根本的办法是在Prompt里强调“不要用代码块标记”。
坑2：V5的“思维链”引入幻觉。让模型先写证据再抽取，结果在10份高难度样本中，模型为了证明自己的抽取正确，编造了原文不存在的数字。这导致精确率反而下降。我最后砍掉了V5的“证据前置”，只保留Few-shot。
优化：关键字段前置。我发现把“审计意见”放到Prompt开头（因为它在文本里通常出现在尾部），模型更容易命中。这个改动让V4的F1从0.85升到0.89，Token消耗不变。
6. 效果数据：成本与精度的权衡
最终五版数据如下（50份样本均值）：
| 版本 | F1分数 | 平均输入Token | 平均输出Token | 单条成本($) | 失败次数 |
|---|---|---|---|---|---|
| V1朴素 | 0.61 | 410 | 180 | 0.0095 | 3 |
| V2结构化 | 0.76 | 455 | 190 | 0.0102 | 1 |
| V3负面约束 | 0.78 | 480 | 185 | 0.0105 | 1 |
| V4 Few-shot | 0.85 | 720 | 210 | 0.0135 | 0 |
| V5思维链 | 0.83 | 740 | 440 | 0.0206 | 2 |
结论：V4（Few-shot）是性价比之王。比V3只贵0.003美元，F1却涨了7个百分点。V5思维链不仅贵且F1更低——在这个抽取任务里，模型不需要推理，只需要映射。
最终上线方案：V4 + 动态截断。我只保留文本中与三个字段相关的段落（用正则预扫描“薪酬”“持股”“审计”关键词位置，截取前后各200字符），将输入Token从1500降到平均600，单条成本降至0.0078美元，300份总成本2.34美元，F1稳定在0.87-0.89。
7. 总结：Prompt工程不是玄学，是成本函数优化
这次调优最大的教训是：不要迷信思维链——它适合数学推理，但在信息抽取场景是负优化。真正有效的是三件事：明确字段边界、给出反例约束、用Few-shot对齐模型输出格式。
如果你在做类似的结构化抽取任务，我建议先跑一个V2基线，然后直接跳V4，别在V3上浪费太多时间（负面约束的效果边际递减）。另外，强烈建议在代码里用tiktoken实时统计Token，并且把成本计算函数挂在日志里——否则老板问你要预算时，你拿不出数据会很尴尬。
最后放一下我用的tiktoken版本（0.5.1）的计价常数，方便你算成本：
# 2024年1月价格，单位：美元/1K tokens
PRICING = {"prompt": 0.01, "completion": 0.03}
如果你跑出来的F1比我的低，先检查预处理是不是把“万元”和“元”搞混了——这个坑我修了两天。评论区见。
