一、问题背景：当正则表达式遇上“神仙打架”的评论

上个月接了个电商NLP需求：从用户评论中抽取【商品属性】和【情感极性】，比如“这手机的电池续航尿崩，但屏幕色彩绝了”要输出{属性:电池, 极性:负面, 属性:屏幕, 极性:正面}。初始方案用正则+词典，准确率勉强到60%，但遇到“散热不行但颜值抗打”这种转折句直接崩盘。于是决定转向大模型Prompt，目标是把F1干到0.85以上，同时控制单条调用成本在0.1元以内。

二、环境与版本：锁定GPT-4-turbo，量化Token开销

  • 模型：gpt-4-turbo-preview（0125版本，官方文档确认支持128K上下文）
  • SDK版本：openai==1.30.0，Python 3.10
  • 评测集：人工标注200条京东手机评论（包含5个属性维度：电池、屏幕、性能、相机、外观）
  • Token计价：输入$0.01/1K，输出$0.03/1K（当时价格）
  • 评估指标：严格F1（属性+极性完全匹配才算对）

三、方案设计：从“裸奔”到“装甲车”的四个版本

V1-零样本：直接问“抽取属性和极性”，输出JSON。
V2-Few-shot：固定3个示例，覆盖转折、否定、复合属性。
V3-结构化模板：把任务分解成“先找属性词，再判极性”两步，用markdown表格框死输出格式。
V4-动态示例+CoT：根据输入评论的TF-IDF相似度，从50个种子示例中检索最相似的2条注入，并要求“先写推理链再输出JSON”。

四、核心实现：代码里的魔鬼细节

4.1 V2到V3的关键转变：把“自由发挥”变成“填空”

import openai
client = openai.OpenAI(api_key="sk-xxx")

def v3_extract(comment: str) -> dict:
    system = """你是电商评论分析师。请按以下步骤处理：
    1. 定位属性词（电池/屏幕/性能/相机/外观）
    2. 判断极性（正面/负面/中性）
    输出严格JSON格式，不要额外解释。"""

    user_template = """评论：{comment}
    请输出：
    ```json
    {{"属性": "", "极性": ""}}
    ```
    如果多个属性，用数组，例如：
    ```json
    [{{"属性": "电池", "极性": "负面"}}, {{"属性": "屏幕", "极性": "正面"}}]
    ```"""

    resp = client.chat.completions.create(
        model="gpt-4-turbo-preview",
        temperature=0.3,
        max_tokens=300,
        messages=[
            {"role": "system", "content": system},
            {"role": "user", "content": user_template.format(comment=comment)}
        ]
    )
    return resp.choices[0].message.content

踩坑记录：V3初期没加JSON格式示例，模型经常输出“属性：电池；极性：负面”这种非标准格式，解析器直接报错。后来把输出示例放进user消息里，F1立刻涨了11个百分点。

4.2 V4动态检索的实现：用向量相似度替代人工排列

from sentence_transformers import SentenceTransformer, util
import numpy as np

# 预加载50个高质量种子示例（手动标注过）
seed_examples = [...]  # list of dict {comment, output}
encoder = SentenceTransformer('paraphrase-MiniLM-L6-v2')
seed_emb = encoder.encode([e['comment'] for e in seed_examples])

def retrieve_examples(query: str, k=2):
    q_emb = encoder.encode(query)
    scores = util.cos_sim(q_emb, seed_emb)[0]
    top_k = np.argsort(scores)[-k:][::-1]
    return [seed_examples[i] for i in top_k]

def v4_extract(comment: str):
    examples = retrieve_examples(comment)
    few_shot_text = "\n".join(
        f"示例评论：{e['comment']}\n输出：{e['output']}" for e in examples
    )
    prompt = f"""参考示例，抽取属性和极性：
    {few_shot_text}

    目标评论：{comment}
    先写出推理过程，再输出JSON。"""
    # 后续调用同V3，temperature设为0.2

这里有个性能陷阱：sentence-transformers加载模型占200MB内存，首次调用延迟2秒。优化方案：用onnxruntime量化版本，延迟降到400ms，但精度损失2%。权衡后还是用原版，因为批处理时没有影响。

五、踩坑与优化：5个让人抓狂的瞬间

  1. 温度参数陷阱：温度0.7时，模型会“创造性”地输出“电池续航能力差劲”这种长短句，导致属性词匹配失败。最终固定温度在0.2-0.3。
  2. token爆炸：V4的CoT步骤会输出“我看到‘电池’出现，前后有‘尿崩’负面词…”这类推理，每条多花200-400token。通过限制max_tokens=500并强制推理不超过两行解决。
  3. 示例污染：一开始用随机3个示例，遇到“屏幕发绿”时示例里全是电池，模型就强行抽电池。改用动态检索后，相似示例把F1从0.78拉到0.86。
  4. JSON解析崩溃：模型偶尔输出[{"属性": "电池", "极性": "负面",}]带尾逗号。用json5库容错解析，同时修正提示词“不要尾逗号”。
  5. 成本失控：200条评测，V4平均每条输入1.2K+输出0.4K token，总计约$4.8。V1只要$1.2但F1只有0.52。最终线上方案用V3+固定示例（成本$2.0，F1=0.89），放弃V4的动态检索。

六、效果数据：最终对比

策略 F1值 单条Token消耗(输入+输出) 单条成本(USD) 失败案例特征
V1零样本 0.52 0.3K+0.2K $0.003 属性缺失、极性误判
V2固定3示例 0.74 0.8K+0.3K $0.009 转折句处理错误
V3模板+Json约束 0.89 0.7K+0.2K $0.008 复合属性漏抽
V4动态CoT 0.91 1.2K+0.4K $0.014 推理链过短导致误判

核心发现：从V1到V3，F1提升37个点，成本仅增2.6倍；而从V3到V4，F1只涨2个点，成本却翻倍。对于生产环境，V3是性价比之王。V4适合离线分析场景，比如做数据清洗，可以容忍成本。

七、总结：Prompt工程的三个反直觉结论

  1. 示例数量不是越多越好：3个精心挑选的示例（覆盖转折、否定、复合）效果远超8个随机示例。质量权重约是数量的3倍（实验数据：3个高质量示例F1=0.74，8个低质量示例F1=0.61）。
  2. 格式约束比语义描述更管用：在提示词里写“输出JSON数组”不如直接给一个带[]和{}的模板。模型对“形状”的敏感度高于“语义”。
  3. token消耗要算总账：V4的CoT虽然F1高，但多出的token成本可以买更好的模型。后来测试了claude-3.5-sonnet的V3模板，F1达到0.93，成本更低。

最后给个避坑建议：永远不要直接在生产环境用零样本Prompt跑业务。先拿50条标注数据跑一遍，如果F1低于0.8，别调Prompt了，先考虑微调小模型（比如Llama-3-8B）可能更划算。Prompt工程的上限，其实是数据标注的下限。