Prompt工程化调优实录：信息抽取任务token消耗与输出质量权衡

从以下评论中抽取三元组(属性, 维度, 极性)，用JSON格式输出。
评论：{text}

# prompt_engineer_v4.py
# Python 3.11.7, openai 1.14.2
import json
from tenacity import retry, stop_after_attempt, wait_exponential

SYSTEM_PROMPT_V4 = """你是一个电商评论属性抽取引擎。严格遵循以下规则：
1. 只抽取评论中明确提及的属性，禁止推测。
2. 属性结构必须是[产品部件, 具体维度, 极性]，极性只能是"正向"/"负向"/"中性"。
3. 输出必须是合法JSON数组，数组元素为对象，每个对象包含"attr", "dim", "polarity"三个键。
4. 如果某属性缺失，用null填充，不要省略键。
5. 禁止输出任何JSON以外的解释文本。"""

FEWSHOT_EXAMPLES_V4 = """示例1：
评论：手机屏幕色彩鲜艳，但指纹解锁偶尔失灵。
输出：[{"attr": "屏幕", "dim": "色彩", "polarity": "正向"}, {"attr": "指纹解锁", "dim": "识别率", "polarity": "负向"}]

示例2：
评论：笔记本散热一般，键盘手感不错。
输出：[{"attr": "散热系统", "dim": "散热效率", "polarity": "负向"}, {"attr": "键盘", "dim": "手感", "polarity": "正向"}]"""

USER_PROMPT_TEMPLATE = """请抽取以下评论中的属性三元组：
评论：{comment}

请直接输出JSON数组："""

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=2, max=10))
def extract_attributes(comment: str, client) -> list[dict]:
    response = client.chat.completions.create(
        model="gpt-4-0125-preview",
        temperature=0.2,
        max_tokens=512,
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT_V4},
            {"role": "user", "content": FEWSHOT_EXAMPLES_V4},
            {"role": "user", "content": USER_PROMPT_TEMPLATE.format(comment=comment)}
        ]
    )
    raw_output = response.choices[0].message.content.strip()
    # 防御性解析：去除可能的markdown代码块标记
    if raw_output.startswith("```"):
        raw_output = raw_output.strip("`")
        if raw_output.startswith("json"):
            raw_output = raw_output[4:]
    result = json.loads(raw_output)
    assert isinstance(result, list), "输出不是数组"
    return result

好的，我先找出评论中提到的实体。评论是“手机屏幕色彩鲜艳”，属性是屏幕，维度是色彩，情感是正向。然后我继续看“指纹解锁偶尔失灵”，属性是指纹解锁，维度是识别率，情感是负向。所以输出为：
[{"attr": "屏幕", "dim": "色彩", "polarity": "正向"}, ...]

import re

def robust_parse(raw_output: str) -> list[dict]:
    """从模型输出中提取第一个JSON数组"""
    # 策略1：直接尝试完整解析
    try:
        return json.loads(raw_output)
    except json.JSONDecodeError:
        pass
    # 策略2：用正则找到第一个[和最后一个]
    match = re.search(r'\[.*\]', raw_output, re.DOTALL)
    if match:
        try:
            return json.loads(match.group())
        except json.JSONDecodeError:
            pass
    # 策略3：尝试截取到最后一个}
    last_brace = raw_output.rfind('}')
    if last_brace != -1:
        try:
            return json.loads(raw_output[:last_brace+1] + ']')
        except:
            raise ValueError(f"无法解析的输出: {raw_output[:200]}")