Prompt Engineering实测对比：三版指令调优GPT-4o输出质量与Token成本

# 环境依赖
# openai==1.12.0
# python-dotenv==1.0.0

import os
import json
from openai import OpenAI
from dotenv import load_dotenv

load_dotenv()
client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

MODEL = "gpt-4o-2024-08-06"
TEMPERATURE = 0.2
MAX_TOKENS = 800

# 测试数据：手工标注了20条，用于快速验证；另用180条做最终统计（共200条）
TEST_SAMPLES = [
    {"text": "手机屏幕很清晰，但电池掉电快，半天就没电了", "sentiment": "负向", "reason": "电池掉电快"},
    {"text": "客服态度非常好，主动帮我解决了问题，点赞", "sentiment": "正向", "reason": "客服态度好"},
    # ...剩余样本略
]

你是电商评论分析助手。请判断评论情感（正向/负向/中性），并给出原因。
评论：{text}
输出格式：情感：xxx，原因：xxx

你是电商评论分析专家。任务分两步：
1. 判断整体情感倾向（仅限：正向/负向/中性）
2. 抽取导致该情感的核心原因短语（不超过8个字，必须是评论中的原词或原词压缩）

要求：
- 情感和原因必须逻辑一致（比如情感是“负向”，原因不能是“屏幕清晰”）
- 若情感为“中性”，原因写“无”
- 输出严格按JSON格式：{"sentiment": "...", "reason": "..."}

评论：{text}

你是电商评论分析专家。请严格按以下规则处理：

【情感判定规则】
- 存在明显正面词（好/快/清晰/满意）且无负面词 → 正向
- 存在明显负面词（差/慢/模糊/掉电快）→ 负向
- 好坏参半时，取主导情绪（看负面词是否影响核心体验）
- 纯客观描述（如“发货地点是上海”）→ 中性

【原因抽取规则】
- 必须从评论中抽取原词或词性压缩，禁止生成评论中不存在的词
- 长度控制在2-6个汉字
- 若情感为中性，reason字段固定为"无"

【示例】
评论：这耳机音质不错，但降噪太差，坐地铁根本听不清
输出：{"sentiment": "负向", "reason": "降噪太差"}

评论：包装很精美，还送了小礼品，惊喜
输出：{"sentiment": "正向", "reason": "送小礼品"}

【任务】按上述规则处理以下评论，只输出JSON：
评论：{text}

def infer_with_prompt(text: str, prompt_version: str) -> dict:
    if prompt_version == "v1":
        messages = [
            {"role": "system", "content": "你是电商评论分析助手。"},
            {"role": "user", "content": f"请判断评论情感（正向/负向/中性），并给出原因。\n评论：{text}\n输出格式：情感：xxx，原因：xxx"}
        ]
    elif prompt_version == "v2":
        messages = [
            {"role": "system", "content": "你是电商评论分析专家。"},
            {"role": "user", "content": f"任务分两步：\n1. 判断情感（正向/负向/中性）\n2. 抽取原因（不超过8字，原词压缩）\n\n输出JSON：{{\"sentiment\": \"...\", \"reason\": \"...\"}}\n\n评论：{text}"}
        ]
    else:  # v3
        messages = [
            {"role": "system", "content": "你是电商评论分析专家，严格按规则输出。"},
            {"role": "user", "content": f"【规则】...【示例】...【任务】\n评论：{text}\n只输出JSON"}
        ]

    resp = client.chat.completions.create(
        model=MODEL,
        messages=messages,
        temperature=TEMPERATURE,
        max_tokens=MAX_TOKENS,
        response_format={"type": "json_object"}  # 仅v2/v3启用
    )

    # 解析输出
    content = resp.choices[0].message.content
    try:
        result = json.loads(content)
    except json.JSONDecodeError:
        # 踩坑1：偶尔输出会带```json```标记或中文字符
        content = content.replace("```json", "").replace("```", "").strip()
        # 踩坑2：v1版输出是"情感：正向，原因：..."，需手动切分
        if "情感" in content and "原因" in content:
            senti = content.split("情感：")[1].split("，")[0]
            reason = content.split("原因：")[1].strip()
            result = {"sentiment": senti, "reason": reason}
        else:
            result = {"sentiment": "解析失败", "reason": content[:30]}

    token_usage = resp.usage.total_tokens
    return result, token_usage