我用7组Prompt对比测试商品评论情感分类：Token消耗差3.2倍，F1最高仅提升11%

import os, json, time
import pandas as pd
from openai import OpenAI
from sklearn.metrics import accuracy_score, f1_score

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

LABELS = ["positive", "neutral", "negative"]

def call_gpt(prompt: str, text: str, model="gpt-4o-mini"):
    start = time.time()
    resp = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": prompt},
            {"role": "user", "content": text},
        ],
        temperature=0.0,
        max_tokens=16,
    )
    latency = time.time() - start
    content = resp.choices[0].message.content.strip().lower()
    usage = resp.usage
    return content, usage.prompt_tokens, usage.completion_tokens, latency

def evaluate(df: pd.DataFrame, prompt: str):
    preds, in_toks, out_toks, lats = [], 0, 0, 0.0
    for text in df["text"]:
        pred, it, ot, lt = call_gpt(prompt, text)
        # 简单归一化，防止模型输出带标点
        for lb in LABELS:
            if lb in pred:
                pred = lb
                break
        else:
            pred = "neutral"  # 兜底
        preds.append(pred)
        in_toks += it
        out_toks += ot
        lats += lt
    n = len(df)
    return {
        "accuracy": accuracy_score(df["label"], preds),
        "f1_macro": f1_score(df["label"], preds, average="macro"),
        "avg_in_tokens": in_toks / n,
        "avg_out_tokens": out_toks / n,
        "avg_latency": lats / n,
    }

PROMPTS = {
    "P1_bare": "判断下面这条商品评论的情感倾向，只回答 positive、neutral 或 negative 中的一个词。",

    "P2_role": "你是一位资深电商分析师，擅长从用户评论中洞察情绪。"
               "请判断下面评论的情感倾向，只回答 positive、neutral 或 negative 中的一个词。",

    "P3_role_rule": (
        "你是一位资深电商分析师。判定规则：\n"
        "- positive：明确表达满意、推荐、夸赞\n"
        "- negative：明确表达不满、投诉、劝退\n"
        "- neutral：仅陈述事实、无情绪倾向或情绪混合\n"
        "只回答 positive、neutral 或 negative 中的一个词。"
    ),

    "P4_json": (
        "你是电商分析师。请判断评论情感，并以 JSON 输出，"
        "格式为 {\"label\": \"positive|neutral|negative\"}。"
    ),

    "P5_fewshot3": (
        "你是电商分析师。请判断评论情感，只回答 positive、neutral 或 negative。\n\n"
        "示例：\n"
        "评论：质量很好，物流也快，下次还来 -> positive\n"
        "评论：东西还行吧，包装一般 -> neutral\n"
        "评论：收到就是坏的，客服还不理人 -> negative\n\n"
        "现在判断下面的评论："
    ),

    "P6_fewshot9": (
        "你是电商分析师。请判断评论情感，只回答 positive、neutral 或 negative。\n\n"
        "示例：\n"
        "评论：质量很好，物流也快，下次还来 -> positive\n"
        "评论：性价比超高，回购第三次了 -> positive\n"
        "评论：客服态度好，问题秒解决 -> positive\n"
        "评论：东西还行吧，包装一般 -> neutral\n"
        "评论：和描述基本一致，没啥惊喜 -> neutral\n"
        "评论：用了一周，暂时没发现问题 -> neutral\n"
        "评论：收到就是坏的，客服还不理人 -> negative\n"
        "评论：用了两天就坏了，垃圾 -> negative\n"
        "评论：色差严重，退货还让我出运费 -> negative\n\n"
        "现在判断下面的评论："
    ),

    "P7_cot_fewshot": (
        "你是电商分析师。请先在心里分析评论的情绪词与语义倾向，"
        "然后只回答 positive、neutral 或 negative，不要输出分析过程。\n\n"
        "示例：\n"
        "评论：质量很好，物流也快 -> positive\n"
        "评论：东西还行吧，包装一般 -> neutral\n"
        "评论：收到就是坏的 -> negative\n\n"
        "现在判断下面的评论："
    ),
}

df = pd.read_csv("reviews_1200.csv")
results = {name: evaluate(df, p) for name, p in PROMPTS.items()}
print(pd.DataFrame(results).T)