从78分到94分：一次电商评论情感分析Prompt工程优化记录

import os, json, time
from openai import OpenAI

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

def classify(prompt: str, comment: str) -> str:
    resp = client.chat.completions.create(
        model="gpt-4o-mini",
        temperature=0,
        top_p=1,
        max_tokens=64,
        messages=[
            {"role": "system", "content": prompt},
            {"role": "user", "content": comment},
        ],
    )
    return resp.choices[0].message.content.strip(), resp.usage.total_tokens

判断下面这条评论的情感倾向。

你是一个情感分析助手。请判断用户评论的情感倾向，只能是以下三种之一：正面、负面、中性。
只输出这三个词中的一个，不要输出其他内容。

你是一名资深的电商评论分析师，擅长从用户措辞中识别真实情感。

判定标准：
- 正面：明确表达满意、推荐、复购意愿
- 负面：明确表达不满、投诉、退货意愿
- 中性：仅陈述事实、提问、无明显情感倾向，或正负情感同时出现且强度相当

请只输出"正面"、"负面"或"中性"。

输出格式（严格JSON）：
{"label": "正面|负面|中性", "confidence": 0.0-1.0}

import json
from collections import Counter
from sklearn.metrics import f1_score, accuracy_score

def evaluate(prompt: str, testset: list[dict]) -> dict:
    preds, golds, tokens = [], [], 0
    for item in testset:
        out, tk = classify(prompt, item["comment"])
        tokens += tk
        # V4 是JSON，需要解析；V1-V3直接取文本
        try:
            label = json.loads(out)["label"]
        except Exception:
            label = out.strip()
        preds.append(label)
        golds.append(item["label"])
    return {
        "acc": round(accuracy_score(golds, preds), 4),
        "f1_macro": round(f1_score(golds, preds, average="macro"), 4),
        "avg_tokens": round(tokens / len(testset), 1),
        "dist": dict(Counter(preds)),
    }

FEW_SHOT = """
示例：
评论：这手机续航太顶了，一天重度使用还剩30% -> {"label": "正面", "confidence": 0.95}
评论：收到货就发现有划痕，客服还不给退 -> {"label": "负面", "confidence": 0.97}
评论：东西收到了，还没用，包装完好 -> {"label": "中性", "confidence": 0.8}
评论：质量还行吧，就是发货太慢了，等了一周 -> {"label": "负面", "confidence": 0.75}
评论：请问这个支持无线充电吗 -> {"label": "中性", "confidence": 0.9}
评论：第二次回购了，一如既往的好 -> {"label": "正面", "confidence": 0.96}
"""