我用12组Prompt对比测试，把电商评论分类准确率从78%提升到94%

import openai
import json
import time

client = openai.OpenAI(api_key="sk-xxx")

def classify_review(review, prompt_template, model="gpt-4o-mini"):
    start = time.time()
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt_template.format(review=review)}],
        temperature=0,
        max_tokens=100
    )
    latency = time.time() - start
    content = resp.choices[0].message.content.strip()
    usage = resp.usage
    return {
        "raw": content,
        "prompt_tokens": usage.prompt_tokens,
        "completion_tokens": usage.completion_tokens,
        "latency": round(latency, 2)
    }

P1 = """请对以下电商评论进行分类，类别为：物流、质量、客服、其他。
评论：{review}
类别："""

P5 = """你是资深电商运营专家，需要对用户评论做精准分类。
分类体系：
- 物流：配送慢、包裹破损、发错货
- 质量：商品瑕疵、材质差、与描述不符
- 客服：态度差、回复慢、不解决问题
- 其他：不属于以上三类

示例：
评论：快递太慢了，等了一周才到。 -> {{"category": "物流"}}
评论：衣服面料很舒服，但线头有点多。 -> {{"category": "质量"}}
评论：客服半天不回消息，气死了。 -> {{"category": "客服"}}

现在请分类下面这条评论，只返回JSON，不要解释：
评论：{review}
输出："""

P8 = """你是电商评论分类助手。请按以下步骤处理：
第一步：找出评论中与物流、质量、客服相关的关键词。
第二步：根据关键词判断主类别。
第三步：只输出JSON格式结果。

评论：{review}
请直接输出JSON："""

import pandas as pd

df = pd.read_csv("test_200.csv")  # columns: review, label
results = []

for _, row in df.iterrows():
    out = classify_review(row["review"], P5)
    # 解析JSON
    try:
        pred = json.loads(out["raw"])["category"]
    except Exception:
        pred = "解析失败"
    results.append({
        "review": row["review"],
        "label": row["label"],
        "pred": pred,
        "prompt_tokens": out["prompt_tokens"],
        "completion_tokens": out["completion_tokens"],
        "latency": out["latency"]
    })

res_df = pd.DataFrame(results)
print("准确率：", (res_df["label"] == res_df["pred"]).mean())
print("平均token：", (res_df["prompt_tokens"] + res_df["completion_tokens"]).mean())