Prompt Engineering实测：同一任务5种提示词设计，Token消耗从1800降到420，输出质量反而更高

{
  "sentiment": "positive|negative|neutral",
  "category": "物流|质量|客服|价格|其他",
  "keywords": ["..."]
}

import json
import time
import pandas as pd
from openai import OpenAI

client = OpenAI(api_key="sk-xxx")

def call_gpt(prompt: str) -> dict:
    start = time.time()
    resp = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2,
        top_p=0.9,
        max_tokens=256,
        response_format={"type": "json_object"},  # P3/P4/P5启用
    )
    latency = time.time() - start
    text = resp.choices[0].message.content
    return {
        "text": text,
        "prompt_tokens": resp.usage.prompt_tokens,
        "completion_tokens": resp.usage.completion_tokens,
        "latency": latency,
    }

def evaluate(prompt_template: str, dataset: pd.DataFrame):
    records = []
    for _, row in dataset.iterrows():
        prompt = prompt_template.format(review=row["review"])
        out = call_gpt(prompt)
        try:
            parsed = json.loads(out["text"])
            parse_ok = 1
        except json.JSONDecodeError:
            parsed, parse_ok = {}, 0
        records.append({
            "parse_ok": parse_ok,
            "prompt_tokens": out["prompt_tokens"],
            "completion_tokens": out["completion_tokens"],
            "latency": out["latency"],
            "pred": parsed,
            "gold": json.loads(row["label"]),
        })
    return pd.DataFrame(records)

P5_TEMPLATE = """从评论中抽取结构化信息，只输出JSON。

字段定义：
- sentiment: 枚举["positive","negative","neutral"]
- category: 枚举["物流","质量","客服","价格","其他"]
- keywords: 字符串数组，最多3个，取自评论原文

评论：{review}
JSON："""

P1_TEMPLATE = """你是一位资深的电商评论分析专家，拥有多年用户反馈处理经验。
请你仔细阅读下面的用户评论，从情感倾向、问题类目、关键词三个维度进行分析。

要求：
1. sentiment字段必须是positive、negative、neutral三者之一...
（此处省略约400字说明）
2. category字段需要判断评论主要涉及哪个方面...
3. keywords请提取最能代表评论内容的词汇...

示例1：
评论：物流太慢了，等了一周才到
输出：{{"sentiment":"negative","category":"物流","keywords":["物流慢","一周"]}}

（再省略2个示例）

现在请处理这条评论：{review}
请输出JSON格式结果："""