从62%到94%准确率：一次客服工单分类任务的Prompt Engineering对比实验与Token成本分析

import os, json, time
from openai import OpenAI
from typing import List, Dict

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))
MODEL = "gpt-4o-mini-2024-07-18"

CATEGORIES = ["退款退货", "物流查询", "商品咨询", "账号问题", "投诉建议", "其他"]

def call_llm(prompt: str, system: str = None) -> Dict:
    messages = []
    if system:
        messages.append({"role": "system", "content": system})
    messages.append({"role": "user", "content": prompt})

    start = time.time()
    resp = client.chat.completions.create(
        model=MODEL,
        messages=messages,
        temperature=0,
        top_p=1,
        max_tokens=256,
    )
    latency = time.time() - start
    return {
        "content": resp.choices[0].message.content,
        "prompt_tokens": resp.usage.prompt_tokens,
        "completion_tokens": resp.usage.completion_tokens,
        "latency": latency,
    }

# P1 Zero-shot
PROMPT_P1 = """请将下面的客服工单分类到以下类别之一：
{categories}

工单内容：{text}

只输出类别名称。"""

# P2 Few-shot
FEWSHOT_EXAMPLES = """
示例1：工单"我买的衣服尺码不对，想换大一码" → 退款退货
示例2：工单"快递三天没更新了，到哪了" → 物流查询
示例3：工单"这个面膜孕妇能用吗" → 商品咨询
示例4：工单"我登录不上，密码重置邮件收不到" → 账号问题
示例5：工单"客服态度太差了，等了半小时没人理" → 投诉建议
示例6：工单"你们几点上班" → 其他
"""

PROMPT_P2 = """请将下面的客服工单分类到以下类别之一：
{categories}

{fewshot}

工单内容：{text}

只输出类别名称。"""

# P3 角色+结构化
SYSTEM_P3 = "你是一名有8年经验的电商客服主管，擅长快速准确地为工单归类。"

PROMPT_P3 = """请将工单分类到以下6个类别之一：{categories}

工单内容：{text}

要求以JSON格式输出，字段为 category，值必须是上述6个类别之一。示例：{{"category": "物流查询"}}"""

# P4 CoT + 结构化
PROMPT_P4 = """请将工单分类到以下6个类别之一：{categories}

工单内容：{text}

请按以下步骤思考：
1. 用户的核心诉求是什么？（一句话概括）
2. 该诉求最匹配哪个类别？为什么容易与其他类别混淆？
3. 给出最终类别。

最后以JSON格式输出，包含字段 reasoning（你的分析）和 category（最终类别）。"""

import pandas as pd
from sklearn.metrics import accuracy_score, f1_score

def evaluate(prompt_template, system=None, use_json=False):
    df = pd.read_csv("tickets_500.csv")  # 列：text, label
    preds, tokens_in, tokens_out, latencies = [], 0, 0, 0

    for _, row in df.iterrows():
        prompt = prompt_template.format(
            categories="、".join(CATEGORIES),
            text=row["text"],
            fewshot=FEWSHOT_EXAMPLES if "{fewshot}" in prompt_template else "",
        )
        r = call_llm(prompt, system)
        tokens_in += r["prompt_tokens"]
        tokens_out += r["completion_tokens"]
        latencies += r["latency"]

        content = r["content"].strip()
        if use_json:
            try:
                content = json.loads(content)["category"]
            except Exception:
                content = "解析失败"
        preds.append(content)

    n = len(df)
    return {
        "acc": accuracy_score(df["label"], preds),
        "f1": f1_score(df["label"], preds, average="macro"),
        "avg_in": tokens_in / n,
        "avg_out": tokens_out / n,
        "avg_latency": latencies / n,
    }