Prompt Engineering实验：同一结构化抽取任务下6版提示词的Token消耗与准确率对比

prompt = f"从下面的招聘信息中提取职位、公司、城市、薪资范围、经验要求、学历要求和技能列表，输出JSON。\n\n{jd_text}"

import json, time
from openai import OpenAI

client = OpenAI(api_key="sk-xxx")

def run_prompt(system_prompt: str, user_template: str, dataset: list[dict],
               use_json_mode: bool = True) -> dict:
    results, total_in, total_out = [], 0, 0
    for item in dataset:
        messages = [
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_template.format(jd=item["jd_text"])},
        ]
        kwargs = dict(model="gpt-4o-2024-08-06", messages=messages,
                      temperature=0, top_p=1, max_tokens=1024)
        if use_json_mode:
            kwargs["response_format"] = {"type": "json_object"}
        resp = client.chat.completions.create(**kwargs)
        total_in += resp.usage.prompt_tokens
        total_out += resp.usage.completion_tokens
        try:
            parsed = json.loads(resp.choices[0].message.content)
        except json.JSONDecodeError:
            parsed = {}
        results.append({"pred": parsed, "gold": item["gold"]})
        time.sleep(0.05)  # 避免触发RPM限制
    return {"results": results,
            "avg_prompt_tokens": total_in / len(dataset),
            "avg_completion_tokens": total_out / len(dataset)}

def eval_field_accuracy(results: list[dict]) -> float:
    total, correct = 0, 0
    for r in results:
        for k, gold_v in r["gold"].items():
            total += 1
            pred_v = r["pred"].get(k)
            if k == "skills":
                # 技能按集合比较，忽略顺序和大小写
                ok = (isinstance(pred_v, list) and
                      {s.lower().strip() for s in pred_v} ==
                      {s.lower().strip() for s in gold_v})
            elif k.startswith("salary"):
                ok = pred_v == gold_v
            else:
                ok = str(pred_v).strip() == str(gold_v).strip()
            correct += int(ok)
    return correct / total

V6_SYSTEM = """你是招聘信息结构化抽取器。只输出JSON，不要任何解释。

输出字段（严格使用以下字段名和类型）：
- job_title: string
- company: string
- city: string（如"北京"，不带"市"）
- salary_min: int|null（单位：元/月）
- salary_max: int|null（单位：元/月）
- salary_months: int（年薪月数，默认12）
- experience: string（枚举："应届"、"1-3年"、"3-5年"、"5-10年"、"10年以上"、"不限"）
- education: string（枚举："大专"、"本科"、"硕士"、"博士"、"不限"；JD未提及填"不限"）
- skills: string[]（技术关键词，去重，保留原文大小写）

关键规则：
1. "15-25K·14薪" → salary_min=15000, salary_max=25000, salary_months=14
2. "面议"或未提及薪资 → salary_min=null, salary_max=null, salary_months=12
3. 薪资单位是"元/天"时，乘以21.75换算为月薪并取整
4. 严禁编造JD中不存在的信息"""

V6_USER = """示例输入：
"字节跳动招聘后端开发工程师，北京，20-40K·15薪，3-5年经验，本科及以上，熟悉Go、Redis、Kafka"

示例输出：
{"job_title":"后端开发工程师","company":"字节跳动","city":"北京","salary_min":20000,"salary_max":40000,"salary_months":15,"experience":"3-5年","education":"本科","skills":["Go","Redis","Kafka"]}

现在抽取：
{jd}"""