先给一个判断:prompt 是生产代码的一部分,不是可以随手改的配置。我搜了 5 篇讲提示词工程化的文章,口径高度一致。有篇举了个反例,产品经理把客服 prompt 改得"更友好",退款资格的回答悄悄变错,事后才发现。改 prompt 别靠感觉。这篇讲清三件事:版本化、回归评测、灰度上线。

版本化,先放进 Git

第一步最土也最管用:把 prompt 从代码字符串里拎出来,单独进 Git。版本号用语义版本,改动要过 PR 评审。我核了几篇来源的共识:prompt 存在仪表盘里、随手改、没法回滚,是静默质量回退的最大来源;成熟的团队用 PromptLayer、LangSmith、Langfuse、Promptfoo 这些注册表,每个版本都是不可变制品,带作者、模型、评测分数。这条先记牢。

我建议别一上来就上重平台。先建个 prompts/ 目录,每条 prompt 一个文件,提交进 Git,就能挡住最蠢的那类事故。等真的有多人协作、有版本发布需求,再上注册表。有个细节值得记:注册表里版本标签跟环境绑定,prompt v14 从 staging 升到 production,回滚到 v13 只要换一个标签,不用重发代码。

回归评测,golden dataset 加断言

版本化解决"谁改的",回归评测解决"改坏了没"。这层的核心是一份 golden dataset,就是精选的真实输入加期望输出,当成 prompt 的单元测试。我核了几篇的共识:数据质量比数量重要,覆盖 happy path、边界、已知失败模式,几十条精心挑的比几千条随机采的更能抓回归。有篇明写过一个团队的做法,CI 里跑一个 300 用例的 eval,每次改 prompt 都跑 1 遍。别堆数量。

断言分两层。确定性断言先跑,查 JSON 能不能解析、字段齐不齐、有没有违禁词,这些能机械判。语义质量交给 LLM-as-judge,让第二个模型按 rubric 打分。我建议顺序是确定性在前、judge 在后,因为前者便宜又快,先拦掉明显的坏。评测指标这边,自动分可以用 ROUGE、BERTScore 这类,再加你的任务指标,比如退款场景直接看 recall@K。

# promptfoo 风格:确定性断言 + 模型打分,版本存进 Git
prompts: [prompts/support.yaml]
providers: [openai:gpt-4o-mini]
tests:
  - vars: { query: "我买错了能退吗" }
    assert:
      - type: contains
        value: "退款"
      - type: llm-rubric
        value: "回答是否给出可执行的退款步骤"

这段是我照 Promptfoo 的声明式思路自写的,没抄谁的配置。它的价值在把"改 prompt 不靠感觉"固化下来:每次改 prompt,跑这组断言,哪条用例回退了看得见。

灰度上线,canary 加 A/B

评测过了也不等于能全量上。prompt 是非确定性的,测试集再全也覆盖不了真实流量。我核下来,稳妥的做法是 canary:新版本先接 5% 到 10% 的流量跟旧版本对比,指标稳了再放量,而 A/B 比的是业务指标,不是"哪个听起来更好"。有篇讲得很透:一个 prompt 听起来更顺,但幻觉率更高、人工编辑时间更长,它在生产里就是输家。

这里有个判断我想写死。A/B 要按流量分段看,别只看一个总数字。电商图、编辑图、UI 截图可能表现完全不同,聚合起来会把真实的回退藏掉。分段是 A/B 的一半工作量。

工具怎么选,别被名字绕晕

我搜下来这几家工具的分工是这样:Promptfoo 是 MIT 许可、CLI 优先、用声明式 YAML 把断言和版本一起存进 Git,适合工程团队在 CI 里卡 PR;Langfuse 和 LangSmith 偏观测,把每次生产响应对应到确切的 prompt 版本和模型版本,适合追回退;PromptLayer 是给产品经理的 CMS,非工程师能在网页里改 prompt、走审批流;Agenta 是开源的全套 LLMOps。别一锅端。

我给个选型判断。原型阶段用 Promptfoo 加一份 golden dataset 起步就够。要观测生产回退,上 Langfuse 或 LangSmith。要多人协作、产品经理参与改 prompt,再上 PromptLayer 这类 CMS。别一上来就端一整套平台,那是有了规模之后的账。先算这笔账。

prompt 漂移,不改也退

最后一件事最容易漏。prompt 自己没动,底层模型升级了、输入分布变了,质量照样往下掉。我核下来这叫 prompt drift。防法就是持续监测,把每次生产响应对应到确切的 prompt 版本和模型版本,回退时能定位到是哪个版本的问题。

有个数字我单独拎出来。有篇来源写着,把 prompt 硬编码在 Python 字符串里,一个措辞小改动,15% 的边界输入就破了 JSON 格式,还没人知道周二部署的是哪个版本。这个 15% 是来源标的,不是我的实测,我照引。

我给个结论,不绕。什么时候必须上这一整套,看你的 LLM 功能有没有真实用户、有没有收入挂在上头、prompt 改动会不会被人感知;什么时候可以先用轻的,看你是不是还在原型阶段,是的话 Promptfoo 加 golden dataset 加 Git 三样就够。别硬上重平台,这是硬伤。

一句话。prompt 的活儿一半在写的时候,一半在改的时候。版本化、回归评测、灰度上线三件事做齐,改 prompt 才不靠感觉。