最近在用GPT-4做客服场景的意图识别,大概写了十几个版本的prompt。每次改完感觉某几个case好了,但之前没问题的case又挂了,来回横跳。目前就是手动拿十几个测试用例跑一遍,眼睛看输出,改几个词再跑,效率极低而且很主观。想问下大家在实际项目里是怎么管理prompt版本的?有没有什么工具或者方法论能像单元测试一样,改完prompt自动跑回归、看通过率?还是说只能靠经验和玄学……真诚求教。
楼主
26天前
Prompt调了半天效果还是不稳定,大家是怎么做系统化测试和迭代的?
请 登录 后发表回复
全部回复
共 2 条
2楼
24天前
这个问题太真实了,prompt调优确实很容易顾此失彼。我现在的做法是先把测试用例按意图分类整理成固定集合,每次改完都跑一遍记录通过率,至少能看出是整体提升还是拆东墙补西墙。工具上可以试试promptfoo或者langsmith这类,能自动跑回归对比不同版本。另外建议把prompt拆成模块,比如角色设定、分类规则、输出格式分开调,别一次性全改,不然根本定位不到是哪句话起了反作用。
3楼
15天前
十几个版本横跳太真实了,建议搞个固定测试集自动跑通过率,不然纯靠眼睛看真的玄学。