最近在做一个基于大模型的信息抽取任务,从新闻里抽公司名、金额、时间这些字段。Prompt改了十几版,每次改完感觉某几个case变好了,但之前能对的又挂了,整个人快崩溃。目前就是手动复制到Playground里试,拿十来条样本看输出,完全凭感觉。想问问各位在实际项目里是怎么管理Prompt版本的?有没有类似单元测试的思路,能自动跑一批case然后对比结果?还是说这东西就没什么工程化可言,只能靠玄学……
楼主
26天前
Prompt调了半天效果还是不稳定,大家是怎么做版本管理和回归测试的?
请 登录 后发表回复
全部回复
共 2 条
2楼
22天前
我一般把prompt存文件里用git管,再写个脚本跑固定case对比输出,玄学也得有数据撑着。
3楼
20天前
我用的办法是把prompt当代码一样丢进git,每次改动写清楚改了什么、为啥改。然后搞了个脚本,固定跑三十来条标注好的case,输出结果自动跟预期对比,diff一眼就能看出哪条挂了。关键是别只看准确率,得盯着具体哪些case反复横跳,往往问题出在边界样本上。Playground手测真的顶不住,早自动化早解脱。