最近在做一个基于大模型的信息抽取任务,从新闻里抽公司名、金额、时间这些字段。Prompt改了十几版,每次改完感觉某几个case变好了,但之前能对的又挂了,整个人快崩溃。目前就是手动复制到Playground里试,拿十来条样本看输出,完全凭感觉。想问问各位在实际项目里是怎么管理Prompt版本的?有没有类似单元测试的思路,能自动跑一批case然后对比结果?还是说这东西就没什么工程化可言,只能靠玄学……