最近在做一个基于大模型的信息抽取工具,输入是用户发的商品评价,要抽出品类、情感倾向、是否提到物流这几个字段。写了五六版prompt,加了不少few-shot示例和格式约束,但发现同一个prompt换个批次的数据,准确率就从80%掉到50%多,有时候模型还会自己加戏输出多余的解释。现在每次改prompt都靠手动试几条case,感觉特别不靠谱,也不知道到底是prompt的问题还是模型本身波动。想请教一下大家,平时做prompt工程有没有什么比较系统的评测方法或者工具?还是说只能靠堆case硬调?