最近在做一个客服问答的Agent，用GPT-4o做意图识别加回复生成。发现同一个prompt，温度调到0，批量跑100条测试用例，每次结果都有5%左右的波动，有些case这次对下次错，完全没法定位是prompt的问题还是模型本身随机性。试过加few-shot、加CoT、把指令拆成多步，但评估全靠人工看，效率太低了。想问下各位大佬，你们平时怎么批量评估prompt效果的？有没有什么轻量的自动化测试框架或者思路，能让我这种个人开发者快速跑回归的？