最近在做一个客服问答的小工具,用GPT-4o做意图识别和回复生成。Prompt改了十几版,每次改完感觉某类问题好了,另一类又崩了,完全靠手动试,头大。想过用LangSmith或者PromptLayer这类工具,但不确定值不值得上,还是先自己写个Excel记录算了。另外评测集也不知道怎么构造比较合理,人工写了几十条,但覆盖不全。有没有实践过的老哥聊聊,小团队怎么低成本把Prompt迭代这件事管起来?
最近在做一个客服问答的小工具,用GPT-4o做意图识别和回复生成。Prompt改了十几版,每次改完感觉某类问题好了,另一类又崩了,完全靠手动试,头大。想过用LangSmith或者PromptLayer这类工具,但不确定值不值得上,还是先自己写个Excel记录算了。另外评测集也不知道怎么构造比较合理,人工写了几十条,但覆盖不全。有没有实践过的老哥聊聊,小团队怎么低成本把Prompt迭代这件事管起来?
暂无回复,快来抢沙发吧