最近在做一个基于LLM的Agent项目,主要是让模型自己调工具查数据然后总结。单个工具的Prompt调一调还能用,但一旦串成多步流程,前面稍微跑偏一点后面就全乱了。试过在System Prompt里加各种约束、Few-shot示例也塞了不少,但换个输入分布效果就崩。看网上说要做Prompt版本管理、自动评估什么的,但自己搞起来感觉无从下手。想问问大家实际做Agent的时候,Prompt是怎么组织和迭代的?有没有比较落地的工程化思路?
楼主
26天前
Prompt写了几十个版本效果还是不稳定,Agent的提示词到底该怎么工程化?
请 登录 后发表回复
全部回复
共 1 条
2楼
22天前
多步Agent的Prompt确实不能靠堆约束,越堆越容易互相打架。我现在的做法是把每一步拆成独立节点,每个节点只负责一件事,输出格式用JSON schema卡死,这样前一步跑偏后面还能靠校验兜住。评估这块别想着一上来搞全自动,先攒几十条真实badcase,每次改完Prompt手动跑一遍对比,比啥框架都管用。另外工具描述本身也很关键,参数含义写清楚比在System Prompt里反复强调有用得多。