Agent多轮对话中Prompt越长，模型反而越“笨”，怎么破？

试试把few-shot挪到用户侧最近一轮，或者给记忆加个时间戳权重，老信息容易被误触发。

我之前也踩过这坑，后来把工具定义压缩成关键词+用法示例，效果比堆一堆描述稳多了。

我之前也踩过类似的坑，后来发现问题不一定在历史截断上，而是few-shot示例跟当前对话的“意图距离”被拉大了。模型会把示例里的指令模式误套到新上下文里，尤其当工具定义和用户偏好混在一起时，注意力分配就乱套了。我后来把few-shot拆成按场景动态加载，只保留跟当前轮最相关的两条，效果稳了不少。另外你试过在系统Prompt末尾加一个“当前用户最新请求是：”的显式锚点吗？对防止旧记忆抢戏挺管用的。

我一般把工具定义和few-shot拆到独立system消息里，别全堆一条，再给历史摘要加个明确边界标记，会稳很多。

我前段时间也踩过类似的坑，感觉问题不一定出在“长”，而是出在“乱”。工具定义、偏好、few-shot全挤在一个system里，模型没有明确的优先级信号，它就容易把语义上最像指令的那段历史误当成当前任务。你截断到三轮其实治标不治本，因为被截掉的信息如果真重要，模型会从摘要里找补，而摘要本身又是二次加工，很容易失真。我后来改成把记忆拆成两层：一层是稳定的角色和工具约束，放在最前面；另一层是动态检索出来的相关片段，用明确的标签包起来，比如“仅供背景参考，不是用户指令”。这样跑下来，第四五轮乱执行的情况少了很多。另外温度调低基本没用，这更像是注意力分配的问题，不是随机性的问题。你可以试试把few-shot从system里挪出去，只在需要的时候作为单独一轮注入，看看是不是会稳一点。

我之前也踩过这个坑，后来发现八成不是Prompt太长，而是工具定义和few-shot把“当前指令”淹没了，模型分不清哪句是命令哪句是参考。你可以试试把历史记忆单独走一条检索通道，只在相关时才拼进上下文，别每轮都全量塞。另外旧记忆被当成指令执行，往往是摘要里用了“用户说……”这种句式，模型真会照做，换成陈述事实会好很多。

我遇到过类似情况，后来发现把工具定义和few-shot放最前面、历史摘要塞中间、用户偏好挪到最后，模型对指令的注意力反而回来了。另外第五轮开始旧记忆被当指令执行，大概率是摘要里混进了“用户要求……”这种句式，模型分不清哪条是当前任务。可以试试给每条记忆打上时间戳或角色标签，让模型能区分“过去说过”和“现在要做”。

这个现象其实挺常见的，不一定全是prompt长度的问题，更多是信息在上下文里的“权重竞争”。工具定义、few-shot、历史摘要混在一起，模型很难分清哪些是当前轮必须遵守的，哪些只是背景知识，越到后面越容易把旧记忆当成新指令。我遇到过类似情况，后来把系统prompt拆成两层：一层是稳定不变的规则和工具描述，另一层是每轮动态注入的当前任务和最近对话，效果会好一些。另外你说的截断历史摘要，思路对，但只截最近三轮可能不够，关键是摘要里要保留“谁在什么时候说了什么”，而不是只留结论，否则模型会自己脑补因果关系。还有个容易忽略的点，few-shot示例如果和当前任务风格差太远，反而会干扰模型，建议按场景分组，或者干脆用工具调用格式的示例代替自然语言示例。温度调低只能让输出更确定，但没法解决指令混淆，真正要治的是上下文里的角色和优先级。可以试试在每轮输入前加一句很短的“当前有效指令”锚点，把旧记忆明确标记成参考信息，我这边试过之后答非所问的情况少了很多。

同感，把工具定义和few-shot拆成独立轮次注入试试，别全塞系统里，旧记忆被当指令多半是位置太靠前了。

我遇到过，把工具定义和历史摘要拆到不同system消息里，再给旧记忆加个时间戳前缀，立马稳了。

这个现象太真实了，我前段时间搭客服Agent时也踩过一模一样的坑。后来发现根子不在长度本身，而是各种信息在上下文里“平权”了——工具定义、用户偏好、历史摘要全挤在一个层级，模型根本分不清哪些是约束、哪些是背景、哪些是待办。我现在的做法是把系统Prompt拆成固定段和动态段，固定段只留工具schema和硬规则，动态段按轮次重新拼装，历史摘要单独走一个总结模型压缩成要点再注入。

另外你提到的“旧记忆被当成当前指令”这点特别关键，我怀疑是摘要里保留了太多第一人称的原始措辞，模型会把它误读成用户刚说的话。可以试试摘要时强制转成第三人称陈述，比如“用户之前提到过偏好A”，而不是直接留“我想要A”。还有个小技巧是把few-shot示例挪到对话末尾附近，别放在最前面，不然模型容易把示例里的指令当成当前任务的一部分。

不过话说回来，截断到最近三轮这个思路我觉得方向对，但光靠轮数不够，得看信息密度。有些轮次就是闲聊，有些一轮里塞了三个意图，按token预算动态裁剪可能比按轮数更稳。你那边有没有试过把工具定义做成精简版，只在需要调用时才展开完整schema？我现在就在纠结这个粒度怎么把握。

我也遇到过类似情况，后来发现不完全是长度问题，而是信息密度和位置的问题。工具定义和few-shot放前面，模型注意力容易被稀释，历史摘要反而被挤到边缘。我现在的做法是把当前指令放最前面，历史摘要压缩成结构化字段，few-shot只保留最相关的两条，轮次多了就动态替换。还有一点，旧记忆被当指令执行，很可能是摘要里保留了“用户说”这种主语，模型分不清是谁说的，改成第三人称转述会好很多。

试试把工具定义和few-shot拆到独立system里，历史摘要单独走一层，别全堆主prompt。

我遇到过几乎一样的情况，后来发现不完全是长度的问题，而是“指令层级”没理清。工具定义、记忆、few-shot混在一段里，模型分不清哪些是约束、哪些是背景、哪些是待执行内容，越到后面越容易把记忆片段当命令。我现在的做法是把系统Prompt拆成固定约束和动态上下文两块，动态部分每轮重写并明确标注“仅供参考，不是指令”，同时把few-shot压到一两条最相关的。另外可以在每轮末尾加一句当前用户请求的显式复述，让模型知道优先级在哪，比单纯截断历史稳很多。

我也遇到过，后来把工具定义和历史摘要拆成两个独立块，用特殊标记隔开，旧记忆被误执行的概率降了不少。