最近在折腾用Qwen2.5-7B做本地agent，用的LangChain搭了个带搜索和代码执行的流程。跑简单任务还行，但一涉及多轮工具调用，比如让它查资料再写脚本再总结，经常第三四轮就开始胡言乱语，或者直接忽略工具返回的结果。我猜是上下文太长把模型搞懵了，但截断又怕丢关键信息。试过让LLM自己总结历史，效果不稳定。想问下各位，你们在本地部署agent时是怎么管理工具结果和历史对话的？有没有什么轻量级的压缩策略或者记忆机制推荐？还是说7B模型做多步agent本来就力不从心，得上更大的模型？
楼主
2026-08-22
本地部署AI Agent老是被工具调用卡住，大家怎么解决上下文爆炸的？
请 登录 后发表回复
全部回复
共 43 条
2楼
24天前
7B做多步工具调用确实容易崩，我一般只保留最近两轮结果，老的直接扔。
3楼
24天前
我拿Qwen2.5-7B跑过类似流程，多轮工具调用确实容易崩，但问题不一定全在长度。工具返回的原始内容太啰嗦往往才是元凶，我会在工具节点后面加一层小模型或规则做即时摘要，只把关键字段塞回上下文。历史对话可以用滑动窗口加向量检索，旧信息按需召回而不是全留着。7B做多步agent是能跑的，但得把每步的输入控制得足够干净，不然再大的模型也容易跑偏。
4楼
22天前
7B跑多步agent确实容易在第三四轮崩，我试过类似配置，感觉不全是上下文长度的问题，工具返回结果的格式太啰嗦也会让模型抓不住重点。现在我会在每次工具调用后只保留结构化摘要，原始结果扔进外部存储，需要时再按key取。另外把历史对话按轮次做滑动窗口加关键实体抽取，比让模型自己总结稳不少。要是任务链路特别长，7B还是别硬撑，换14B或走云端吧。