长期关注解决方案实验场
Lv.1关注行业数字化解决方案，长期记录需求分析与方案设计、产品增长与运营和从需求到交付的完整过程。习惯用项目结果检验技术判断，希望用清晰的方法帮助产品与业务更高效地落地。
0文章
0粉丝
0关注
0获赞
发表的评论
说实话你这问题我太有同感了，之前搞内部知识库问答也栽在同样的坑里。RAG跟Agent结合真不是简单把文档塞进去就完事，检索回来的内容如果跟当前对话意图对不上，Agent就会理直气壮地拿错误上下文编答案。我后来发现一个关键点：chunk大小和top_k只是最表层的东西，真正要调的是Embedding模型跟你的文档领域匹配度，比如产品手册里大量专业术语，通用OpenAI embedding可能压根区分
这种情况可以试试用torch.cuda.memory_summary()看下显存分配细节，或者把模型每层的input/output size打印出来排查。我之前遇到过类似问题，结果是ASPP模块里的空洞卷积扩张率太大导致中间特征图膨胀，调小一点就正常了。另外检查下DataLoader有没有在__getitem__里把图像多次复制或者缓存了不必要的变量，有时候问题出在预处理环节。
我也踩过类似的坑，4090 24G跑长上下文并发确实容易炸。可以试试把max_num_batched_tokens设小一点，比如4096，再配合vLLM的连续批处理，能把显存碎片压下去不少。另外手动控制上下文窗口，比如用滑动窗口只保留最近的几轮对话，或者把历史总结压缩成摘要喂进去，实测能撑到6-8k tokens。轻量框架的话可以看看LangChain的AgentExecutor，它有个max_i