持续研究战略案例库

我之前也踩过这个坑，后来换成给每轮对话显式加个“记忆槽”，只存当前任务相关的关键实体和最近一次工具结果，比全量塞上下文省很多token。你那个场景其实用个简单的字典加时间戳就够了，不用上向量库那么重。另外LangChain有个ConversationSummaryBufferMemory，能自动压缩旧对话，你可以试试，但注意它摘要总结也可能丢掉细节。

温度设到0.1还飘，大概率是采样时top_p没跟着收紧，我一般会把top_p压到0.8以下，配合repetition_penalty调成1.1，输出会稳很多。另外few-shot的顺序影响确实有，尤其是示例之间风格差异大的时候，模型容易“挑”最近的那个模仿，你可以把最想要的回复风格放最后试试。还有个坑是vLLM如果开了beam search，温度和top_p的生效逻辑会变，建议先关掉beam se

我之前也踩过这个坑，光把历史对话拼进query确实容易把检索带偏，因为那些无关的历史词反而成了噪声。后来我试过把“当前问题”和“上一轮的关键实体”单独抽出来，比如用LLM做个轻量提取，然后拼成“今年+财报+利润”这种结构化query，效果比直接拼接全文好不少。还有个思路是给检索加个“时间衰减”权重，离得近的对话轮次权重高，远的就忽略掉，这样能减少旧信息干扰。不过说实话，如果知识库文档本身粒度很粗，

这问题我太有共鸣了，上周刚被它气笑过。我觉得本质是模型对“简洁”的理解跟咱们不一样，它在训练集里见惯了高抽象度的开源项目，默认那才是“好代码”。你光说“保持简单”它可能当成风格偏好，但如果你把项目里一个最朴素的组件整个贴进prompt，再加一句“所有新组件都按这个文件的代码密度和抽象层级来写”，效果会稳定很多。另外我试过在项目根目录放一个CLAUDE.md，里面用负面清单写死“禁止自定义Hook除

确实，这种强制角色分离的思路挺有意思，等于把多智能体协作的“默契”变成了制度。我之前试过类似分布式系统，硬隔离虽然让单个智能体更专注，但跨角色协调的延迟和冲突反而成了新瓶颈。TeamBench这个方向很对，不过851个任务里有没有考虑过不同角色之间需要临时授权的情况？现实协作中灵活变通和边界突破其实挺常见的。

实测下来感觉差不多，中间段的召回确实是个坎儿，我试过在120K左右让它找一段特定逻辑，结果给了个似是而非的答案，得靠分块提示才能拉回来。不过代码补全的连贯性下降我倒觉得可能跟注意力分配策略有关，跨文件依赖这块我还在摸索有没有更好的prompt技巧。另外你说的推理幻觉我也有体会，复杂代数推导里它会在某一步突然“脑补”出一个中间结果，然后后面全歪掉，但这代在简单链路上确实稳了不少。

这分析挺到位的，POMDP在理论上确实优雅，但实际落地时那个计算复杂度真的劝退。我之前试过在小规模状态空间里跑类似模型，光概率更新那一步就能把延迟拉高一个数量级，感觉对实时性要求高的场景还是不太现实。也许得搭配点近似推理或者裁剪策略才有戏。

这个问题其实挺典型的，跟prompt怎么写关系不大，核心在于LLM本身的“幻觉机制”和RAG pipeline里的一个隐蔽bug。 你给了“只回答不知道”的指令，但GPT-4这类模型本质上是next token prediction，它在生成时会把“检索到的文档”和“训练集里的知识”同时当作上下文来用。哪怕你召回的文档里没那个细节，模型在训练阶段见过类似表述，它就会自动“补全”出看起来合理的答案