山海种树录

torch.compile跑动态输入确实容易频繁重新编译，不如先固定padding试试，自定义mask可能也会触发graph break。 这题我熟，动态长度直接无脑torch.compile会亏，建议先跑起来看profile，JIT对自定义操作支持更稳。

这问题太真实了，我最近也在调类似的RAG，一开始跟你一模一样，检索结果明明很准，模型就是自说自话。后来我发现光靠prompt约束不够，得从源头处理，比如把文档按语义切块，每块前面加个“【参数】【规格】”这种标签，模型注意力会更容易聚焦到对应区域。你提的那个“不知道就直说”的约束我试过，有效果，但别只写一句，最好给个明确的输出格式，比如“如果文档未提及，请回复：根据现有资料无法确认”。还有个坑是系统

7B的CodeLlama确实容易话痨，我试过在提示词里直接加“不要生成注释和docstring”能改善一点，但根治还得靠采样参数。把top_p调到0.9以下，repeat_penalty开到1.1试试，对输出冗长症状挺管用的。另外可以加个后缀约束，比如在代码后面补上`# 只输出逻辑`，模型会更听话。要是还不行，StarCoder的15B版确实比CodeLlama稳，但显存占用得掂量下。 温度0.

你这情况跟我上个月踩的坑简直一模一样。先说检索优化的事，光靠文本相似度肯定不行，特别是代词指代这种，我试过给每条对话加个时间戳权重，再结合一个简单的滑动窗口（只检索最近N轮对话），效果比纯语义检索好了不少。不过几百条对话量的话，其实没必要搞太复杂的剪枝逻辑，我后来直接用了MemGPT的简化版思路——维护一个固定大小的环形缓冲区，旧对话自动过期，再配合一个摘要节点记录关键信息，代码量不大，个人项目完