认真做知识管理方法手册

我之前也踩过这个坑，后来发现是chunk太小把一句完整的话切断了，模型拿到半截信息只能瞎猜。你可以先试试把256调到512或800，再在prompt里加一句“若上下文不足就直说不知道”，很多时候是硬约束逼着模型硬编。另外建议把检索到的原文和模型回答一起打印出来对比，看它到底是没检索到还是没用好，这样就能分清是哪端的锅了。

我也踩过这个坑，纯向量相似度做记忆召回确实容易翻车，尤其对话短、语义稀疏的时候。后来我改成先用时间窗口粗筛最近N轮，再在里面做相似度排序，效果比全局检索稳很多。chunk切割也别按固定长度切，最好按对话轮次或话题边界切，不然一条记忆里混着好几个主题，检索出来自然不精准。时间加权召回可以试试，但权重别拍脑袋定，拿几十条真实query调一下更靠谱。

测试集和真实用户分布差太远了吧，85%准确率大概率是虚高，建议先看看测试集里问法是不是太单一了。

纯向量召回对短查询本来就不稳，试试混合检索再用rerank重排，效果会好很多。

指数退避确实比无脑重试三次靠谱多了，我在client那层用tenacity包了一层，配上jitter，效果还行。但关键得区分错误类型，像连接超时这种重试有意义，要是工具返回明确的业务错误就别折腾了，重试纯属浪费token。另外MCP现在好像还没有官方重试中间件，我是在调用封装里自己加的熔断，连续失败几次就直接降级走兜底逻辑。

温度降到0.2试试，0.7写文案确实容易飘，格式要求多的时候我一般直接上JSON mode。

512切太碎了，运维手册这种结构化文档建议按章节切，再试试加个rerank模型，能筛掉不少噪音。

例子给太死确实会过拟合，不如只描述边界，让模型自己找规律。

你这个情况挺典型的，5000条数据全量微调7B模型，灾难性遗忘基本跑不掉。我之前做类似的事情也踩过坑，后来发现混入10%-20%的通用指令数据（比如Alpaca或Magicoder那种）效果会好很多，而且不要所有层都训，LoRA挂在q_proj和v_proj上就够了，或者试试DoRA，对通用能力的保护更友好。工具误触发那个问题，我觉得不完全是数据比例的事，MCP的prompt模板里工具描述太宽泛了

我自己也踩过这个坑，后来发现“请”和“谢谢”确实不完全是玄学。它们更像是在预训练语料里频繁出现在“指令—执行”的上下文里，所以模型看到这类词会更容易进入“配合完成任务”的模式，跟注意力集中关系不大。系统提示里用“你是…”和“请以…身份回答”差别也正常，后者更像一个明确的动作指令，前者只是设定状态。不过这种提升不稳定，换个模型或任务可能就没了，最好还是固定几组prompt跑个A/B对比，别光靠感觉。

先试试 torch.cuda.memory_summary() 看看到底是哪块在涨，十有八九是 DataLoader 里张量没释放。

7B加视觉encoder还要多模态输入，batch size 2就OOM其实不奇怪，光激活值就能吃掉不少。我之前试过类似的配置，PyTorch这边gradient checkpointing和AMP都开了也只是缓解，真正的大头往往是视觉encoder那部分的中间特征图，尤其是高分辨率输入的时候。JAX确实在buffer复用和异步调度上有优势，但说它自动回收中间变量有点过于乐观了，本质上还是看你有没

“能力单元”这个抽象思路挺对的，但我觉得真正的难点不在接口设计，而在品牌方愿不愿意把定价权和推荐逻辑交出来。之前接触过一个美妆品牌，光是一个动态优惠的规则就涉及七八个部门审批，Agent再智能也绕不过组织架构这道墙。Nile如果能把这层治理问题也产品化，那才算真的基础设施。

学习率5e-4对LoRA来说有点高了，我上次用2e-4都出现重复输出，降到1e-4才稳。2万条数据跑3个epoch也偏多，中文SFT一般1-2个epoch就够了，过拟合后基座的中文能力反而被带偏。建议先查数据里有没有大量英文夹杂或者格式不统一的样本，LoRA对脏数据比全量微调更敏感。可以试试把rank提到16、学习率降到1e-4，跑1个epoch先看推理效果再决定要不要继续。

工具描述写清楚点，别让模型猜，再设个最大调用次数防死循环。

Loss卡在1.8这个位置，其实挺典型的，不一定是学习率的问题。你说的1e-4和3e-4对LoRA来说都不算离谱，真要是太高你早看到loss炸了或者剧烈震荡了，而不是稳稳卡住。我更怀疑是数据层面出了状况，GitHub爬下来的Python代码重复率往往高得吓人，很多项目互相抄或者大量样板代码，模型很快就学到“平均输出”了，loss自然降不下去，生成还容易语法崩。建议先做个去重，按函数或者文件级别算一

几十万切片pgvector真够了，别折腾Milvus。结构化信息我一般单存一列jsonb，检索时按id捞回来拼，省心。

这个问题我太有同感了，Cursor确实特别喜欢“顺手优化”，尤其是跨文件操作的时候，它总觉得自己的判断比你的原有逻辑更合理。我现在基本不指望靠prompt完全锁住它，而是用几个习惯来兜底：一是每次只给它一个明确的小任务，比如“只在这个文件里新增一个函数，不要修改任何已有代码”，然后手动把相关文件用@引用进去，减少它自由发挥的空间；二是改完立刻git diff，看到无关改动直接revert，不跟它讲

多轮tool call确实会累积KV cache，试试开`--enable-prefix-caching`，能省不少显存。

7B这个量级其实vLLM就挺够用了，吞吐比transformers快好几倍，算子报错多半是模型架构或者版本没对上，换个稳定版或者去GitHub翻翻issue基本能解决。TensorRT-LLM性能确实猛，但转engine那套流程太折腾，自己玩真没必要，调精度和batch能调到你怀疑人生。单纯本地对话和摘要的话，我反而推荐Ollama或者llama.cpp，开箱即用还省显存，量化后7B在消费级显卡上