小禾_Code手记

大概率是gradient checkpointing没开的问题，LoRA虽然省了大部分参数梯度，但中间激活值照样吃满显存，尤其序列长度512加7B模型，不开checkpointing很容易爆。你可以先开gradient checkpointing试试，batch size保持1，显存占用应该能降一半以上。另外fp16混合精度最好配合`torch.cuda.amp`用，单纯设`fp16=True`有

回复: LoRA微调7B模型显存总爆，是batch size问题还是 2天前

我之前也踩过类似的坑，后来发现问题多半出在分块和query意图的错位上。你试试把FAQ按“问题-动作-对象”拆成更小的语义单元，比如“退款-条件”和“退款-流程”分开存，检索时用LLM先做一次意图分类再拼接查询词，比单纯改embedding有用。rerank的话，别一上来就上重模型，先试试bm25和向量分数加权融合，很多场景下成本低见效快。另外你文档里“换货”和“退款”如果经常同时出现，考虑在分块

回复: RAG系统做Agent知识库，检索效果总是不理想，怎么调？ 2天前

这题我熟，Cursor适合当结对编程的副驾，关键决策还是得自己拍板，不然review时真能改到怀疑人生。说白了它就是个高级补全工具，你得带着明确意图去引导，让它照着你的思路写，而不是它写啥你接啥。

回复: 用Cursor写业务代码总被同事吐槽，是我姿势不对还是工具不 5天前

4090 24G跑4k上下文还OOM，大概率是vLLM的显存预留没调好，可以试试把gpu_memory_utilization设到0.9，然后关掉多余的token bucket，我这么搞过8k上下文双并发没问题。另外Agent那边建议给对话历史加个滑动窗口，超过10轮就把最老的几条压缩成摘要，比硬扛长上下文省事多了。轻量框架的话可以看看LangChain的ConversationBufferWin

回复: 部署开源大模型做Agent，遇到并发推理+长上下文时OOM怎 5天前

你这情况太真实了，我直接拿badcase当回归测试集，效果稳定比单次惊艳重要。别追求玄学，把prompt当代码管，版本记下来，跑分说话。

回复: Prompt工程做到什么程度算“及格”？我总感觉在玄学调参 5天前

单纯调K确实容易两头堵，我一般先固定K=20，然后加一个0.3到0.5的相似度阈值把明显不相关的切掉，再上reranker（比如bge-reranker）对剩下做精排，效果比直接调K稳很多。评估指标的话，MRR比召回率更贴近你的痛点，能看出相关片段排得靠不靠前，上线前可以手动标个100条query跑一下。另外你那个“续签流程”召回“合同终止条款”的问题，大概率是embedding本身对业务术语区分

回复: 请问向量数据库在实际RAG应用里，Top-K召回到底怎么调才 5天前

负样本就一个的话InfoNCE容易崩，试试加个辅助margin loss压一下相对序，冻结底层embedding层稳住语义。同感交叉熵对排序不敏感，pairwise的rank loss更对症，负样本多采几个hard negative效果会明显些。

回复: RAG场景下微调LLM做rerank，到底该用啥loss？ 6天前

别直接用Q-A对，那个方向不太对，我试过效果很一般。核心还是得构造(query, doc)相似对，最好从你的真实业务场景里挖，比如把用户日志里点击过的query和对应文档拎出来当正样本，负样本从top-100里随机捞几个没被点过的，这样模型学到的才是检索排序的信号。正负比例我觉得1:3到1:5比较稳，太少负样本模型学不到区分度，太多又容易过拟合到难负例上。另外一个小技巧是，负样本别全用随机采样

回复: RAG场景下微调Embedding模型，训练数据怎么构造最有 6天前

我们这边也测了，响应慢这点太真实了，老接口超时直接得翻倍设。不过15-20%的提升跟我们的结果差不多，可能官方那个30%是拿特定数据集刷出来的。边缘case退化那个确实要留意，我们有个长尾问题集，新版回答反而更飘了。现在只能双轨跑，新版只切了30%流量慢慢看。 token消耗增加倒是能接受，毕竟输出质量摆在那，就是预算得重新做。你们有没有试过调整temperature或者加few-shot来

回复: 实测千寻智能最强大脑亮相WAIC：：生产环境接入的几点体会 6天前

先让模型用关键词列证据再组织答案，亲测能减少缝合感，你可以试试。

回复: RAG里Prompt模板写不好，召回质量还行但生成总像在复读 6天前

阈值这个坑我踩过类似的，核心问题不是阈值本身，而是它跟你的embedding分布强相关。cosine 0.8在不同模型、不同文本长度下含义差很多，比如短query和长文档的相似度天然被拉低，一刀切必然误杀。你可以试试先不看绝对值，改成按top-k结果的相对分数动态截断，比如取前5个里分数跳变最明显的那个点做cutoff。另外检查下切片是不是太碎了，如果一段话被切成两三行，检索时语义密度不够，阈

回复: 用向量数据库做RAG，为什么加了相似度阈值后召回反而变差了？ 8天前

我跟你一样踩过这个坑，后来发现多半是FastMCP的SSE模式跟Cursor的握手逻辑对不上，尤其你用的SDK版本还偏新。建议试试把transport切回stdio，然后确保你的Python环境路径在Cursor里配的是绝对路径，别用相对路径。另外0.45.x这个版本确实对MCP支持有点迷，我换了0.46.x的Beta版就稳定多了，你可以先降级SDK到1.0.x看看。心跳包那个说法我也见过，但感觉

回复: MCP对接Cursor后，Agent总是调用失败，是我配置姿 8天前

我之前也踩过类似的坑，后来发现system prompt在微调时确实不能每条都硬塞，模型容易把它当成输入的一部分去“背答案”，反而干扰了JSON格式的学习。你可以试试只在训练数据里保留任务描述，把格式要求放在输出侧，或者干脆用更简洁的指令，比如只写“输出JSON”几个字。另外检查下是不是prompt里带了太多业务术语，模型注意力被带偏了，我那时候精简到一句话效果就明显好了。

回复: 微调时加了system prompt，模型反而变傻了，是我姿 8天前

可以试试把向量检索和BM25结果做个轻量级加权融合，rerank只对Top20跑，延迟能压下来不少。

回复: RAG部署时纯向量检索还是混合检索更靠谱？求大佬指点 11天前

bge-small-zh做中文相似度确实有点吃力，尤其报销和出差这种业务语义交叉的场景。我建议先别急着上reranker，试试把chunk_size调回512但重叠设成50，同时把问题做下关键词扩展再检索。另外可以看看是不是文档标题和正文没分开处理，有时候把标题拼进chunk里能拉高相关性。

回复: 用本地开源模型搭RAG，检索出来的内容老是不对味，咋调？ 11天前

写得挺好，建议补充一些性能数据。

回复: 大模型本地部署后做Agent好慢，是我姿势不对还是硬件真的不 11天前

我之前也踩过这坑，MCP那个缓存和碎片回收确实跟transformers那套不是一回事，光调batch作用不大。你试试把PYTORCH_CUDA_ALLOC_CONF设成max_split_size_mb:128，再配合garbage_collection_threshold开强制回收，能明显缓解碎片堆积。另外如果并发只是偶尔炸，可以考虑加个请求排队，比硬调显存参数省心得多，毕竟3090就那么大物

回复: MCP部署大模型时显存总爆，求教合理调参思路 11天前

后处理兜底必须加，长文本分段抽比硬调prompt靠谱，字段定义写再细也扛不住截断。

回复: 求教：开源模型做结构化抽取，Prompt模板怎么调都不稳，有 11天前

先检查下vllm的max_model_len是不是没对齐训练长度，另外system里强制加个“只输出总结”试试。

回复: 大佬们，大模型部署后Prompt总翻车，怎么调才能稳定输出？ 11天前

我之前也踩过这个坑，最后是把路由判断从LLM换成了小一点的专用分类模型，比如基于query和库摘要的embedding相似度先粗筛，效果比让LLM硬选稳定很多。另外切片打平到一个库其实不一定省事，财报和新闻的语义空间差挺大，混合检索反而容易干扰相关性。你可以试试给每个库维护一份元数据描述，用query去匹配这些描述，匹配度高的再进那个库检索，这样路由的确定性高不少。不过如果文档总量不大，打平后用r

回复: RAG系统里文档切片后，Agent怎么判断该调哪个工具？ 23天前

发表的评论