复盘增长记

召回率不行大概率是索引和embedding的锅，几十万篇pgvector调好HNSW够用了，别急着上Milvus。千万级再迁确实疼，但那时候你大概率得换更好的embedding模型，索引反而是小事。

回复: 向量数据库做RAG一定要用吗？pgvector和Milvus 18小时前

这味儿太对了，我也这样。尤其是那些CRUD和模板代码，以前还能顺手写写，现在脑子里全是“Tab补全”的肌肉记忆，真到了要手撸并发或者复杂逻辑的时候，反而得从零开始拼概念，特别挫败。我现在有意识地在写业务代码时故意关掉Copilot，逼自己先想清楚再动手，感觉脑子里的“语法树”得靠这种笨办法才能重新长回来。

回复: Copilot用久了，感觉自己的代码能力在退化，大家有这种感 19小时前

说实话8卡3090跑70B这个配置挺微妙的，显存总量看着够，但实际卡在KV cache和activation上。你直接tensor-parallel-size=8确实容易爆，因为每张卡要存完整的模型副本外加通信开销，22GB已经快到极限了。我自己的经验是tensor-parallel-size=4加pipeline-parallel-size=2会好很多，但得注意vLLM对PP的支持可能没TP那么

回复: 请教大佬们，8卡3090部署70B模型怎么切分才能不爆显存？ 1天前

docker跑vllm性能损耗很小，重点查下是不是量化精度和batch size没拉满，20确实偏低了。

回复: 用vLLM部署7B模型，单卡A100推理速度只有20toke 1天前

我之前也踩过这个坑，例子给到3个以上，模型就容易把示例当模板，尤其产品词差异不大的时候。后来我改成只给1个正例+1个反例，然后明确强调“只参考语气，不复制结构”，效果好很多。另外你也可以试试在例子里故意混入不同句式，让模型抓不到固定规律。临界点真不好说，得看任务复杂度，我现在一般先给2个，输出不对再逐步加，比一次喂饱稳妥。

回复: 写Prompt的时候，到底该多“喂”例子？喂多了会不会有反效 1天前

大概率是检索的锅，top5里没准压根没带“入职年限”的规则，换个问法就召回偏了。建议先查召回内容再调prompt，不然怎么写都白搭。

回复: Prompt工程在RAG场景下到底该怎么调？调了半天效果还是 1天前

这波分析挺实在的，不过混合技术栈那部分我也卡过，期待后续补齐。 27%的提升确实诱人，但不知道真实业务里稳定性扛不扛得住。

回复: 通用Agent 2.0真能暴打GPT Agent？实测数据与 2天前

我之前也遇到过类似情况，后来发现是vLLM的page注意力机制会预分配显存，加上CUDA context本身吃掉的显存，nvidia-smi显示不准。试试把--gpu-memory-utilization调到0.5以下，或者加--enforce-eager禁用图模式，能省不少显存。FP16其实没问题，不用急着量化，但可以留意下是不是vLLM版本太新跟CUDA 12不匹配，换个0.6.x的稳定版试试

回复: 求教：VLLM部署Qwen2.5-7B一直OOM，显存明明够 2天前

微调loss好看但推理崩，大概率是训练和推理时的格式没对齐，尤其是ReAct的终止条件和工具名枚举。建议先检查LLaMA-Factory的模板里是否严格约束了“只能输出给定工具名”，另外LangGraph那边的system prompt最好和训练数据完全一致，连标点都别改。我之前也踩过这坑，后来发现是训练数据里工具描述顺序和推理时不一致，模型就懵了。你可以先拿一个最简单的工具，手动构造几条gold

回复: 用LLaMA-Factory微调完模型后，Agent工具调用 2天前

这问题我也踩过坑，Cursor默认就是爱给你塞一堆类型标注的import，尤其Claude模型特别执着于加Optional，哪怕压根没用上。后来我把系统prompt里明确写了“只import代码里实际用到的模块，不要额外添加类型提示相关依赖”，情况好了不少。另外你可以试试把agent模式改成normal，别让它太自由发挥，虽然推理弱一点但至少不乱加东西。反正我这边现在合并代码基本不用删垃圾了，你可

回复: Cursor写Python后端代码，总给我加一些没用的imp 2天前

说实话我感觉问题大概率出在ResNet50的特征上，这个模型提特征对语义分类还行，但做细粒度商品检索区分度不够，颜色相近的容易挤在一起。你可以先抽几百张图出来，用PCA或者t-SNE看看特征分布，如果同类商品没有聚成簇，那换模型比调Milvus参数更有效。另外你试过对特征做L2归一化再建索引吗？我踩过坑，不归一化的话IP距离基本废了。

回复: 用Milvus做500万商品图向量检索，召回率一直上不去怎么 3天前

这问题我踩过坑，核心矛盾就是局部chunk和全局语义没法兼得。我的做法是搞两级检索：先拿用户query搜出TopN块，如果任务带“总结/概览”这类全局意图，就额外触发一个map-reduce式摘要流，把各块先压缩成要点再拼进上下文，而不是全量塞。MCP那边不用改分段返回，但tool设计上可以加个参数让模型自己选“传原文”还是“传摘要”。另外你chunk_size别定死，按标题或语义段落切，比纯按t

回复: MCP工具调用RAG时，文档块太大导致上下文超限怎么办？ 3天前

max_length砍到1024试试，bf16在3090上可能没生效，检查下transformers版本和flash attention。

回复: 用PyTorch跑LLaMA微调，显存总爆，到底是哪里设置不 3天前

我最近也踩过类似的坑，一开始也是怀疑缓存，结果发现是索引没刷新的问题，但看你描述重建过索引，那就排除了。不过你说的子查询命中不了新文档，我倒觉得更可能是chunk粒度的问题——新文档如果主题比较分散，切太大确实容易让向量跟旧文档混在一起，检索时相似度排序就把新内容挤下去了。我后来把chunk调小到300-400字符，overlap设成50，召回率明显好了。但还有个点你可能忽略了，就是Milvus的

回复: RAG里Agent查不到最新数据，是缓存问题还是我姿势不对？ 3天前

分块真别太小，200篇文档建议先按段落切，overlap设100试试，关键词预筛很管用。我之前也踩过这坑，试试先粗筛再向量检索，效果立竿见影。

回复: RAG召回效果不好，感觉知识库里文档越多反而越乱，怎么优化？ 3天前

我之前用Llama 3 8B也踩过这个坑，路由判断本质上是让模型做结构化输出，但8B对工具调用的格式敏感度远不如闭源模型。你试试把tool-call的schema写得更死板一点，比如规定必须是JSON且key固定，甚至可以把几个候选动作直接写成数字编号让模型选，比让它自由发挥稳很多。另外别只调temperature，把top_p也降到0.7左右，有时候会有奇效。如果还是不行，建议换个思路，用个小的

回复: 求助：用Llama 3搭Agent做多步推理，路由判断总出错 3天前

模型对role指令的跟随确实不如闭源稳，few-shot得多塞几轮完整对话才压得住它跑偏。

回复: Qwen2.5用system prompt设定角色后总感觉“ 3天前

24G跑8B还OOM，大概率不是显存爆了，是seq length太长，你看看是不是历史工单都超长，把max len压到1024试试。QLoRA确实建议上，4bit省一半显存还能开更大batch，2万条对话做客服其实够用，关键是别拿原始工单硬怼，得把用户问的和客服答的拆成标准QA对，语气改书面点。模型瞎编八成是数据里噪音太多，比如重复、错别字、上下文不完整，先清洗一遍再微调。

回复: 微调LLaMA3用来做中文客服，显存不够怎么破？QA数据该咋 3天前

试试把输出校验和重试机制写进流程里，比死磕prompt靠谱，格式错就自动让它重新生成。我一般用eval工具跑批量测试对比版本，你这情况不如直接上langsmith或者promptfoo这种，省得靠感觉调。

回复: Prompt调了半天效果还是不稳定，大家是怎么系统性优化的？ 3天前

alpha不是用来单独调的，它本质是缩放因子，跟rank配合决定实际更新强度。你r=8 alpha=16相当于把lr放大了两倍，崩很正常，试试r=16 alpha=16或者r=8 alpha=8，让比例回到1:1，收敛会稳很多。另外7B模型领域数据量少于5万条的话，r=8基本够用，重点还是看你的学习率和warmup。OOM那个估计是序列长度或者batch size问题，跟rank关系不大，你查一下

回复: 微调LLM时，LoRA rank和alpha到底怎么配？试了 3天前

发表的评论