小林Docker手记

4090跑7B其实没那么容易爆，关键是你有没有开flash attention和paged attention。vLLM确实能省不少显存，但量化掉点这事很难绕过去，尤其是代码和推理任务，4bit基本都会掉。我的经验是AWQ比GPTQ稍稳一点，上下文别硬拉太长，2k够用就别上4k，另外可以考虑Q5_K_M那种中间档，显存和质量平衡点更好找。

AWQ 4bit在vLLM上一般不会这么慢，6-7 token/s更像是KV cache没吃满或者enforce_eager没关。你试试加--disable-log-stats看下实际GPU利用率，如果显存只用了7G不到，说明max_model_len可能被默认值卡住了。另外LoRA合并后最好用merge_and_unload确认下权重，残留adapter层确实会拖速度。

代码场景光靠文本embedding确实容易翻车，试试在chunk里拼上文件路径和函数签名再embed，召回会准很多。

我也有过这个阶段，感觉就是被那些“prompt工程”教程给带沟里了。其实Claude这类模型对自然语言的理解已经很强了，你堆一堆角色设定和格式约束，反而像是在给它戴镣铐跳舞。我后来发现，那些“专家模式思考”之类的指令，很多时候只是让模型把注意力放在表演“我在深度思考”上，而不是真正解决问题。你提到的context挤占我觉得很关键，尤其是Aider这种会把整个仓库结构塞进去的工具，你再塞一堆元指令，

深有同感，我之前也踩过这个坑。十几条约束堆上去，模型光顾着满足格式要求，反而没精力把核心逻辑想清楚。后来我一般只留最关键的2-3条硬性要求，其他像注释、错误处理这些放到第二轮再让它补，效果反而稳定很多。或者把约束分成“必须满足”和“尽量满足”两档，明确告诉它优先级，也能缓解这个问题。

几万条数据Chroma确实容易吃内存，我后来换sqlite-vec了，省心还快，FAISS持久化得自己折腾。

每个prompt都重载模型肯定爆啊，复用实例加inference_mode就行，max_new_tokens动态传参不影响的。

变量替换本身开销很小，真正常被忽略的是模板膨胀后把上下文撑长了，那才是首token变慢的主因。MCP协议传的是文本，拼接逻辑基本在客户端做，服务端只是转发，所以传输层不会额外加多少延迟。但条件拼接写太复杂容易让模型对指令的注意力分散，输出质量反而下降。建议把大模板拆成几个小模板分步调用，比一个塞七八个变量稳。

BLEU涨了但实际补全变差，这事其实挺常见的，代码补全的评测指标和真实IDE体验之间差得远。你那个2万条数据看着不少，但LoRA在rank=16的情况下可训练参数很少，模型很容易过拟合到仓库里那些重复出现的变量命名和局部模式，所以生成时就开始复读。学习率2e-4对LoRA来说偏高了，尤其你还跑了3个epoch，base模型原本的指令跟随和代码常识容易被冲掉，输出不存在的API就是典型症状。可以试试

先看下prompt是不是没把召回内容喂进去，再查chunk切得碎不碎，我之前就是切太碎导致答非所问。

我跟你踩过一样的坑，top_k调来调去都不对劲。后来加了个cross-encoder的reranker，bge-reranker-v2-m3这个就挺好用，检索top20再用reranker筛到3-4段，效果立竿见影。chunk那边建议按语义切而不是固定长度，重叠别设太大，不然相似度分数虚高反而干扰排序。

检索回来的原文格式确实得收拾干净，不然模型容易被干扰。你试试把system里定死风格，user只放上下文和问题？

这问题太典型了，我去年做客服Agent的时候也卡在这，调chunk和换embedding基本是治标不治本。你这种“退款”被“换货”挤掉的情况，八成是query和文档在语义空间里太近了，通用embedding压根分不清业务里的近义陷阱。我现在会先加一层轻量query改写，用LLM把“怎么退款”扩成“退款申请条件、到账时间、退款入口”，让检索信号更聚焦，而不是只靠一个短词去撞。然后rerank一定要上

试试把补全延迟调到300ms以上，或者用tab手动触发，能少打断思路。

这个问题我踩过一模一样的坑，后来发现根子往往不在prompt写得够不够细，而是ReAct这种线性推理框架在长链路下本身就容易累积误差。工具一多，模型对“当前该调哪个、调完该记下什么”的短期记忆压力会爆炸，尤其你那个数据库查询结果如果是一大段文本，再塞进上下文去算下一步，注意力一分散就串戏了。我自己的经验是先把每个工具的返回结果做结构化压缩，比如只提取关键字段和状态码，别让原始数据全堆在对话历史里。

召回差还真不一定全怪分块，你这种混合格式文档我建议先按标题层级递归切，至少能保住语义边界。另外bge-large对长文本本身就不太友好，500字可能已经稀释掉关键信息了，试试压到300左右？还有rerank强烈建议加，top-k直接进LLM太容易跑偏，随便用个bge-reranker-base都能提升不少。你那个“重置密码”被召回权限配置的案例，大概率是向量相似度被泛化主题带偏了，切分粒度细一点会

这问题我太熟了，后来我发现把示例放在Prompt最后面比放前面管用，而且我会在示例后面加一句“下面代码中所有模式都必须严格遵守”，效果比笼统说“模仿”要好。另外建议把风格要求拆成具体的负面清单，比如“禁止使用class组件”“必须用hooks”，模型对否定指令的遵从度反而更高。你那个示例要是只有一两个文件，可能确实不够，最好覆盖2-3种典型场景。

前端拿同一套模板做预览能理解，但千万别让JS直接拼prompt，不然token数对不上，后端一改前端就崩。我们之前是后端管模板，单独开个接口返回渲染后的完整prompt给前端展示，纯文本预览不参与生成。真要防篡改，至少得加个版本号校验，或者模板变量走服务端下发。

我之前也踩过类似的坑，LoRA微调尤其容易让模型对原有指令模板“钝感”，特别是你只跑了一个epoch，数据量又小的话，它可能更多记住了任务标签，反而把格式当噪音忽略掉了。可以试试把prompt里的few-shot例子换成微调时的alpaca格式样本，保持结构完全一致，或者干脆调低学习率到5e-5再跑两轮看看。如果还是不行，建议直接用基座模型加你那套模板，别折腾微调了，分类任务其实够用。

几千篇这种量级直接查完全够用，聚类反而可能把语义相近但关键词不同的内容给漏了。