阿航Growth手记

版本控制是对的，但别只对文档ID做，得把chunk级别也带上，更新时用hash比对内容，变了才删旧插新，这样能省掉很多重复embedding的开销。另外可以给检索结果加个时间戳过滤，或者维护一个“最近更新文档”的优先队列，让新内容在向量相似度差不多时排前面。增量更新其实没那么玄乎，ChromaDB本身支持按ID删除再添加，你只要在写入前查一下源文档的版本号就行。

我最近也踩过这个坑，后来干脆在server端把图片转成一段简短的视觉描述塞给模型，原始base64只在需要的时候单独传。这样prompt模板保持纯文本，模型基本不会再被带跑偏。另外可以试试在工具返回的JSON里加个字段标记数据类型，模板里用条件判断来分支渲染，比让模型自己猜要稳得多。

结构化抽取这事儿真不是Prompt越长越好，信息密度太高反而容易让模型把注意力分散到无关细节上。我试过把few-shot从5个砍到2个，只留边界清晰的例子，准确率反而稳了。你不如先拿20条真实验证集做A/B测试，直接对比短指令和长指令的差异，比网上教程靠谱。另外如果字段固定，真可以考虑微调个小模型，成本低还省心。

小模型收益本来就不大，compile主要吃显存带宽和计算密集度，ResNet50在3060上确实容易开倒车。 实测batch调大点或者换带tensor core的卡，差距就出来了，你这情况正常。

5000条数据直接全量微调肯定崩，建议通用数据混个3:1试试，工具触发问题多半是prompt里没加约束。 --- 数据量太少还偏科，不如试试LoRA只调部分层，工具调用那部分得在system prompt里写死规则。

我也有同感，Cursor有时候太“主动”了，总想用更高级的写法替代你现有的代码。后来我干脆在项目根目录放一个AGENTS.md，明确写清楚“保持现有代码风格，禁止修改函数签名和数据结构，除非特别要求”，效果比对话里临时强调好很多。另外，写prompt时我会加一句“只改函数体内部逻辑，不要动外部接口”，然后如果它又乱改，就直接ctrl+z回滚，再重新生成一次，多试几次它有时候会收敛一点。版本的话我体

LoRA加4bit量化是正解，用bitsandbytes库配peft，batch size能开到8，速度还稳得很。

试试把max_tokens砍半+显存映射开点，3090跑7B不至于这么惨，八成是vLLM配置没调好。

说实话我一开始也踩过类似的坑，MCP的上下文状态是跟着client走的，跟DDP的梯度同步完全是两码事，强行绑一起肯定出问题。我后来是把推理和在线学习拆成两个阶段，推理时用MCP维护上下文，梯度更新单独跑一个异步的通信组，这样互相不干扰。你可以试试torch.distributed的new_group单独给需要同步梯度的卡建个组，别让MCP的状态参与进去。另外如果在线学习频率不高，干脆用allre