向内求解自动化成长记
Lv.1记录从不会到会、从能用到做好。当前重点关注自动化工程，通过开发效率提升、代码可维护性持续提升能力；坚持先理解原理，再讨论工具，并把过程整理成可复用的学习记录。
发表的评论
F.interpolate转ONNX时最好指定具体的mode和align_corners，不然TRT解析时很容易挂。int8掉点严重的话，校准集要覆盖各种场景，别只用几张图糊弄，我一般会抽个几百张跑一遍。算子融合其实TRT自己会做，但前提是ONNX图别太碎，导出时可以用onnx-simplifier先过一遍，效果挺明显的。动态shape那块建议在导出时就固定几个常用分辨率，省得后面折腾profil
2k条数据对1.5B模型微调其实不算少，但loss反弹到这个程度，更像是格式对齐出了问题。建议先拿几条样本手动decode一遍，看看tool_call那块特殊token有没有被拆碎，很多tokenizer对JSON结构处理不好就会这样。另外MCP的字段嵌套比较深，如果模板拼接时空格或换行不一致，模型很容易学岔。我之前遇到过类似情况，最后发现是对话轮次的分隔符没统一，你可以先查这个。
单机1亿向量还每天几百万增量，瓶颈大概率在内存和索引重建，先上分片再考虑GPU吧。
预处理还是放服务端吧，MCP本质上只是帮你把工具调用和上下文传递标准化，不是替你管模型内部逻辑的。它跟REST的区别我觉得在于MCP定义了一套工具发现和调用的协议，schema可以动态暴露，不用每接一个服务就手写一套接口文档。但tensor到JSON这层转换确实得自己扛，我一般是在服务端包一层adapter，客户端只传原始数据，tokenizer和归一化全在服务里做。
时间衰减加个权重试试，纯靠相似度肯定不行，旧记忆得分自然就压下去了。
固定500字切确实容易把会议纪要里结论和上下文切散，问项目评审这种问题尤其吃亏。可以试试按标题或段落切，再在chunk前面拼一句来源和章节摘要，召回质量会好不少。重排也值得加，bge-reranker这类模型对top20精排一下，噪声能压下去很多。另外milvus里可以试试混合检索，关键词加向量一起召回，纯靠embedding对内部缩写和项目名挺吃亏的。
这情况太典型了，测试集85%大概率是虚高，因为你的测试集跟训练集分布太像了。真实用户换种问法就崩，说明模型根本没学到语义，只是在背训练集里的问答对。建议先拿几十条真实用户日志跑一遍，看看badcase集中在哪，再检查训练数据里问法是不是太单一了。另外7B模型做客服本身容量就有限，数据多样性比数量重要得多。
任务漂移确实烦，我后来靠每步强制回传摘要才压住，不然跑着跑着就偏了。
bge-large-zh对长文本本来就不太友好，试试先切300字左右加50重叠，再挂个bge-reranker，召回能好不少。
5000条确实少了点，LoRA虽然省显存但数据不够也白搭，试试把lr降到5e-5看看。
这个问题我也踩过，感觉关键不在chunk大小本身，而在切分方式。技术文档直接按字数切很容易把配置步骤和前提条件拆散，可以试试按标题层级或语义段落来分，再给每块加上所属章节的上下文。embedding方面bge-m3其实够用了，不如把精力花在加个rerank模型上，召回后再精排一下，效果提升比反复换embedding明显。另外查询端也可以做点文章，比如把“怎么配置SSL证书”扩展成更具体的子问题再检
我遇到过，把工具定义和历史摘要拆到不同system消息里，再给旧记忆加个时间戳前缀，立马稳了。
几万条Chroma够用了，百万级再迁Milvus也不迟，Qdrant配LangChain挺顺的。
200万文档这个量级其实挺尴尬的，说大不大说小不小，专门上Milvus确实有点杀鸡用牛刀的感觉。我之前也踩过类似的坑，ES的dense_vector默认参数下召回确实一般，但你把HNSW的m调到32、ef_construction调到256再试试，效果能提升不少，关键是索引构建时间会变长但查询延迟还能接受。同义改写的问题其实不完全是向量库的锅，bge-large-zh本身对长尾语义的捕捉就那样，你
ResNet特征不归一化直接用L2，排名不乱才怪。先做归一化再换cosine试试。
工具结果优先当事实，检索片段拿来补充解释，让模型自己揉成一句话就行。
我也踩过这个坑，纯靠embedding相似度检索，聊久了确实会被同质化内容拖垮。我后来是加了一层时间衰减加权，再配合对历史片段做周期性摘要合并，效果比只调top-k明显。另外你可以试试把检索拆成“近期上下文”和“长期摘要”两个池子，别混在一起召回。Pinecone本身索引策略帮不上太多，关键还是记忆组织和召回逻辑要改。
几十万切片Chroma其实能扛，但生产建议直接Qdrant，迁移成本比Milvus低多了。
检查下是不是用了 torch.no_grad() 或者 model.eval()，eval模式不会建计算图。
7B模型做结构化输出确实容易飘，光靠prompt硬掰不太靠谱。你可以试试用outlines或者llama.cpp的grammar约束，直接在解码层面把JSON schema卡死，比反复改prompt省心多了。另外vLLM现在也支持guided decoding，配合Pydantic模型定义输出格式，基本不会漏字段。prompt里再补一句“只输出JSON，不要解释”就够了，剩下的交给工具层兜底。