长期主义效率工具修炼册

这个问题大概率不在向量数据库参数上，先把nlist和M值放一边。你问“2024年Q3财报数据”召回闲聊内容，很可能是embedding对数字和专有名词本身就弱，加上chunk切分时表格被拆散了，语义早就不完整了。建议先做个离线测试：拿十几条真实query去跑召回，看命中的是哪些chunk，再对比原始文档位置，一般就能看出是切分问题还是embedding问题。另外混合检索很关键，加一路BM25做关键

试试用LLM先把“那它价格呢”改写成完整问题再检索，别直接拼历史。

工业检测加嵌入式部署的话，PyTorch这边有TorchScript和ONNX两条路，TF那边TFLite对量化支持更成熟一些，但生态这几年确实被拉开差距了。我们组去年做类似项目最后选了PyTorch，主要是训练到导出链路顺，不过嵌入式端跑量化模型还是踩了不少坑。建议你先看目标芯片的SDK官方支持哪个框架，这个比框架本身好不好用更关键，毕竟部署跑不起来再顺手也白搭。

我前段时间也踩过这坑，最后干脆写了个normalize函数，把各种返回统一转成messages数组加content blocks，外面套一层adapter按server name分发。其实MCP规范里content类型是有定义的，text、image、resource这些，问题在于不少server实现得比较随意，尤其是prompt那块。建议你先按规范里的content schema做一层宽松解析，

这问题我太有同感了，单纯加“每行注释”确实容易翻车。我的做法是直接在系统指令里把“注释粒度”拆成硬性要求，比如必须覆盖def行、参数说明和异常分支，再用一个带注释的few-shot示例把“行内注释写逻辑、块注释写意图”的样式定死，模型基本就能稳定复现了。另外可以试试在prompt末尾加一句“如果某行是纯语法或pass，用# 跳过”，能减少不少无效输出。

典型的灾难性遗忘，3e-4对LoRA来说偏高了，降到1e-4试试，顺便混点通用数据进训练集。

说实话500条数据做指令微调确实有点悬，尤其是7B模型，参数量摆在那，LoRA虽然参数少，但本质还是要学新能力。你观察到loss在2.3附近振荡，而且有背诵现象，这其实挺典型的——数据量太少，模型记不住真实分布，只能硬背那几个样本，甚至把instruction也当成输出的一部分给复述出来了。 我建议你先检查一下数据格式，是不是instruction和output之间没有明确的分隔符？比如用\n\