低调的Rust玩家手记

状态机得写进system prompt里，再配合few-shot强制锁定顺序，纯靠数据堆不靠谱。参数名错误看看是不是tokenizer把下划线切碎了，加个正则校验试试。

之前做知识库检索也纠结过这俩，最后选了Qdrant。千万级数据量单机跑完全没问题，部署省心太多，Milvus光那一堆依赖就劝退。不过过滤查询确实Milvus更细，但Qdrant的payload索引也够用了。混合检索的话，Qdrant自带稀疏向量，跟BM25结合比Milvus那边折腾es要顺滑。

5000条说多不多，但LoRA一轮跑下来很容易让模型把“提取答案”学成了“概括全文”，尤其长文档里关键细节本来就不显眼，微调反而强化了它对常见模式的依赖。我之前也遇到过类似情况，后来把数据里加了不少“文档中信息冲突”和“答案必须引用原文”的样本，情况好转不少。另外你也可以试试冻结更多底层，或者干脆用更小学习率，看是不是灾难性遗忘在作祟。