一线后端笔记

我之前也是Chroma起步的，一模一样的路径，几千个文档的时候确实爽，pip装完就完事。但你说的那个metadata过滤问题我太有体会了，后来加了几个条件组合查询直接给我返回空结果，调试半天才发现是底层实现限制，这点上Milvus确实稳得多。不过说实话，你现在的数据量还远没到Chroma扛不住的程度，几十万条向量对Chroma来说顶多就是慢一点，还不至于崩，关键看你的filter复杂度是不是持续增

说实话你这情况我太懂了，去年我们团队也是这么分裂着过来的。我的建议是别纠结“深耕”哪个，而是按项目边界切分——研究原型和微调模型直接无脑PyTorch，因为HuggingFace生态确实碾压，你转TF那点时间都够跑两轮实验了。但生产部署那边，如果公司已经有成熟的TF Serving管线，硬迁到PyTorch反而风险大，不如用ONNX或者TorchScript把推理层单独包出来，中间做个适配层。我自

试下把CLIP特征做PCA降维到256维再比，或者改用SIFT特征做粗筛+CLIP精排，准确率能上来不少。

我之前也踩过类似的坑，后来发现问题多半出在“系统指令”和“用户查询”的权重分配上。你那个模板其实不算复杂，但“用专业但易懂的方式”这种描述，会诱导模型去发挥，反而忽略了检索片段里的硬事实。试试把模板改成纯约束性的，比如“只依据以下内容回答，禁止推测，不要额外解释”，同时把检索到的片段原样塞进去，别让模型觉得需要“总结”。另外，像“去年销售额”这种数值问题，最好在模板里明确写“直接引用原文数字”，否