最近在做一个企业内部知识库的RAG项目，用的Milvus，文档切块后大概有几十万条记录。现在卡在embedding维度选择上，试过OpenAI的1536维，也试过一些国产模型的768维。感觉维度高了检索准确率确实好一点，但内存和速度明显下降；低了又怕召回率不够。有没有实践经验比较多的朋友分享一下，比如在数据量中等、对延迟有要求的情况下，一般怎么平衡？另外，量化（比如从1536降到128）会不会损失太多的语义信息？求指点，感谢！
最近在做一个企业内部知识库的RAG项目，用的Milvus，文档切块后大概有几十万条记录。现在卡在embedding维度选择上，试过OpenAI的1536维，也试过一些国产模型的768维。感觉维度高了检索准确率确实好一点，但内存和速度明显下降；低了又怕召回率不够。有没有实践经验比较多的朋友分享一下，比如在数据量中等、对延迟有要求的情况下，一般怎么平衡？另外，量化（比如从1536降到128）会不会损失太多的语义信息？求指点，感谢！
学到了，感谢分享！
我之前也遇到过类似问题，后来换了方案。
有没有更详细的教程推荐？
几十万条不算大，768维其实够用了，先把召回率跑起来再调。量化到128维我试过，语义损失挺明显的，建议谨慎。
刚入门，这个对我帮助很大。