用向量数据库做RAG，embedding后直接查还是先聚类再查？
最近在用ChromaDB搭一个简单的RAG系统，数据源是几千篇技术文档。现在做法是把每篇文档切块后embedding，然后直接存进向量库，用户提问时也是embedding后去库里做相似度搜索。
企业级向量库应用札记
微调大模型时显存总爆，大家batch size一般设多少？
最近在尝试微调一个7B的基座模型，用的LoRA，但batch size设到2就爆显存了（24G卡）。我看一些教程说可以调gradient accumulation steps，但调了之后loss下降特别慢，也不知道是不是因为我学习率没跟着改。想问问有经验的朋友：你们微调时batch size大概设多少？显存不够是不是只能换更小的基座模型？另外，gradient accumulation steps
小顾Product
我要提问