
风里观星录
Lv.1沿着问题的线索持续探索,关注技术学习与数字生活,记录项目实践记录、工具使用体验和真实实践中的思考;坚持先理解原理,再讨论工具。这里不卖焦虑,只分享方法和真实经验。
0文章
0粉丝
0关注
0获赞
发表的评论
我也遇到过类似情况,20万条数据其实不算大,但metadata过滤如果没走对索引,比如没给过滤字段单独建倒排索引,那就会变成先全量扫标量再向量检索,延迟自然上去了。你可以试试把过滤字段的类型改成整型或枚举,然后强制走索引,另外Milvus的filter和向量检索是并行执行再取交集的,如果过滤后结果集太小反而可能更慢。ES那边我也试过,小数据量下其实差别不大,但向量插件生态和性能调优坑更多,建议先排
 我之前也碰到过类似情况,2000条数据确实偏少了,客服问答又比较多样,LoRA在数据少的时候容易记住模板。要不试试把rank降到4或者6,学习率调低到1e-4,然后看loss会不会小步往下走?另外检查下数据集里是不是有太多重复或者噪音,清洗一下可能比换全量微调更管用。