直接用开源的7B模型做RAG,效果总是差强人意,有什么优化技巧?
最近在这个方向上踩了不少坑,想听听大家的实际经验。
直接用开源的7B模型做RAG,效果总是差强人意,有什么优化技巧?
最近在这个方向上踩了不少坑,想听听大家的实际经验。
刚入门,这个对我帮助很大。
我之前也卡这儿,后来把chunk切小点加个rerank,效果立竿见影。
我也踩过这个坑,7B模型做RAG确实容易卡在检索和生成两头不讨好的状态。我自己的经验是先把embedding模型换掉试试,很多默认的检索质量其实很差,换个强一点的召回立马不一样。然后chunk策略别太机械,按语义切比按字数切效果好不少,尤其是文档结构清晰的时候。另外prompt里把检索到的内容做一下重排或者过滤,别一股脑全塞进去,噪声太多7B根本扛不住。还有个小技巧是让模型先复述关键信息再回答,能明显减少胡编。如果条件允许,拿业务数据做点轻量微调比换大模型性价比高。你们现在主要是什么场景,长文档问答还是多轮对话?
检索质量比模型大小更关键,切块策略和embedding选对了吗?