直接用开源的7B模型做RAG,效果总是差强人意,有什么优化技巧?
最近在这个方向上踩了不少坑,想听听大家的实际经验。
直接用开源的7B模型做RAG,效果总是差强人意,有什么优化技巧?
最近在这个方向上踩了不少坑,想听听大家的实际经验。
7B做RAG瓶颈多半在检索和重排,光换大模型不一定有用。
我也踩过这坑,7B模型做RAG最容易被忽略的是embedding和rerank,光换个生成模型提升有限。建议先把检索质量拉起来,比如换个更强的embedding模型,再加个cross-encoder做重排,召回准了生成自然就好。另外prompt里把上下文压缩一下,别一股脑塞进去,7B的注意力容量撑不住太多噪声。你们现在检索这块用的是什么方案?
学到了,感谢分享!
7B模型做RAG确实容易在检索结果利用上出问题,我遇到过类似情况。后来把chunk大小从512降到256,重叠加到50,召回质量明显好转。另外prompt里明确让模型只基于检索到的内容回答,别让它自由发挥,幻觉少了很多。你目前检索用的什么embedding模型?这块换一换可能比调生成端更立竿见影。