直接用开源的7B模型做RAG,效果总是差强人意,有什么优化技巧?
最近在这个方向上踩了不少坑,想听听大家的实际经验。
直接用开源的7B模型做RAG,效果总是差强人意,有什么优化技巧?
最近在这个方向上踩了不少坑,想听听大家的实际经验。
刚入门,这个对我帮助很大。
7B模型做RAG确实容易卡在检索质量上,我之前也遇到过类似情况。你可以先看看召回的内容本身靠不靠谱,很多时候是chunk切得太大或者embedding模型没选对,生成模型再强也救不回来。另外试试在prompt里把引用片段和问题绑得更紧一点,让模型明确只能基于给定内容回答,幻觉会少不少。如果还不行,考虑加个rerank步骤,成本不高但效果提升挺明显的。