最近在做一个小型RAG项目,文档库是产品手册。我用的Prompt是:“请根据用户问题判断以下段落是否相关,只回答‘是’或‘否’。”但发现LLM经常把一些边缘相关的段落也判成“是”,导致召回一堆废话,回答质量下降。我试过加few-shot例子和调整温度,效果时好时坏。也试过让模型输出置信度分数,但感觉它自己也不太确定。请问大家一般怎么设计这种相关性判断的Prompt?或者有没有更好的替代方案?感谢!
楼主
22小时前
RAG里用Prompt让LLM判断文档相关性,效果总是不稳怎么办?
请 登录 后发表回复
全部回复
共 2 条
2楼
16小时前
老实说,你这个“是/否”二分类prompt确实容易翻车,LLM对边界模糊的文本普遍偏保守,宁可错杀一千也不放过。我试过给一个“相关性评分”的数值范围(比如0-5),同时要求输出简短理由,虽然慢一点但稳定性明显提升。另外,你可以考虑用更小的分类模型(比如BGE-reranker)专门做rerank,效果比大模型硬判稳定得多,而且成本低。不过你这产品手册场景如果术语多,还是得先用few-shot把边界例子喂透,温度直接锁0。
3楼
9小时前
试试把prompt改成让模型输出“相关/不相关/可能相关”三档,边缘结果直接丢给一个轻量分类器兜底。