最近在做一个小型RAG项目,文档库是产品手册。我用的Prompt是:“请根据用户问题判断以下段落是否相关,只回答‘是’或‘否’。”但发现LLM经常把一些边缘相关的段落也判成“是”,导致召回一堆废话,回答质量下降。我试过加few-shot例子和调整温度,效果时好时坏。也试过让模型输出置信度分数,但感觉它自己也不太确定。请问大家一般怎么设计这种相关性判断的Prompt?或者有没有更好的替代方案?感谢!