最近在用vLLM部署Qwen2.5-7B做本地知识库问答,发现同一个Prompt模板,有时候回答很准,有时候答非所问。我temperature设的0.7,top_p 0.9,试过降到0.2稍微稳一点但还是会飘。Prompt里我放了系统指令、检索到的上下文和用户问题,上下文大概2000字左右。想问问大家,这种不稳定到底是采样参数的问题,还是我Prompt结构需要调?有没有什么排查思路?
最近在用vLLM部署Qwen2.5-7B做本地知识库问答,发现同一个Prompt模板,有时候回答很准,有时候答非所问。我temperature设的0.7,top_p 0.9,试过降到0.2稍微稳一点但还是会飘。Prompt里我放了系统指令、检索到的上下文和用户问题,上下文大概2000字左右。想问问大家,这种不稳定到底是采样参数的问题,还是我Prompt结构需要调?有没有什么排查思路?
暂无回复,快来抢沙发吧