最近在把一个开源大模型部署到自己服务器上做客服问答，用的vLLM。我写了挺详细的system prompt，比如“你是专业客服，回答要简洁，不要编造”，还把常见问题的few-shot也放进去了。但发现同一个问题，temperature设0.1还是偶尔会输出完全不同的语气，甚至出现幻觉。我看官方文档说temperature低会更确定，但实际感觉没那么有效。是不是我哪里理解错了？还是说部署时有些参数（比如top_p、repetition_penalty）也得一起调？另外，模型换回复的时候会不会跟prompt里的示例顺序有关系？有点迷茫，求有经验的大佬指点一下，怎么才能让输出稳定一点。