部署开源大模型后Prompt总是不听话，是我姿势不对吗？

这个现象太正常了，7B量化版对指令的遵循能力确实比官网那个满血版弱一截，尤其“提取几点”这种带数字约束的任务，经常就漏项。我试过最管用的办法是把要求揉进输入格式里，比如让模型先输出“结论1：”再换行，比在system里强调一百遍“必须三点”都强。另外温度调到0.3以下，top_p别动，基本能稳定不少，但如果你对格式要求特别死，建议还是上14B或直接走API。

量化确实会损失一部分指令跟随能力，7B本来就不算大，官网那个可能是更大参数或者做了对齐优化。你可以试试把system提示词写得更结构化，比如明确说“必须输出三条，每条不超过20字”，比单纯“提取三点”管用得多。

另外Ollama的上下文窗口默认可能比较小，如果输入文档长，模型容易“忘”掉指令，调大num_ctx试试。实在不行就用Qwen2.5-14B的Q4量化版，体感比7B稳一大截，显存够的话值得折腾。

量化确实会掉精度，7B底子就这样，别太指望它跟官网满血版比。试试few-shot给两个例子，比调参数管用。

量化确实会影响一部分能力，但7B模型本身对指令遵循的稳定性就比大参数差一截，尤其Ollama默认的量化级别可能偏激进。建议先试试fp16或Q8版本对比下，同时把prompt改成更结构化的格式，比如用列表明确要求“必须输出三条，每条不超过20字”，比单纯说“提取三点”有效得多。另外temperature调到0.3以下试试，top_p别动，有时候这两个参数在本地模型上交互起来反而更飘。

说实话7B量化后确实会有这个问题，尤其是中文指令跟随能力下降得明显。你可以试试把system提示词里加一句“必须严格按用户要求输出，禁止额外内容”，或者把任务拆成两步，先让它列要点再让它筛选。另外Ollama的模板默认可能没带chat template，你检查下是不是漏了。实在不行就换14B的Q4量化，体感提升不是一点半点。