部署开源大模型后Prompt总是不听话，是我姿势不对吗？

量化确实有影响，但7B这个级别本身指令跟随就弱一些，尤其你本地跑的q4量化版，官网可能是fp16甚至更大模型。建议试试把输出格式写死，比如要求“只输出三行，每行以数字开头”，比单纯说“提取三点”管用很多。另外Ollama默认的上下文和chat template有时候跟官方不一致，可以手动指定template再对比下。

量化确实会有影响，但7B这个级别本身指令遵循就比网页版弱不少，官网大概率用的是更大模型或者做了RLHF调优。你试试把“提取三点核心结论”改成更死板的格式约束，比如“输出三条，每条一行，以数字开头，不要复述原文”，小模型对结构化指令更敏感。另外Ollama默认的上下文长度和采样参数可能跟网页版不一样，可以显式在Modelfile里固定一下system和num_ctx。如果还是飘，换个14B量化版试试，7B做摘要确实容易偷懒。

量化确实会掉点能力，但7B这个级别的模型本身指令遵循就比大参数弱不少，官网那个版本大概率是BF16或者FP8的满血版，你本地跑q4量化在细节服从性上肯定有差距。我自己用Ollama跑Qwen2.5-7B也遇到过类似情况，同样的prompt在API上稳得很，本地就飘。后来发现一个挺管用的办法，就是把“提取三点核心结论”改成带编号的强制格式，比如“请严格输出三条，每条不超过20字，格式为1. 2. 3.”，模型对结构化约束的响应会好很多。另外系统提示词里可以加一句“如果信息不足三条，也要凑满三条并标注推测”，这样能减少它偷懒只给两条的情况。temperature调到0.1到0.3之间，top_p 0.8左右，别太高。还有个小技巧是用few-shot，在prompt里塞一两个输入输出示例，7B模型抄格式的能力比理解抽象指令强得多。如果这些都不行，那可能真得考虑换14B或者32B的量化版，7B在摘要这种需要取舍的任务上确实有点力不从心。

7B量化后指令跟随确实会变弱，试试在prompt里加个输出格式示例，比光调参数管用。

量化确实会掉点智商，不过7B本来指令遵循就偏弱，试试在prompt里给个示例输出格式，比光调参数管用。

这个现象挺常见的，我自己用Ollama跑Qwen2.5-7B也踩过类似的坑。网页版背后大概率是更大的模型或者经过更精细的指令微调，本地7B加上量化，指令遵循能力确实会打个折扣，不完全是你的写法问题。我试过Q4_K_M和Q5_K_M两个量化版本，后者在“提取三点”这种数量约束上明显更稳，Q4经常偷懒少给一条。另外Ollama默认的上下文长度和停止token设置也会影响输出，比如它可能没正确识别到结束条件就继续复述原文了。针对性的技巧我试过两个比较管用：一是在system里把格式要求写死，比如“必须输出三条，每条以数字开头，不超过20字”，比单纯说“提取三点”有效得多；二是用few-shot给一两个示例，小模型对示例的模仿能力比纯指令强不少。温度调到0.1到0.3之间，top_p别设太高，对稳定性帮助挺大。如果这些试完还是飘，那可能真得考虑换14B或者用API了，7B做摘要这种需要严格遵循格式的任务确实有点吃力。