大模型部署到本地后，Prompt怎么调都不听话，求指点

这问题我太熟了，基本是本地部署的“七寸”之一。你提到的“对system prompt敏感度不一样”确实是个关键点——API端通常有额外的后处理逻辑（比如重复惩罚、温度调节的默认参数），而ollama本地跑的时候这些参数往往是裸奔状态，或者默认值和API完全不同。

先说上下文长度：7B模型撑死4K-8K上下文，如果你本地部署时没显式设置--num-ctx，ollama默认可能只有2048。知识库问答一旦塞了几轮对话或长文档摘要，上下文一超限，模型就开始“幻觉式重复”——因为它在拼命从有效窗口里找线索，结果就是车轱辘话来回说。建议你先用ollama run qwen2.5 --num-ctx 4096试一下，或者直接在Modelfile里写死。

再说生成参数。你加的“简洁回答”指令不稳定，很可能是温度（temperature）和重复惩罚（repeat_penalty）没调。API默认温度通常0.7-0.8，但本地ollama默认是0.8甚至1.0，这会导致输出发散。建议你直接把温度降到0.3-0.5，同时把repeat_penalty开到1.1-1.2。可以在Modelfile里写PARAMETER temperature 0.4和PARAMETER repeat_penalty 1.15，然后重新create模型。

另外有个坑：本地模型对system prompt的格式其实比API更敏感。比如API允许你写很长的系统指令，但本地模型可能把system和user的边界搞混。试试把约束条件直接塞到user prompt的最后一句，比如“请严格按以下格式回答：只输出最终答案，不解释，不重复。” 这样模型更容易聚焦。

最后，如果你用的是ollama的API模式（比如通过ollama serve调），记得检查下请求里有没有覆盖掉默认的options字段。很多框架（比如LangChain、llama.cpp的绑定）会给prompt自动加模板，那个模板可能和你手写的system prompt打架。建议先裸调curl试一下，排除中间件干扰。

量化精度和温度参数影响很大，试试调低temperature到0.3以下，再把重复惩罚开高一点。

本地7B模型精度和量化会影响效果，试试换Q4或Q8版本，或者调低temperature到0.1。