最近在自己的 3090 上部署了 Qwen2.5-14B-Instruct 的 GPTQ 量化版，用 vLLM 起服务。短 prompt 效果还行，但一旦把系统提示词写详细点，再加上几轮对话历史，总 token 超过 2k 左右，输出就开始胡言乱语，偶尔还直接截断。
楼主
22天前
本地部署大模型后，Prompt 长度一长就崩，是显存问题还是写法有问题？
请 登录 后发表回复
全部回复
共 1 条
2楼
17天前
3090 跑 14B 的 GPTQ，2k 上下文按理说不至于崩，先看看 vLLM 启动时 max-model-len 设了多少，默认可能没吃满。还有个坑是 GPTQ 量化在长上下文下精度掉得比较明显，尤其激活值量化那块，换 AWQ 或者用 FP8 可能会稳不少。你可以在启动参数里把 enforce-eager 打开试试，有时候 CUDA graph 跟量化 kernel 搭配会出问题。另外截断的话确认下是不是触发了 stop token 或者 max_tokens 限制，不一定是模型本身的问题。