用vLLM部署Qwen2.5-7B时显存总爆，有人试过量化加流水线并行吗？

量化加流水线并行确实能救急，不过8并发就爆到75G，是不是gpu_memory_utilization没调？

量化加流水线并行确实能救，但vLLM对AWQ的支持比GPTQ好不少，建议先试AWQ 4bit，显存能压到20G以内。流水线并行的话注意pipeline_parallel_size要能整除你的卡数，不然起不来。另外你8并发就OOM有点怪，检查下是不是block_size设太小导致KV cache碎片化了，默认16一般够用，可以调到32试试。

试过AWQ量化加TP=2，A100 80G双卡跑Qwen2.5-7B，4K上下文下8并发大概只占40G出头，稳得很。vLLM的gpu_memory_utilization默认0.9太激进，可以调到0.85留点余量，另外enable_prefix_caching对长文本重复前缀场景省显存挺明显的。你单卡80G按理说不至于8并发就爆，是不是max_num_seqs没限制，调度器把请求全塞进去了？

量化加流水线并行确实能救，但7B开TP不如直接上AWQ，显存能压到20G以内，并发也能拉起来。

量化加流水线并行确实能缓解，但Qwen2.5-7B在vLLM里8并发就爆80G有点不太对劲。你gpu_memory_utilization设的多少？默认0.9的话实际可用也就72G左右，再加上KV cache按4K序列算，8个并发确实吃紧。建议先试试AWQ量化，显存能压到一半以下，配合--max-num-seqs限制一下并发数，一般够用了。流水线并行在单机上意义不大，通信开销反而拖性能。

量化加流水线能救，但AWQ对4K以上长文本精度掉得有点狠，建议先试FP8 KV cache，显存省不少。