想请教下7B模型部署，显存和推理速度总卡在奇怪的地方

24G跑bf16的7B确实紧巴巴，权重15G看着够，但vLLM还要预分配KV cache、激活值，加上CUDA context和碎片，很容易就顶满了。gpu_memory_utilization别调太高，0.9以上反而容易翻车，max_model_len也得按实际需求砍，默认拉满KV cache直接吃光显存。建议先用nvidia-smi盯着看实际占用，再把max_num_seqs和batch size一起压，量化版能跑就先跑着，别硬扛bf16。

KV cache才是隐藏大头，batch开大直接吃满，max_model_len设小点能省不少。

我这边也踩过类似的坑，24G卡跑7B bf16确实吃紧，权重15G只是开始，vLLM的KV cache和CUDA graph会额外吃掉好几G。建议先用gpu_memory_utilization 0.85配合max_model_len 4096试试，把KV cache空间留够。显存估算可以按权重加激活再乘1.3左右来粗算，别忽略框架本身的overhead。batch size上不去多半是KV cache被max_model_len撑爆了，调小它反而能跑更大batch。