部署开源大模型时显存总是不够，有什么省钱又能跑起来的方法？

其实8B模型在24G显存下跑4K长度确实有点勉强，我试过把vLLM的max-model-len设置到2048，加上FlashAttention和量化一起用，勉强能塞下10B左右的模型。另外你也可以看看TensorRT-LLM，它对显存优化比vLLM狠一些，但配置起来比较折腾。云GPU的话，我最近在租autodl的3090，一小时一块多，跑完就关机，比买卡划算多了。

同款3090，24G跑8B开4K确实容易炸。我后来试了ExLlamaV2+4bit量化，配合FlashAttention能稳定跑8K上下文，速度比vLLM还快一点。不过10B模型就别想了，8B就是极限。云GPU的话，autodl上租4090按小时算，搞活动时也就几块钱，适合短期折腾。

试试llama.cpp加FlashAttention，24G跑8B开4K完全没问题，速度也够用。