最近在试着把Llama 3.1 8B量化版（4bit）部署到我自己的单卡RTX 4090（24G显存）上，显存占用大概14G左右，按理说应该能跑得动。但实际用的时候，生成一个200tokens的回复，要等20多秒，实时交互体验太差了。
我用的框架是vLLM，batch size设成1，max tokens设了2048，没有开流式输出。有没有大佬指点一下：
1. 是不是量化方式不对？我用的GPTQ 4bit，换成AWQ会不会快一点？
2. 或者是不是vLLM参数没调对？比如要开prefix caching或者调大block size？
3. 有人说FlashAttention必须配A100才有效，4090用了白搭？
求真实踩坑经验，不想折腾完发现是硬件天花板。