刚把微调好的Llama 3 8B模型用vLLM部署到一台A100上，显存占用才40%左右，但每次请求都要等5-6秒才出第一个token，完全没法用。我试了调整batch size和max_num_seqs，效果不明显。是不是因为模型是FP16加载的，或者我的量化方式不对？有看到别人说用AWQ量化能快很多，但不太清楚具体怎么跟vLLM配合。另外，我的请求大多是短文本生成（几十个token），是不是应该用某种流式输出或者预填充策略？求有经验的大佬指点一下，真的被卡住了，项目要赶着上线……