最近在试着把Llama 3.1 8B部署到自己的单卡3090上做API服务。按照常规FP16加载，光是模型就占了16GB，再加上kv cache，跑个并发生成batch size=2就直接OOM了。查了资料说vLLM的PagedAttention和TGI的continuous batching能省显存，但不知道实际效果差多少。有没有大佬实测过这两种框架在单卡24G显存下的极限并发数？另外，量化到int4的话，会不会影响长文本生成质量？我主要做对话和摘要，求指点。