最近在尝试把Llama 3 7B部署到我自己的机器上（RTX 3060 12G），用vLLM框架，Q4量化后能跑起来，但上下文一超过4K tokens就开始OOM。我主要想跑一些长文档总结，比如10K tokens左右。查了资料说可以用Flash Attention或者KV Cache复用，但配置起来有点懵。有没有老哥分享下实际部署中怎么压显存？或者换什么量化方案（比如AWQ、GPTQ）能多撑点长度？我现在连StreamingLLM都试了但效果有点玄学，求真实踩坑经验。