部署本地大模型做Agent推理，显存总爆掉，是量化还是换框架？

显存爆大概率是Agent多轮上下文叠加的锅，试试PagedAttention的SGLang，动态函数调用比vLLM稳很多。

双3090跑13B还爆显存，八成是KV cache没控好，先试试限制并发数，比换框架管用。

双3090跑7B和13B按理说不至于频繁爆显存，除非你Agent那边并发拉得挺高，或者上下文堆得特别长。Agent场景跟纯对话真不太一样，每轮工具调用都要重新塞一遍历史加函数定义，token涨得飞快，KV cache才是吃显存的大头。量化的话我更倾向AWQ而不是GPTQ，AWQ对多轮逻辑的损伤小一些，8bit掉智商这事我也遇到过，换4bit AWQ反而比8bit GPTQ稳，有点反直觉但实测确实这样。vLLM和TGI在动态请求上确实别扭，你可以看看SGLang，它那个RadixAttention对Agent这种带前缀复用的场景挺友好，函数调用也不用老重启worker。CPU offload能救急但延迟会很难看，Agent本来就要多轮往返，再叠上offload基本没法用，除非你只是跑着玩。要不先说说你上下文一般开到多少、并发几个请求？这个不说清楚很难判断到底是量化的锅还是调度的锅。

双3090跑7B和13B按理说不该这么吃力，显存爆掉多半是Agent那套框架本身的内存管理有问题，比如KV cache没设上限、每轮都重新加载模型之类的。量化的话我更推荐AWQ而不是GPTQ，AWQ在长上下文和多轮对话里的退化明显小一些，8bit其实挺尴尬的，省得不够多质量还掉。vLLM确实对Agent这种频繁插函数的场景不太友好，可以看看SGLang，它对结构化生成和前缀复用支持好很多，多轮场景下cache命中率上去了显存和速度都会改善。CPU offload我劝你别碰，Agent本来就要低延迟，offload之后每步都卡成PPT，体验直接废掉。如果预算允许，其实可以考虑把13B换成两个7B做分工，或者用MoE架构的模型，显存占用和推理质量会更平衡。

双卡3090跑7B/13B其实不至于老爆显存，Agent场景下真正吃显存的是长上下文和函数调用返回的那堆JSON，建议先把max_model_len压下来试试。量化的话AWQ比GPTQ稳一些，8bit确实容易在多轮里掉智商，可以考虑4bit AWQ加KV cache量化。框架上vLLM的worker重启问题基本是无状态调用没配好，用它的 OpenAI API 加 tool call 解析会顺很多，别硬怼TGI。CPU offload能跑但延迟会让你怀疑人生，Agent这种多轮交互基本没法用。

Agent场景确实和普通对话不一样，vLLM那套PagedAttention对频繁变长的函数调用请求不太友好，worker重启多半是调度策略的问题。我之前用AWQ跑13B做工具调用，显存压到单卡24G能稳住，质量比8bit好不少，但得配合SGLang这种支持RadixAttention的框架，动态前缀复用会顺很多。CPU offload就别折腾了，延迟直接起飞，Agent多轮下来体验稀碎。建议先换SGLang试AWQ，双3090跑13B应该够用，实在不行再考虑7B加更激进的分页KV cache。

双3090跑13B还爆显存，感觉你batch size或者max_model_len设太大了，Agent场景其实不需要那么长的上下文窗口。量化的话建议直接上AWQ，比GPTQ在多轮对话里稳不少，8bit确实容易让逻辑断片。框架可以看看SGLang，它对动态函数调用和并发请求的处理比vLLM顺手，不用频繁重启worker。CPU offload就算了，延迟直接翻倍，Agent等不起。

双3090跑7B还爆显存，感觉瓶颈可能不在量化，而是Agent场景反复拼长上下文导致的KV cache膨胀。GPTQ/AWQ确实比8bit靠谱，但得挑对校准集，不然多轮逻辑崩是常事。框架上可以看看SGLang，它那个RadixAttention对动态请求和前缀复用友好很多，比vLLM省心。CPU offload就别折腾了，延迟直接起飞，Agent这种要频繁调函数的根本扛不住。

双卡3090跑7B和13B按理说没那么容易爆，你Agent场景估计是并发请求加上上下文越来越长，KV cache吃掉了大头。8bit量化掉质量这事儿我也遇到过，多轮对话里函数调用参数经常开始胡编，后来换AWQ 4bit反而比bitsandbytes的8bit稳，建议优先试AWQ而不是GPTQ，前者对指令跟随的损伤小一些。vLLM和TGI在Agent这种动态调用场景确实别扭，每次请求结构不一样，调度器很难复用，可以看看SGLang或者直接上llama.cpp的server模式，它对动态prompt和函数调用支持更灵活。CPU offload别当主力方案，延迟会难受到你怀疑人生，最多用来兜底跑大模型。真正要省显存，先把max_num_seqs和gpu_memory_utilization调保守，再考虑量化，顺序反了会白折腾。

双3090跑7B和13B按理说显存不该这么紧张，你爆显存大概率不是模型权重本身的问题，而是Agent场景下KV cache随多轮对话和工具调用不断膨胀导致的。量化方面我个人觉得GPTQ/AWQ比bitsandbytes的8bit靠谱不少，后者精度掉得确实明显，尤其多轮推理时容易崩逻辑，换AWQ试试，4bit下质量保留比你想的好。框架上vLLM和TGI确实更偏静态批处理，Agent这种频繁插函数调用、请求长度忽长忽短的场景，可以考虑SGLang或者直接上llama.cpp的server模式，前者对结构化生成和动态请求友好很多。CPU offload能救急但速度会掉到没法用，除非你只是偶尔跑跑。另外检查下是不是max_model_len设太大，预留的KV空间吃掉了显存，调小一点往往立竿见影。

双卡3090跑13B Agent直接上AWQ吧，GPTQ多轮容易崩，vLLM动态请求确实不太行，试试SGLang？