最近想把Qwen2.5-7B部署到公司内部做私有化问答，服务器是两张A100 80G，按理说应该够用吧？结果一跑起来，直接OOM了两次，查了半天发现是vLLM默认的prefill和decode并发设置太高，手动调低batch size和max_num_seqs才勉强跑起来，但响应慢了不止一倍。