最近在搞一个内部用的智能客服，选了个7B的模型，用vLLM部署在单张A100上。离线测试时感觉还好，一上线并发一上来，响应时间直接奔着10秒去了，用户狂吐槽。我试了调低max_num_batched_tokens和换量化，效果不明显。想问下大家，有没有比较成熟的方案或者参数调优经验？比如是否一定要上多卡推理？或者有没有轻量级的替代框架？另外，是不是我的batch设置有问题？求指点，谢谢！