最近在给公司做LLM推理优化，看到PyTorch2.0的torch.compile宣称能提升30%-40%性能，就试了试。本地benchmark确实快了，但部署到生产环境（T4 GPU，batch动态变化）后发现两个问题：一是首次编译时间太长，大概要十几秒，预热的warmup策略没找到好的实践；二是配合vLLM或TensorRT-LLM时，compile反而和这些框架的CUDA graph冲突，偶尔报显存碎片错误。想请教各位，你们在生产环境里真的会用torch.compile吗？还是说只用来做训练？如果是推理，有没有和vLLM搭配成功的案例？或者说干脆别折腾，直接换ONNX或TensorRT更省心？刚接触这块，有点迷茫，求指点。