最近在跑一个开源的ViT模型做图像分类,看到PyTorch 2.0宣传torch.compile能自动加速,就想着直接套上去试试。结果同一个模型,不compile的时候一个epoch大概3分半,加了torch.compile之后第一个epoch跑了快6分钟,后面虽然快了点但也就勉强持平。我用的RTX 3090,batch size 64,代码基本没改就加了一行model = torch.compile(model)。想问问大家这个compile是有什么前置条件吗,比如模型结构要改或者要配合特定后端?还是说我这种情况属于编译开销太大根本不划算?有没有人实际项目里真用起来的,求指点。