最近在做一个多工具调用的 Agent 项目,底层用 PyTorch 2.1,想着用 torch.compile 加速一下推理。但发现 Agent 每步的输入长度和工具调用次数都不固定,动态 shape 特别多,compile 之后要么重新编译好几次,要么直接 fallback 回 eager,速度反而更慢了。我看官方说支持 dynamic shape,但实际效果感觉不太行。有没有大佬在生产环境试过?是不是 Agent 这种控制流复杂的场景就不适合上 compile?还是我用法有问题?
最近在做一个多工具调用的 Agent 项目,底层用 PyTorch 2.1,想着用 torch.compile 加速一下推理。但发现 Agent 每步的输入长度和工具调用次数都不固定,动态 shape 特别多,compile 之后要么重新编译好几次,要么直接 fallback 回 eager,速度反而更慢了。我看官方说支持 dynamic shape,但实际效果感觉不太行。有没有大佬在生产环境试过?是不是 Agent 这种控制流复杂的场景就不适合上 compile?还是我用法有问题?
暂无回复,快来抢沙发吧