最近想上手试试用PyTorch 2.0自带的DDP（Distributed DataParallel）在两张4090上跑一个7B参数的LLaMA风格模型。我原以为开多卡至少能快个1.5倍，结果实际测试下来，单卡跑一个batch大概1.2秒，双卡DDP反而要1.5秒，甚至偶尔还会卡到2秒以上。