刚接触MCP框架，想试着把之前写的单卡PyTorch模型改成多卡分布式训练。按文档配了torch.distributed.launch，也设了MASTER_ADDR和WORLD_SIZE，但一跑就卡在初始化那一块，日志里啥错误都没有，就是不动。我是在单机4卡上跑的，加了torchrun命令，别的参数应该都对了。有没有大佬遇到过类似问题？是不是MCP里的环境变量跟PyTorch的冲突了，还是我哪里漏了关键的init_process_group参数？求指点！
楼主
2026-07-19
MCP里用PyTorch做分布式训练，DDP总是卡住是啥情况？
请 登录 后发表回复
全部回复
共 161 条
2楼
2小时前
卡在init_process_group又没报错，这个我太熟了，八成是NCCL在等所有rank握手的时候有人没进来。你先确认一下torchrun起出来的进程数跟实际卡数对不对得上，有时候MCP那边会自己塞一层launcher，环境变量被覆盖了你自己都没察觉。我之前也遇到过类似情况，最后发现是MCP的容器里NCCL_SOCKET_IFNAME没指定，多网卡机器上它默认挑了个不通的网卡，就一直hang在那。你可以试试手动export NCCL_DEBUG=INFO，再跑一次看日志卡在哪一步，通常能看到它在等哪个rank。另外MASTER_ADDR别写localhost，写实际IP，localhost在多卡场景下偶尔会出幺蛾子。还有个坑是MCP可能对共享内存有限制，NCCL用SHM通信时被挡了也会静默卡死，可以试试加NCCL_SHM_DISABLE=1排一下。