最近在用PyTorch复现一个简单的图像分类模型,训练到第3个epoch左右loss突然变成NaN,梯度也爆了。我检查了学习率(1e-3)和输入归一化都没问题,数据里也没有脏样本。奇怪的是,我把同一套逻辑用TensorFlow 2.x写了一遍,跑下来完全正常,loss稳稳下降。想问下大家,PyTorch里有没有什么默认行为容易导致这种数值不稳定?比如自动混合精度、某些优化器的eps设置,还是说我对动态图的理解有坑?实在有点迷茫,求指点。