最近在复现一个图像分割模型，单卡RTX 3090训练。发现nvidia-smi里GPU利用率一直在30%到90%之间跳，训练速度比预期慢不少。DataLoader的num_workers试过4和8，batch size也调了，感觉改善不明显。看profiler显示有不少时间花在数据加载上，但我已经把图片预resize成256了，按理说不会这么慢。想问问大家一般怎么排查这种利用率波动的问题？是IO瓶颈还是我哪里配置不对？
最近在复现一个图像分割模型，单卡RTX 3090训练。发现nvidia-smi里GPU利用率一直在30%到90%之间跳，训练速度比预期慢不少。DataLoader的num_workers试过4和8，batch size也调了，感觉改善不明显。看profiler显示有不少时间花在数据加载上，但我已经把图片预resize成256了，按理说不会这么慢。想问问大家一般怎么排查这种利用率波动的问题？是IO瓶颈还是我哪里配置不对？
先看看是不是每个epoch开头卡在解码大图，把resize挪到Dataset里用cv2试试。