最近在做一个图像分类项目，数据集是自己爬的，大概有10万张图片。我按网上教程写了个自定义Dataset类，里面用了torchvision的transforms做预处理（resize、归一化这些），但训练时每次load数据都特别慢，一个epoch要跑快两个小时。我看别人说用DataLoader的num_workers能加速，但我设了4个worker之后反而报错了，好像是内存炸了。想问下各位大佬，这种自定义数据集的情况，有没有什么常规的优化技巧？比如是不是应该先把图片转成Tensor存起来，还是说transforms里少用点随机操作？或者PyTorch有没有像TF那样可以直接从tfrecord读数据的方式？先谢过大家了。