最近在微调一个7B的LLaMA模型，用的四卡4090（24G显存），开了DeepSpeed ZeRO-3，结果batch size设成1就跑爆了，报out of memory。我看很多帖子说ZeRO-3能省显存，怎么感觉反而更吃内存了？是不是offload配置有问题？还是说7B模型必须要A100才能训？目前主要卡在DataLoader和模型参数加载阶段，求指教，别让我直接上8卡……