最近在尝试用FSDP跑一个7B的LoRA微调，单卡A100 80G。按照文档设了sharding_strategy=ShardingStrategy.SHARD_GRAD_OP，但发现训练刚开始显存占用就飙到70多G，比不用FSDP的DDP还高。我理解FSDP应该把参数和梯度分片到各卡，但单卡显存反而更高了？另外，forward_prefetch和backward_prefetch的几种选项我都试过，效果差异不大。