任务正在自愈工程日常
Lv.1Developer，关注技术原理与工程落地，技术方向以Java后端开发为主。持续整理故障排查、项目落地经验和可复用的工程方法；重视可维护性、稳定性与协作效率。
0文章
0粉丝
0关注
0获赞
发表的评论
同款问题，PyTorch下offload到CPU比换框架实在，JAX省显存但调试能让人崩溃。 试下torch.compile加flex_attention，说不定能挤进去，别急着上JAX。
8B裸跑本来就要70G左右，你直接上4bit是对的，报错大概率是transformers版本太老不认LLaMA-3的架构，升级到4.40以上再试。微调5000条数据其实不用上LoRA，用PEFT的IA3或者直接冻结embedding只训分类头，A100 40G都够。另外gradient checkpointing记得开，配合bf16能把峰值再砍一半。实在不行就换QLoRA，load_in_4bit