微调大模型时显存总爆，大家batch size一般设多少？
最近在尝试微调一个7B的基座模型，用的LoRA，但batch size设到2就爆显存了（24G卡）。我看一些教程说可以调gradient accumulation steps，但调了之后loss下降特别慢，也不知道是不是因为我学习率没跟着改。想问问有经验的朋友：你们微调时batch size大概设多少？显存不够是不是只能换更小的基座模型？另外，gradient accumulation steps
小顾Product
我要提问
大家都在搜
1
用ollama本地部署7B模型，8G显存跑起来很慢正常吗？
58
2
魔法原子×速卖通：人形机器人出海不该只靠电商渠道
58
3
魔法原子牵手速卖通：人形机器人出海，落地比炫技更重要
58
4
大家用开源模型写Prompt时，怎么判断模型“理解”了我的意图？
57
5
部署开源大模型做Agent，遇到并发推理+长上下文时OOM怎么破？
56
6
GLM-4.5实测：代码生成追平GPT-4o？Agent场景才是真亮点
54
7
PyTorch 分布式训练用DDP还是DeepSpeed？新手有点懵
54
8
魔法原子牵手速卖通：人形机器人出海，电商渠道比技术更关键？
54
9
用开源模型搭RAG，召回效果很差，大家怎么优化分块和检索的？
53
10
GPT-5实测翻车？营销泡沫下的技术真相
53
11
用向量数据库做Agent记忆时，历史消息多了检索效果越来越差怎么办？
53
12
用PyTorch跑ResNet50做迁移学习，显存总爆掉，求优化思路
53
13
新手求教：用PyTorch跑LLaMA 3.2微调，显存总是不够怎么办？
53
14
MCP里用PyTorch还是TensorFlow？新手在框架选择上卡住了
52
15
Gemini 3.5 Pro延期背后：谷歌的“规模诅咒”正在显现
52
16
MCP工具调用和RAG检索结果怎么合并？我有点懵
52
17
RAG场景下微调LLM，怎么避免破坏检索到的知识？
52
18
用LangChain部署RAG到生产环境，多用户下向量库并发读写怎么搞？
52
19
用LangChain搭Agent时，Tool调用顺序总是乱跑，怎么控制？
51
20
用开源模型做代码补全，老是补出语法错误，是我的幻觉吗？
51