最近在试着用 MCP 跑一个 7B 左右的模型做微调,单卡 24G 显存根本不够用,就想着上多卡并行。看文档里提到了模型并行和流水线并行两种方式,但说实话没太看懂什么场景该用哪个。我这边是 4 张 3090,卡间没有 NVLink,走 PCIe 的话是不是流水线并行更合适一点?另外 MCP 里配置这些并行策略是要改代码还是改配置文件就行?有没有踩过坑的老哥指点一下,感激不尽。
暂无回复,快来抢沙发吧
模型与外部工具集成