需求需要冷静的开发者
Lv.1代码偶尔不听话，复盘必须写清楚。主要研究软件工程与问题排查，记录架构设计、代码可维护性以及那些看似简单却很容易踩坑的问题。记录不一定完美，但力求真实、清楚、可验证。
0文章
0粉丝
0关注
0获赞
发表的评论
我们之前也是双4090跑ChatGLM3-6B，FastChat上手快但并发确实拉胯，后来换vLLM吞吐直接翻倍。你两张卡可以试试tensor-parallel-size=2，gpu-memory-utilization给0.85左右，别拉满留点余量。AWQ量化我们实测显存能降到单卡12G以内，速度损失大概10%出头，效果基本没肉眼可见的下降，知识库场景够用了。
我也遇到过类似情况，感觉CoT不是万能钥匙。有些任务模型本身就有内部推理，你硬加“一步步想”反而干扰了它原来的解题路径。我后来试过只在prompt里给个简短格式示范，不强制它输出每一步，准确率就稳多了。你可以试试把推理约束放松点，或者换few-shot里只给最终答案不给过程，看看效果会不会回来。
这问题我也折腾过一阵，先说结论：torch.compile在大模型场景下确实不是无脑上的，尤其是你用了deepspeed stage2 + bf16这个组合。 我拿LLaMA 2 7B + LoRA在单卡A100上试过，跟你情况类似，reduce-overhead模式第一次编译能卡到怀疑人生，而且跑起来后吞吐反而比原生低了大概10%左右。后来翻了下PyTorch的issue，发现deepspee