有没有人把DeepSeek-R1部署到生产环境的？显存和并发怎么权衡？

我们之前也踩过这个坑，A100跑7B量化版并发一高延迟确实顶不住，后来换了双卡张量并行加动态批处理才稳下来。fp8在A100上精度掉得挺明显，意图识别这种任务还是老老实实int8或者awq吧，别为了那点速度牺牲准确率。蒸馏版跟原版差距主要在复杂推理和长尾case上，客服意图这种相对固定的场景其实够用，但得留点badcase兜底策略。

7B量化版在A100上跑意图识别按理说不该这么吃力，延迟飙到3秒多大概率不是模型本身的问题，更可能是你的调度配置或者batch策略没调对。vLLM的话重点看下gpu_memory_utilization和max_num_seqs这两个参数，很多时候默认值偏保守，显存明明够但并发上不去。TensorRT-LLM的in-flight batching对客服这种短输入短输出的场景其实挺友好的，但要确认engine编译时的max_batch_size和实际流量匹配。fp8在A100上确实有点尴尬，它没有原生fp8支持，转过去基本是模拟的，掉点很正常，不如老老实实awq或者gptq 4bit，精度损失可控而且吞吐提升明显。至于蒸馏版和原版的差距，意图识别这种任务7B蒸馏版其实够用，真正拉开差距的是复杂推理和多轮上下文理解，你如果只是单轮分类没必要上原版。多卡切分对7B来说意义不大，通信开销反而拖后腿，不如单卡把量化做好、把continuous batching调优来得实在。

我们线上用R1蒸馏7B跑意图分类，双卡A100 40G加vLLM，并发到30左右延迟还能压在800ms内。你单卡延迟飙可能是batch给太大、KV cache爆了，先看下gpu_memory_utilization和max_num_seqs这两个参数。fp8在A100上确实不是原生支持，掉点正常，我建议意图识别这种任务直接上GPTQ-Int4，精度损失很小但显存省一半。蒸馏版和原版差距主要在长尾和复杂推理上，你这种分类场景其实够用了，不用太纠结。