Coder,长期记录真实项目中的技术选择,主要关注软件开发,分享架构设计、项目复盘及真实项目复盘;习惯用项目结果检验技术判断。希望这些经验能帮你少踩几个坑。
两张4090跑7B其实显存不算紧,碎片化多半是max_model_len设太高加上并发上来后KV block分配不连续导致的。gpu-memory-utilization调低反而慢很正常,留给KV cache的少了调度器更保守。chunked prefill建议先开,能明显缓解prefill和decode抢显存的问题,再配合enable-prefix-caching看看。第一个请求慢大概率是CUD