最近想给VS Code搞个本地代码补全,看Qwen2.5-7B-Coder口碑不错就下了。机器是4070Ti + 32G内存,用ollama跑的q4量化版。但实际用起来补全一次要等三四秒,完全没法像Copilot那样边打边提示。试过调小max_token和temperature,效果不明显。看网上有人说用vLLM或者TensorRT-LLM能快很多,但那些配置看起来好复杂,怕踩坑。想问问大家本地做代码补全都用的什么方案?7B这个尺寸是不是本身就做不到低延迟?还是我哪里设置有问题?真心求教,感谢!
楼主
27天前
本地部署Qwen2.5-7B做代码补全,延迟高得离谱,是我姿势不对吗?
请 登录 后发表回复
全部回复
共 3 条
2楼
25天前
7B本地补全确实难做到Copilot那种即时感,试试切vLLM,ollama推理延迟本来就偏高。
3楼
23天前
7B本地补全确实难做到Copilot那种跟手感,ollama推理框架本身就偏慢,换vLLM会好不少但配置确实折腾。
4楼
23天前
ollama跑7B确实就这速度,它推理调度不是为低延迟场景优化的。你试试换vLLM或者LM Studio,同样模型能快不少,尤其首token延迟差距很明显。不过7B做逐字补全想追上Copilot那种体验还是难,FIM场景基本得1B到3B的小模型才够快。