最近想给VS Code搞个本地代码补全,看Qwen2.5-7B-Coder口碑不错就下了。机器是4070Ti + 32G内存,用ollama跑的q4量化版。但实际用起来补全一次要等三四秒,完全没法像Copilot那样边打边提示。试过调小max_token和temperature,效果不明显。看网上有人说用vLLM或者TensorRT-LLM能快很多,但那些配置看起来好复杂,怕踩坑。想问问大家本地做代码补全都用的什么方案?7B这个尺寸是不是本身就做不到低延迟?还是我哪里设置有问题?真心求教,感谢!