最近想在自己电脑上跑个开源大模型玩玩，主要想用来做点文档问答和代码补全。显卡是4060Ti 16G，内存32G，看网上说7B模型量化后能跑，但有的又说上下文一长就爆显存。我试了Ollama跑Qwen2.5-7B的q4版本，短问题还行，但塞个长文档进去就卡得不行，有时候直接OOM。想问问大家实际部署时都怎么配置的？是不是得换vLLM或者llama.cpp？还是说16G就只能老老实实跑3B以下的？求指点。