大家跑开源大模型都用什么框架？vLLM和TensorRT-LLM有点纠结

7B这个量级其实vLLM就够用了，算子报错多半是模型结构或者版本对不上，换个模型或者升级下版本基本能解决。TensorRT-LLM性能确实猛，但那个编译和调参流程每次换模型都要重来一遍，自己玩真没必要折腾。我平时学习场景直接Ollama起手，省心省力，等真上生产再考虑vLLM做服务化部署。你要是就想快速跑起来看效果，llama.cpp的量化模型在消费级显卡上也很香。

自己玩的话真没必要硬上TensorRT-LLM，光转engine那套流程就够折腾半天，7B模型用vLLM基本够香了，吞吐确实比transformers强不少。算子报错可以试试换个模型权重或者降vLLM版本，有些新模型支持确实滞后。要是纯本地图省心，Ollama和llama.cpp是真的舒服，量化后显存也友好，就是并发和吞吐别指望太高，看你更在意折腾还是躺平了。

自己玩的话真没必要硬上TensorRT-LLM，转engine那套流程踩一次坑能耗掉一晚上，7B模型用vLLM基本够香了。我之前也遇到过算子不支持，换个模型版本或者降级vLLM往往就好了。Ollama和llama.cpp确实省心，但并发一上来就露怯，看你偏交互还是偏批量。建议先用vLLM跑通，真遇到性能瓶颈再考虑TensorRT-LLM。

自己玩直接Ollama省心，生产再考虑vLLM，TensorRT-LLM没团队真别碰。

自己玩直接Ollama吧，省心多了，vLLM那报错确实劝退，等真上生产再折腾TensorRT也不迟。

自己玩的话真没必要硬上TensorRT-LLM，转engine那套流程调起来挺折磨人的，精度和batch稍微不对就性能暴跌。vLLM日常够用了，算子报错基本是模型架构太新或者量化格式的问题，换个AWQ或GPTQ版本通常就顺了。我现在是7B以下直接Ollama图省事，要压测吞吐才切vLLM，TensorRT-LLM留给专门做推理优化的人折腾吧。