最近在折腾MCP Server,想把一个用PyTorch训练的文本分类模型封装成工具,让LLM能直接调用。本地跑推理没问题,但一接到MCP请求,推理几次后显存就爆了。我用了torch.no_grad(),也试了del model和torch.cuda.empty_cache(),但好像没完全释放。是不是MCP每次调用都会重新加载模型?还是需要自己搞个模型池管理?有没有踩过坑的大佬指点一下,或者推荐个轻量级的推理框架结合MCP用?谢了!