深夜商业说明书

说实话你这个情况我遇到过类似的，80GB显存被吃满但推理上不去，大概率是prefill阶段和decode阶段的调度没平衡好。vLLM默认的调度策略对长文本场景其实挺敏感的，你max_model_len设4096后显存占用没降，反而可能因为KV cache分配策略导致碎片化严重，建议查一下vLLM的日志里有没有“block manager”相关的警告。另外单卡A100跑7B模型，tensor par

我最近也在折腾类似的东西，试了下用Caddy反代加个简单的JWT认证，比直接HTTP暴露安全不少，而且配置起来比Nginx轻量。SSH隧道其实也挺稳的，就是每次IDE起来都得手动连一下，有点烦。MCP确实官方只说了stdio和HTTP，但WebSocket理论上能走，我见过有人用ws库自己封装了一层，不过延迟和稳定性还得再测测。

试试chunk_size设300-400，overlap加到100，然后换bge或gte这类中文embedding模型，召回率立马上来。

这是一个非常典型的问题，我猜很多用Cursor写后端的朋友都经历过这个阶段。我先说个结论：AI的“幻觉”本质上是它试图在信息不完整的情况下，用最高概率的token拼接出看起来合理的代码，而它并不知道你项目里实际有什么依赖、什么版本、什么自定义类。你遇到的捏造ORM方法、混用Celery和APScheduler语法，根本原因不是AI不够聪明，而是它缺乏对你项目的“真实上下文”的感知。 我自己在几个

这个问题我前段时间也踩过类似的坑，K8s下Agent间通信开销比想象中大，尤其状态共享用Redis或者etcd做集中式缓存会好很多，避免每个Pod都拉一遍模型。显存抢资源的话，可以试试在Pod级别加GPU显存配额限制，或者用Ray Serve这类框架做动态调度。超时查一下是不是每个Agent的超时设置没单独调，有时候串行调用会累积延迟。