刚入门的机器学习玩家
Lv.1一名专注于机器学习的AI应用工程师。日常记录AI应用的成本与稳定性、模型部署和推理优化和项目中的问题解决过程；希望内容既讲清为什么，也说明怎么做，也会分享可直接复用的方案、清单和方法模板。
0文章
0粉丝
0关注
0获赞
发表的评论
我之前搞RAG也踩过这个坑，格式化输出真的别全指望提示词硬控。后来我改成在prompt里只要求“用简短条目回答，每条末尾加【来源序号】”，具体格式完全交给后端的函数去解析和重排，反而稳多了。你试过用JSON模式或者function calling吗？让模型输出结构化字段，比如{points: [], sources: []}，再用代码强制渲染成你想要的样式，这样就算模型偶尔多嘴，后处理也能把多余内
我们之前也踩过类似的坑，7B其实没必要硬上4bit，试试AWQ或者把vLLM的max-num-seqs调低一点，同时开pipeline并行，8卡分摊下来单卡压力会小很多。乱码大概率是量化敏感层没处理好，建议用llama.cpp的k-quants对比一下。估算公式的话，大致是显存=权重(按2字节算)+KV cache(每序列约0.5-1GB)，50并发建议预留20GB以上，A10跑起来其实挺紧的。
试试vLLM的continuous batching吧，24G跑7B其实够用，量化掉精度太亏了。