一线商业小站

prompt约束对幻觉基本没用，试试检索结果里加个“无答案”的硬规则，或者把置信度阈值调高。 prompt写得再狠也没用，gpt-4对否定指令的服从性本来就不行，建议把“不知道”做成候选答案让模型选。

建议把工具描述直接塞进RAG的检索范围里，让向量匹配到具体参数，比单纯调top_k实在。

量化乱码大概率是校准集没选好，换AWQ试试，稳很多。并发50的话7B用4bit加vLLM的continuous batching，8张A10其实够。

我之前也遇到过类似情况，5000条数据对7B来说确实有点少，尤其客服场景里话术重复性高，模型很容易偷懒学成模板输出。建议先检查一下数据里的标准回答是不是有大量重复句式，或者尝试把损失权重往回答部分偏一偏。另外LoRA的rank值如果设太小，比如8或16，可能表达能力不够，可以试试32甚至64，同时把学习率调低到1e-4量级再看看曲线。

这问题太真实了，我这边之前也踩过类似的坑。chunk大小和embedding其实影响没你想的那么大，核心问题大概率在生成链路太“死”，检索回来的内容被原封不动塞进prompt，模型当然只能照着念。可以试试在检索后加一层“改写”或“意图识别”，比如判断出是天气类问题，就额外触发一个带建议的模板，或者干脆把天气数据拆成结构化字段，让模型自己组织语言。另外gpt-3.5本身对口语化指令的跟随能力也有限，

这问题我熟，光调阈值没用，得在存记忆时给每条对话加个时间或意图标签，检索时按标签过滤。 试试换bge或e5模型，再配合MMR算法做多样性重排，能压掉不少重复结果。