用大模型做客服，prompt怎么写好才能不“胡说八道”？

你这个场景我太熟了，之前做售后bot也踩过同样的坑。我的经验是别指望单靠prompt约束模型不编，核心得把“知识库检索”和“生成”拆开——就是先让模型判断用户问的是哪类问题，然后用检索到的真实数据拼提示词。比如查库存，我先用函数调库存API拿到实时数值，再把这数值写进prompt里让它“基于以下数据回答”，这样它就没机会瞎编了。关于退换货政策，我一般是把政策原文分段塞进system message里，明确说“你只能引用我提供的条款，不能自己补充”，效果比光写“只回答我知道的”强很多。另外你提到角色设定，我觉得system message确实比user prompt稳，因为它是全局的，不容易被用户后续输入带偏。但有个坑是，如果知识库太大，全塞进去会超token，还得做切片或摘要。你试过用function calling吗？我觉得比纯prompt可控性高一截，模型需要实时数据时主动调接口，比硬塞规则靠谱。你现在是直接把知识库文本拼在prompt里，还是有什么别的处理？

这问题太真实了，光靠prompt约束模型不编数据基本是死路，信息源不解决它迟早会“自信地胡说”。建议把知识库或商品库直接塞进system message里，然后设定一个“查不到就明确说不知道，并引导转人工”的角色，比在user prompt里反复强调“别乱说”稳得多。另外可以把退换货政策拆成结构化条目喂进去，让它按模板回答，比让它自由发挥靠谱。还有个小技巧，给模型加个“数据截止日期”或“库存更新时间”的字段，能减少不少幻觉。

system message做角色限定确实比user prompt稳，但核心还是得把知识库结构化塞进去，比如把库存和政策拆成key-value对喂给模型，让它优先查库再回答。另外建议加个兜底逻辑，让模型在不确定时输出“请转人工”而不是硬编，不然客服demo很容易翻车。

我们之前试过把FAQ和实时库存一起放system里，效果比单纯写“不知道就别答”好很多，而且模型编造概率明显降低。你还可以试试few-shot，给几个“有货/无货”的对比示例，比干巴巴的规则管用。

知识库肯定得塞，但得做成检索后拼接进prompt，光靠system message压不住幻觉。

知识库必须塞，但只塞片段不塞全文，再让system message锁死回答边界，实测能少一半幻觉。

之前做个类似的工单分类机器人，踩过同样的坑。你这个问题关键不在prompt长短，而是要把“能查的”和“能说的”分开——比如知识库内容抽成结构化条目，给模型一个明确的检索动作，没查到就直接说不知道，别让它自由发挥。system message确实比user prompt稳，我会把角色设定成“只依据以下条目回答”，然后把政策原文按编号塞进去，同时加一句“若条目未覆盖，请回复转人工”。另外你试下few-shot，给两三个“有货/无货”的对话示例，比单纯写指令管用得多。

system message做角色设定确实比user prompt稳，尤其对GPT-3.5来说，把“你是电商客服，只能依据知识库内容回答”这种约束放系统层，能很大程度压住幻觉。另外建议把库存和政策拆成结构化数据塞进system里，比如用JSON格式带时间戳，模型就不容易凭空编了。

我试过把知识库直接拼到user prompt里，token一长效果反而变差，后来改成每次只检索相关片段再注入，准确率提升明显。你可以试试加一条“如果信息不在给定资料中，就明确说无法确认”的规则，同时给它几个标准话术模板，这样既不会乱说也不会直接哑火。

知识库必须塞，但得让模型先检索再回答，不然它容易拿上下文瞎编。system message定角色确实更稳，建议把商品数据库转成向量检索喂进去。

这问题我太有同感了，之前做智能客服demo也踩过这个坑。你光靠system message定角色确实稳一点，但核心还是得把外部知识库搞成检索增强，直接把商品库和退换货规则切成小块塞进prompt里，让它每次回答前先“看”一眼数据。我一般会塞一段“当前库存：SKU123=0，SKU456=5”这种结构化信息，再在system里强调“仅基于上述数据回答”，这样它就不会瞎编了。另外“只回答确切知道的信息”这种负面指令太容易让它摆烂，不如改成“如果数据里没有，就主动引导用户转人工”这种正向动作。还有个细节，政策类问题最好把原文条款直接贴进去，别让它自己总结，否则语气一变就容易漏关键条件。你可以试试把知识库按意图分类，每个意图对应一小段固定模板，模型在模板里填槽位，准确率会高很多。最后提醒下，API直调的话温度调低点，0.2左右，能减少幻觉。

说实话你这个情况太典型了，光靠prompt硬约束很难根治。我建议把知识库拆成结构化数据，比如商品表和政策FAQ，用system message定义角色和回答边界，user prompt里只传当次查询的上下文，这样模型就不会自己脑补库存了。另外可以试试让模型先输出“依据”再给结论，比如“根据商品表A001显示”，一旦它找不到对应数据就会自然说不知道，而不是编一个。你那个“只回答确切知道”的指令太绝对了，模型会理解成所有问题都不答，改成“如果知识库中有明确信息则回答，否则请说明需要人工核实”会好很多。

说实话你这个情况太典型了，光靠prompt约束真的压不住幻觉，建议直接把知识库做成检索增强（RAG），让模型先查后答。system message里塞角色设定确实比user prompt稳，但关键是要给它一个“不知道就说不知道”的兜底话术，比如“请联系人工确认库存”，而不是让它直接冷冰冰说“不清楚”。还有个细节，政策类问题最好给几个固定模板让模型填槽位，别让它自由发挥。

这问题太真实了，我当初也踩过这坑。别指望靠一两句prompt就让模型自动诚实，关键是把知识库做成结构化上下文喂进去，比如用system message固定角色和规则，再把商品数据转成JSON格式塞进user prompt里，让它只基于这些字段做判断。另外“不确定就明说”和“不知道就引导转人工”这两条得分开写，否则它就光顾着保守了。你试过few-shot吗？给几个“有货/无货”的示例对话，比单纯下指令管用。

我之前也踩过这个坑，光靠prompt限制真的不行，后来是把知识库拆成小块，每次调用前用检索把相关条目拼进system message里，效果好了很多。另外“不知道”和“拒绝回答”要分开设计，比如给它一个固定话术“库存信息以页面显示为准”，这样既不会乱编也不会直接摆烂。你试试把退换货政策做成结构化列表喂进去，比让它自己组织语言靠谱。还有，GPT-3.5对否定指令很迟钝，你改成“只引用系统提供的数据”这种正向约束会稳一点。

之前做类似项目也踩过这坑，单靠prompt约束确实不够，后来是把知识库拆成结构化条目，让模型先检索再生成，准确率提升明显。system message里明确角色+规则确实比user prompt稳，但关键是要给模型一个“不知道就说不知道”的兜底话术，比如“这个需要人工确认，我先记录一下”。另外库存这种实时数据别指望模型自己知道，最好在prompt里设计成调用接口的触发格式，让它只做话术包装，别做决策。

知识库肯定要塞，但别直接全塞进prompt里，超token还容易带偏。我一般把产品信息压缩成结构化文本，比如“SKU-001：库存5，退换货仅限7天”，再配合system message锁死角色和边界，这样模型能查表回答，不会瞎编。

另外别只依赖“不知道”兜底，太生硬。可以给个“无法确认时请引导用户转人工”的指令，既避免了编造，又保住了客服体验。你试过few-shot吗？给几个标准问答对，比纯规则描述稳得多。

说实话你这个情况太典型了，光靠prompt硬约束肯定不行，得把知识库和system message配合起来用。我建议把库存和退货政策做成外部检索，先查库再让模型基于检索结果生成回答，没查到就明确说“需要人工确认”，这样比让它自己脑补靠谱得多。

另外system message里做角色设定确实更稳，但关键是要给它一个“不知道就说不知道”的兜底逻辑，比如设定成“你是客服助手，只能依据提供的资料回答，资料中没有的内容必须转人工”，比单纯说“别乱编”有效多了。

不过你提到GPT-3.5，得留意它本身对指令遵循能力有限，如果知识库很大，最好先用embedding做召回，再把召回片段塞进prompt，不然上下文一长它更容易跑偏。

知识库得单独接，prompt里塞太多反而容易乱，建议用system message固定角色逻辑，再让模型只从库里取数据。

说实话你这个场景我太熟了，之前做个类似的售后问答demo也踩过同样的坑。单纯靠prompt约束模型“别乱说”基本是治标不治本，因为它本质上是概率生成，你越强调“不知道就说不知道”，它反而越容易触发防御性回答。我的做法是把知识库直接塞进system message里，但别一股脑全给，用检索的方式只把当前问题相关的商品信息、库存状态、政策条款动态拼进去，让模型基于这些具体文本去生成回答，而不是靠它的“记忆”瞎猜。另外角色设定确实放system message更稳，因为它的优先级高，而且可以写一些类似“如果检索到的信息不足以回答，必须明确说需要人工介入”这类硬规则，但别用“不知道”这种模糊词，容易让它误判。还有一个关键点，你可以试试给每个商品加一个“信息置信度”字段，比如库存是实时同步的，而政策是静态的，让模型自己判断哪些是可信来源。最后提个建议，输出前加一个简单的校验逻辑，比如让模型先输出它依据的信息片段，再生成答案，这样至少能排查一半的幻觉问题。

system message做角色限定确实比user prompt稳，你可以把知识库拆成结构化条目塞进system里，再让模型只基于这些内容回答。另外给个兜底话术，比如“具体库存以页面为准”，能减少硬编概率。试试把政策部分单独抽出来写死，商品信息靠外部API实时查，别让模型自己判断。

system message做角色设定确实比塞user prompt稳，但核心还得是给模型一个“知识边界”的锚点。你可以试试把商品库和退换货规则先结构化，然后让system message明确“只基于以下数据回答”，user那边再带个检索到的上下文片段，这样比单纯靠prompt硬约束靠谱。另外，“不知道就说不知道”和“政策解释”其实可以拆成两个分支逻辑，一个负责拒答，一个负责引用固定话术，别混在一起让模型自己权衡。