写Agent指令时，Prompt里放太多示例反而变笨了，这是为啥？

同感，之前做意图识别也遇到过类似情况。我后来把示例压到5个以内，而且刻意选了边界模糊的例子，反而模型泛化能力更强了。个人感觉不是数量问题，而是示例之间的张力和冲突会影响判断，特别是你那些带错误回复的示例，模型可能学的是“怎么模仿”而不是“怎么判断”。可以试试只留最典型的正例，把错误分支写在规则里而不是对话里。

另外我有个猜测，会不会是System Prompt长度太长导致注意力被稀释了？毕竟20多个示例占了不少token，模型可能更关注离得近的内容，前面的反而成了噪音。你可以做个AB测试，同一批任务，对比长prompt和短prompt的表现，数据说话最靠谱。

示例给多了模型容易偷懒走捷径，但根本还是得挑那种覆盖关键边界的高质量例子，少而精才管用。

示例越多越容易把模型带偏，它反而懒得自己判断了。留几个最典型的就够了，关键是让模型理解意图而不是背模板。

其实你这个现象挺典型的，我自己试下来感觉few-shot不是越多越好，它更像是个“锚点”而不是“字典”。你塞20多个例子，模型会不自觉地把它们当成一种隐性的先验分布，觉得你希望它“模仿”这些对话的形态，反而忽略了真正该做的推理。我之前做意图识别也踩过坑，例子一多，模型开始强行把新问题归类到最近的示例里，哪怕语义上完全不对，去掉大部分后它反而能更自由地调用自己的知识。

另外我觉得你提到的“示例质量”确实是个关键变量，但更准确地说应该是“示例的独立性”。如果那20多个例子在句式、语气、甚至是用户问法上都很相似，比如全是“我订单没收到”之类的，那模型就会过度拟合这种表面模式。我现在的经验是，保持5到8个高质量示例，每个例子之间在对话结构上要有明显差异，比如一个简短询问、一个多轮纠错、一个带情绪化的，这样模型能提取出“策略”而不是“模板”。

至于你说的“框死”感，我觉得还有个隐藏因素是你的System Prompt本身已经给了很多指令，示例和指令在抢夺模型的注意力。你可以试试把示例压缩成极简的对话流程描述，或者干脆用自然语言总结一下每个场景的核心决策点，而不是把完整对话贴进去。这样模型既有了方向，又保留了推理空间，准确率可能还会再涨一截。

少而精的示例确实更管用，我之前把8个核心场景换成3个典型对话，效果立竿见影。

我之前也踩过这个坑，少样本提示不是越多越好，关键看示例的“代表性”而不是“数量”。你塞20多个具体场景，模型容易把它们当成硬规则去套，反而忽略了泛化推理。我的经验是挑3-5个覆盖不同难度的典型case，每个case之间差异要大，最好再标注一下“为什么这么回”。另外你提到的质量问题很关键，如果示例里有隐性的错误回复模式，模型会当成正确答案学走。你可以试试只留最核心的那几个，再观察下它在边缘case上的表现，应该会有惊喜。

示例本质是锚点，太多了模型光顾着对标你的例子，反而懒得自己推理了。留三五个典型就够。

我之前也踩过类似的坑，20个示例塞进去模型确实会开始“猜”你想让它模仿哪个，而不是去理解用户意图。感觉示例的作用更像是给个方向，而不是让它照着背，尤其GPT-4o这种指令遵循能力强的，少而精反而能逼它自己推理。我现在的做法是保留两个覆盖最典型场景的完整对话，剩下的只写关键转折点或者错误纠正，效果会好很多。另外可以观察下是不是示例里有些隐含的偏见，比如语气词或者特定句式，模型会当成硬性规则去套。

这现象我太有同感了，之前调一个分类Agent也是，塞了二十来个例子进去，结果它连那种明显属于“其他”的输入都要硬套某个案例的格式。后来我把例子砍到5个，而且故意选那种边界模糊的，反而分类准多了。我觉得核心问题不是数量，而是示例的“代表性”和“互斥性”——你那些例子如果场景重叠度高，模型就会把它们当成一个“平均模板”来用，而不是理解成独立决策点。另外，GPT-4o这种模型本身指令遵循能力很强，你给太多具体对话，它会默认你希望它“模仿”而不是“推理”，这是很微妙的偏差。我的经验法是：每个意图最多2个示例，一个典型，一个反例，然后明确告诉它“这些只是格式参考，不是唯一答案”。还有个坑是，示例里的错误回复如果没标注，模型会当成正确答案学进去，你检查下是不是有这种隐性污染。最后建议你做个简单实验：固定示例数量，只改分布，比如从“集中在前半段”改成“穿插在指令不同位置”，有时候效果差异也很大。

这题我踩过类似的坑。Few-shot的本质是给模型一个“先验分布”，但20多个例子会把分布拉得太集中，它其实是在做模式匹配而不是推理，所以简单问题反而容易套进错误模板里。我现在的经验是，示例控制在5-8个，而且故意混入一些边界case和反例，让模型自己学会区分。另外，示例的排序也有影响，把最典型的放前面，后面的放一些变体，效果比均匀排列好。你可以试试把那些“错误回复”专门拎出来当负面示例，明确标注不要这么干，可能比单纯删减更有效。

这现象我遇到过，感觉不是示例多少的问题，而是示例的“代表性”太差。你塞20个具体场景，模型容易把它们当模板硬套，反而忽略了用户提问的细微差别。我后来改成只放3-5个典型但差异大的例子，再明确标注“这些只是参考，不是唯一答案”，效果立刻好了。另外你可以试试把示例按难度分层，简单问题不给例子，让模型自己推理，复杂问题再给。

这现象太真实了，我调Agent时也踩过这坑。示例本质上是给模型画了个“局部最优解”的框，塞太多太具体的对话，它反而会把你的示例当成金科玉律，遇到没覆盖到的边界情况就开始硬套模板。我现在一般控制在5-8个高质量示例，覆盖典型成功案例+1个典型错误案例，并且明确标注“这些只是风格参考，不是唯一答案”。你可以试试把示例里的角色语气抽出来写成规则，再把具体场景删掉，效果可能比堆量好很多。

这现象太真实了，我拿few-shot调分类任务时也踩过坑。示例多到一定程度，模型会去硬匹配“长得像”的输入，而不是泛化理解意图，尤其当你那些示例里藏着隐含的偏见或错误模式时，它反而学会了“抄作业”。我后来习惯先给3-5个覆盖核心边界的例子，再补一句明确规则，效果比堆20个强得多。你可以试试把示例按“易混点”分组，每组只留最典型的一个，看准确率会不会再升一截。

这现象我也踩过坑，之前做意图识别的时候试过塞二十几个few-shot，结果模型在边界case上疯狂摇摆，后来砍到五六个，反而稳了。我个人感觉问题不只是数量，更关键的是示例之间的“冲突度”——如果你那些示例里包含相似但答案不同的场景，模型就会试图去“拟合”一个折中逻辑，结果把原本清晰的决策边界搞糊了。另一个角度是，GPT-4o这类模型本身在System Prompt里对指令的遵循度，远高于对示例的模仿力，你给太多具体对话，它反而会误以为你在要求它“复刻”那种语气和结构，而不是去理解任务本质。我现在的做法是只放三个极端案例，一个最典型的，一个最容易混淆的，一个最不该犯的错，其他全用规则描述。另外你提到示例质量，我觉得场景太具体确实是个坑，比如你写“客户说退款”，模型就惦记着退款，换个说法“我要投诉”它可能就懵了，所以示例得覆盖抽象意图而不是表面话术。要不你试试把示例从对话改成“输入意图+正确动作”的简短映射，效果可能比长对话还好。最后想问下，你那些示例是人工挑的，还是随机从历史数据里抽的？因为抽样偏差有时候比数量更致命。

这现象太常见了，few-shot虽然能引导格式，但示例一旦多起来，模型容易把示例当“标准答案”去硬匹配，反而牺牲了泛化能力。我自己的经验是，示例挑3-5个覆盖最典型、最易错的场景就够了，关键是让模型理解规则而不是背对话。另外你那些示例本身可能太“完美”了，带点小瑕疵或者让模型主动反问的案例，反而能激发它推理。可以试着把示例从“对话脚本”改成“决策树”，告诉它先判断意图再选回复路径，效果会好很多。

这题我踩过类似的坑，感觉核心不是示例数量，而是示例的“代表性”问题。你塞20个太具体的场景，模型容易把它们当成硬规则去匹配，反而忽略了泛化能力，尤其是当新query和示例表面相似但意图不同时，它就会硬套。我现在的经验是，每个意图类型只放1-2个最能体现边界的正反例，重点是让模型理解“什么不该做”，而不是把所有情况都喂给它。另外可以试试把示例从system prompt挪到few-shot的user turn里，让模型更明确这是参考而非指令，效果会有差别。

这题我踩过差不多的坑，后来发现few-shot示例更像是“锚点”而不是“模板”，放太多等于给模型画了个圈，它自然懒得自己推理了。我现在的做法是只保留2-3个最典型的正例和1个反例，覆盖核心边界就行。另外你提到的示例质量问题也很关键，如果场景太具体，模型很容易把表面措辞当成规律，建议把示例抽象成“用户意图-关键信息-回复策略”的结构，而不是整段对话。可以试试先让模型自己对示例做泛化，再微调，效果会好不少。

少而精的示例就是给模型画个方向，多了反而成了枷锁，我一般就留三五个最典型的。

这情况我也踩过坑，few-shot不是越多越好，关键是示例的分布要均匀，别让某类场景在数量上压倒其他。你20多个例子可能让模型学会了“抄作业”，而不是理解规则，尤其是客服场景里那些长尾问题，示例一多它反而容易抓住表面特征硬套。我的经验是每个意图给2-3个高质量的典型例子就够，复杂场景单独写规则，别全堆在prompt里。另外你提到示例质量，确实得检查下是不是有些例子本身就带误导性，比如包含情绪化回复或者不完整的解决路径。

我之前也踩过这个坑，Few-shot不是越多越好，关键是示例之间的“正交性”。20个场景如果彼此有重叠，模型会把共性的错误当成规律，反而压制了它自己推理的路径。我现在的做法是每个典型意图只留1-2个极端案例，剩下的靠规则兜底，实测确实稳不少。另外你检查下示例里有没有隐含的语言模式，比如固定话术开头，模型会去模仿那个“壳”，而不是理解意图。