用Prompt调大模型做摘要，加例子反而变差了，是我写法有问题吗？

这事儿我太有同感了，few-shot真不是无脑加就有效的。我怀疑问题不在例子数量，而在你选的示例和“新文档”在语义结构上差太远，模型容易把示例当模板硬套，甚至把示例里的实体词当成“高频先验”给混进去。你试试换一个思路，把示例改成“反例”——比如给一个“摘要太散、包含原文无关细节”的坏例子，再配一个“紧扣主题、过滤次要信息”的好例子，对比之下模型反而更容易理解你要的边界。另外，控制指令里明确写“只基于当前文档内容，不得引用示例中的事实或数据”，这句话比再加十个例子都管用。还有个小技巧：把示例放在系统提示词里，而不是用户消息末尾，顺序对注意力分配影响挺大的。我最近做长文档摘要也踩过这个坑，最后是缩减到1个高质量示例，加上“必须输出三段式：背景-核心结论-关键数据”这种结构约束，效果才稳下来。你可以试试把例子删掉，改用“先列出原文所有小标题，再逐段压缩，最后合并”这种过程引导，说不定比示例更可控。

few-shot例子太贴题反而会带偏，试试放不相关领域的示例，或者干脆改回zero-shot加条“禁止引用原文”的约束。

同感，few-shot在摘要上真容易带偏，试试把例子放最后并明确标注“仅供参考”。

八成是例子干扰了指令权重，可以加一句“严格基于原文”再试试。

我之前也踩过这个坑，few-shot在摘要任务上确实容易带偏，尤其例子里的实体和数字，模型会不自觉“借鉴”进去。后来我把示例改成那种信息密度低、结构很一般的，反而稳定多了。还有就是我会在Prompt末尾加一句“严格基于给定文本，不得引用示例中的内容”，会好不少。你可以先试试把例子删了，换成在指令里强调“聚焦核心论点、忽略细节”这种更具体的约束，说不定比加例子管用。

few-shot不是越多越好，你这情况更像是例子把模型带偏了，它分不清是在模仿格式还是提取内容。我试过把示例改成明显不同领域的内容，反而效果好很多，你可以试试例子别太贴合目标文档。另外加一句“仅参考格式，勿引用示例内容”这种硬性约束，管用。

遇到一模一样的情况，当时我加few-shot做摘要也是越搞越糟，后来发现问题出在示例的“信息密度”上。你选的例子如果本身包含特定实体或数据，模型很容易把那种“句式骨架”错当成模板，混进新内容里。我的经验是，少用完整长示例，改成给“反例”或者“负样本”，比如告诉它“不要逐句复述，不要保留数字细节”，反而比正向示例管用得多。另外，我觉得顺序也有影响，把示例放在指令最前面，模型会把示例当背景，放在最后又容易让它过度关注，我最后是放在中间，前面用一句“参考以下风格，但严格基于新文本”做隔离。还有个小技巧，在prompt里明确加一句“忽略示例中的事实性信息，仅提取其结构”，效果会好很多。你试过把例子压缩到一句话以内吗？比如只给一个极简的“原文：... → 摘要：...”对比，而不是完整段落，我感觉模型对短示例的模仿倾向会弱一些。

说实话我也踩过这个坑，few-shot真不是无脑加就行的。你提到“例子太有代表性”这点我特别有共鸣，我试过给模型看两篇超标准的金融摘要，结果它后面处理科技类文档时，硬是把“营收增长”这种词塞进去，简直离谱。后来我琢磨着，可能不是例子数量的问题，而是例子本身得跟目标文档“同域”，你拿法律文书去教它写医疗摘要，它当然会跑偏。另外我怀疑你Prompt里是不是少了“忽略示例中的领域信息，只学习结构”这种约束，有时候得明确告诉它“例子仅供格式参考，内容必须基于输入文本”。还有个更土但有效的办法，就是把例子放在指令之后、正文之前，并且每个例子后面加一句“注意：以上为示例，请勿引用其具体事实”——这招对我至少管用了一半。你试试把例子减到一组，或者干脆换成一个“反例”（比如展示一段很散的摘要），说不定模型反而更懂你想要什么。最后想问下，你长文档是分段喂的还是一股脑全塞？我觉得输入长度对摘要聚焦度影响也挺大的。

说实话你这情况我太熟了，few-shot在摘要任务上翻车概率真不低，尤其长文档。我猜问题不在例子数量，而是你选的示例跟目标文档在结构、术语甚至篇幅上差异太大，模型容易把示例当成“格式模板”硬套，反而牺牲了内容相关性。我之前试过把例子放在指令后面，但明确加一句“示例仅供参考，请严格基于输入文本生成摘要”，效果会稳定很多。另外你可以试试把示例砍成一组，或者干脆换零样本，但把指令细化成“提取核心论点、忽略细节数据、按起因-经过-结论组织”，比给例子更管用。还有个骚操作，就是让模型先输出“关键事实列表”再让它基于列表写摘要，相当于中间加一道闸，能防止它乱串信息。你检查下是不是Prompt里“200字”和示例长度差距太大，模型可能按示例比例缩放字数了。最后，如果文档领域很垂直，建议用检索到的真实段落做例子，别自己编，不然模型会学走样。

few-shot对长摘要反而容易带偏，试试加“只依据原文，禁止引用示例内容”这类约束。

我之前也踩过这个坑，后来发现few-shot不是越多越好，尤其摘要这种任务，例子里的信息太具体反而会误导模型去“套模板”。你可以试试把示例放在指令后面，但明确加一句“仅参考格式，不要提取示例中的事实”，或者干脆只保留一个例子，再加一个反例（比如不聚焦的摘要长啥样）。另外，把“200字”改成“不超过200字，保留所有关键数据”这种硬性约束，效果往往比堆例子稳定。

说实话你这情况我太熟了，之前做会议纪要摘要也栽在few-shot上。后来我仔细对比了一下，发现问题可能不在例子数量，而在于你给的“原文-摘要”对里的原文太短、摘要太规整，模型会把它当成一种格式模板去强行套，反而忽略了长文档里那些需要跳读的冗余信息。我当时是把示例改成了跟目标文档长度差不多的片段，然后每个例子后面加一句“注意：只提取与主题强相关的核心事实，忽略背景铺垫”，效果立刻稳了。另外你可以试试把例子放在指令后面、正文前面，中间用分隔符隔开，这样模型更容易区分“这是示例”和“这是要处理的内容”。还有个偏方，如果你觉得模型老混入示例信息，就在提示词末尾加一句“禁止引用示例中的任何实体或数字”，多少能拉回来一点。反正多试几组排列组合吧，这玩意儿真没有标准答案，有时候少即是多，直接零样本加一个负面约束（比如“不要总结例子里的内容”）反而更干净。

这题我见过，加例子确实容易翻车，尤其是摘要这种任务，模型很容易把示例里的句式甚至实体带进去。你可以试试把例子放在指令后面，但明确加一句“示例仅用于参考格式，禁止引用任何示例中的具体信息”，同时把示例数量减到1个，选那种结构典型但内容完全无关的。另外，长文档摘要建议分段喂，不然模型注意力容易分散在无关细节上。

我之前也踩过这个坑，few-shot不是越多越好，尤其是摘要这种任务，例子里的实体和句式很容易被模型“抄”进去。你可以试试把例子放在指令后面，再加一句“仅参考格式，忽略内容”，或者干脆换成强制约束输出的结构提示（比如用XML标签框住要点）。另外，两个例子可能不够，要么加到5个以上形成稳定模式，要么就回到zero-shot但把“聚焦点”写得更具体，比如“重点概括第三段的数据结论”。

可能是示例里的摘要风格太强，模型学歪了，试试把例子放后面或者只留一个。

few-shot对摘要任务确实容易带偏，建议加一句“严格基于原文内容”试试。

大概率是示例干扰了任务重心，试试在prompt里明确“仅参考格式，禁止引用示例内容”。

例子别太“完美”，模型容易照猫画虎，试试把示例换成跟目标文档风格差异大的。

我之前也踩过这个坑，few-shot真不是随便加就行的，尤其长文档摘要这种任务，模型特别容易把示例里的词句当成“正确答案”来模仿。后来我改成把示例放在指令后面，并且明确加一句“仅参考示例的格式，不要引用具体内容”，情况好很多。另外你可以试试只给一个例子，但选一个和当前文档结构差异大点的，反而能逼模型学会抽象概括。还有个小技巧，把“200字”改成“不超过200字，分三段输出”，约束感会强很多。

说实话你这个现象我太有同感了，few-shot真不是无脑加就有效的，尤其是摘要这种对“信息筛选”要求高的任务，模型很容易把你示例里的句式甚至实体词当成模板来套，结果就是内容串味。我怀疑问题不全在例子数量，你选的示例如果都来自相近领域或结构特别规整，模型会误以为那是硬性格式，反而忽略了原文本身的重点。我之前试过把示例放在指令后面、紧挨着用户输入，结果比放在最前面好一点，但最关键的还是得在prompt里明确写一句“示例仅供参考，必须严格基于当前文本生成”。另外你还可以试试把示例改成“坏例子+好例子”的对比，比如故意给一个“摘要漏掉了核心结论”的坏输出，再给一个正确的，模型对边界的理解会清晰很多。反正我后来做长文档摘要基本都退回zero-shot了，顶多加一个“按三段式结构输出”这种结构约束，比啥例子都稳。你也别太纠结写法，说不定就是GPT-4对长上下文里示例的注意力分配问题，换个模型或者分批摘要说不定就正常了。

few-shot对长摘要真不如zero-shot稳，试试把例子放最后再加个“严格按新文档内容输出”的约束。

我之前也踩过这个坑，few-shot真不是越多越好，尤其摘要任务里示例的表述风格很容易被模型当成模板硬套。后来我改成只给一个反例（比如“不要把示例里的数据带进来”），再加一句“严格基于当前文本”就稳多了。你可以试试把例子放在指令后面，但明确标注“这些仅作格式参考，内容无关”，或者干脆换零样本+强调关键词的写法，效果可能更可控。