最近在调一个多步骤的推理任务,Prompt里给了明确的背景、约束条件和几个示例,但发现模型经常“选择性失明”——开头和结尾的信息都能遵循,唯独中段要求(比如某个格式限制或中间步骤)总被跳过。试过换顺序、加粗、甚至重复强调,效果不稳定。也试过把任务拆成多轮,但业务场景需要一次生成。想问问大家,这种“中间信息丢失”是注意力机制的固有问题吗?有没有工程上的trick能缓解?还是说只能靠few-shot硬带?求经验分享,谢谢。