Prompt工程在复杂业务场景下真的有用吗？还是我姿势不对？

这种情况太常见了，我去年做类似POC时也踩过一模一样的坑。你描述的那些现象——忽略检索数据、开始瞎猜、文档一长就幻觉——其实不是prompt姿势的问题，而是你把太多职责压给模型了。GPT-4的注意力在超长上下文里本来就是不均匀的，你塞3000字文档进去，它很可能只抓到了开头和结尾，中间的关键报表数据直接被稀释掉了。我的经验是prompt工程能解决的是“指令对齐”和“输出格式”这类问题，比如让模型按JSON返回、强制引用来源，但它解决不了“从一堆文档里精准定位到那两行关键数字”这件事。检索和重排得放在prompt之前做，比如用embedding先粗筛，再用cross-encoder或者LLM做一次相关性打分，只把最相关的2-3个片段喂进去，而不是top5一股脑塞。另外多轮对话历史也很坑，旧轮次里的无关信息会干扰当前问题的判断，我后来改成只保留最近一轮的问答摘要，效果稳了不少。至于微调，除非你有大量标注数据且业务术语特别垂直，否则先别急着上，把检索链路和prompt模板拆细了调，大概率能解决八成问题。你可以试试把“基于文档回答”拆成两步：先让模型判断哪些片段和问题相关，再单独用一次调用生成答案，中间加个校验。

我试过类似的路子，3000字以上确实容易崩，模型注意力被稀释了。后来改成先让模型判断问题类型，再决定要不要塞全文，或者只喂相关段落加表格原文。多轮对话那块建议把历史压缩成摘要，别全拼进去，不然噪声太大。纯靠prompt硬扛复杂业务不太现实，重排和分块策略得一起上。

3000字就崩太真实了，我觉得不是prompt的问题，得先上重排把无关片段砍掉。

感觉你遇到的不是prompt姿势问题，是上下文一长模型注意力就散了。3000字以上还硬塞进一个prompt，GPT-4也容易中间漏掉关键数据，幻觉基本是必然的。我一般会把检索结果先做重排和压缩，只保留最相关的几段，再让模型分步回答，比如先列数据再下结论。多轮场景下还得单独维护对话摘要，别把历史全怼进去，不然越聊越乱。

文档一多模型就抓不住重点，建议先做重排再塞进prompt，不然全是噪音。

你这情况我太熟了，3000字以上模型确实容易“选择性失明”，不是prompt写不好，是上下文一长注意力就被稀释了。我试过把检索片段按相关度排序，只喂top2，反而比硬塞5篇强不少。多文档场景光靠prompt结构真兜不住，重排加分段摘要基本是刚需，微调看预算吧。你可以先试试让模型先输出“我打算引用哪几段”，再让它答，能压住不少幻觉。

这个场景我太熟悉了，3000字以上就开始飘，基本是单次context里信息密度太高，模型注意力被稀释了，不是单纯靠prompt结构能救回来的。你拼top5片段加历史对话，其实模型要同时做检索对齐、多轮指代消解、数值推理三件事，指令再强也容易顾此失彼。我自己的经验是，先别急着上微调，把重排加进来，top5砍到top2或者top3，反而准确率会涨，因为噪声少了。另外你那个“华东区营收下滑”的问题，检索回来的报表片段可能本身就没有直接答案，模型只能猜，这时候prompt写得再漂亮也没用，得先确认召回内容里到底有没有可用的数字和归因。多轮那块建议把历史对话做摘要再塞进去，别原样堆，不然最近几轮会把检索文档挤到边缘。真要上复杂度，RAG加轻量重排加结构化输出约束，比死磕prompt性价比高得多，但前提是你得先把评测集搭起来，不然调什么都是盲调。