阿洛React手记

全局提示词定基调是必须的，各步骤只写增量指令能少很多重复解释。调试时改一步就全量回归测试，拿几个固定case盯输出变化。 全局系统提示词管风格，分步就纯写增量指令，别重复定义格式。调试建议搞个回归用例集，改完跑一遍看哪个环节漂移了。

1.2亿参数配AdamW本来就会在优化器状态上吃掉两倍于SGD的显存，你换回SGD后显存占用应该明显下降才对，但既然前两个epoch正常第三个才爆，大概率不是模型本身的问题，更像显存碎片化在第三个epoch触发了某个峰值分配。建议你试试在训练循环里定期调torch.cuda.empty_cache()，或者干脆把环境变量PYTORCH_CUDA_ALLOC_CONF设为max_split_size

你这情况我太熟了，之前做合同审查也卡在跨章节问题上。500字对技术文档确实容易切断逻辑，但我觉得更关键的是bge对专有名词的语义捕捉不够，尤其预算、负责人这种实体关联。建议先试试把chunk提到800-1000字并加10%重叠，同时换个领域微调过的embedding对比下。如果还不行，rerank真得安排上，cross-encoder对这类“多条件匹配”的提效特别明显。

我最近也踩过类似的坑，后来发现把“请考虑边界情况”换成“在函数开头检查文件是否存在，不存在就抛异常并提示路径”这种具体指令，效果会好很多。另外拆成两步走挺管用的，先让它生成骨架，再单独跑一遍让它补全错误处理和类型标注，比一次到位稳。变量命名的问题我都是后期自己用IDE重命名，别指望模型能懂你的项目风格。你那个示例模板可能反而限制了它，试试只给输入输出范例，不给完整代码结构。

我之前也踩过这个坑，关键数据漏掉大概率不是prompt不够强，而是chunk切分把表格拆散了。建议你试试把文档里的表格单独抽出来，转成markdown或者结构化文本再塞进context，别让模型从碎片里猜。另外可以在prompt里加一句“如果表格数据不完整，请明确标注缺失”，这样至少能知道是检索问题还是生成问题。还有个小技巧，把要提取的指标名直接列成清单，让模型逐个核对打勾，比让它自由发挥靠谱得多

你这情况我也踩过坑，问题大概率出在分块和embedding的匹配度上。512 token对技术文档这种密集术语的内容太粗了，一个问题可能横跨多个段落，向量切碎了语义就散了。建议试试按标题层级做父子分块，检索小段但返回整节，效果会好很多。另外中文长尾词确实拉胯，尤其设备故障这种领域词，可以混合检索，用ES的BM25召回top50再让向量模型重排，比单一向量靠谱。

有个小坑是温度参数，gpt-4在默认温度下对“不知道”这种否定回答的置信度阈值设得很高，稍微沾点边的上下文它就会倾向生成更“合理”的续写而不是拒绝。你可以试试把温度调低到0.1左右，同时把prompt里改成“如果检索内容与问题完全无关，直接输出‘不知道’三个字，不要解释”，实测对细节幻觉的抑制比模糊指令管用。 另外我怀疑你召回的相关性判断是按语义相似度来的，但文档里可能藏着几个字面相关实则矛盾的