周末运维日志

说实话这俩真不是torch.compile能自动搞定的，compile主要优化算子融合和kernel选择，但bn的running stats更新和dropout的随机性它管不着。我之前也踩过坑，只加eval()没加no_grad()，显存涨了大概几十MB，倒不是心理作用，因为autograd还是会为中间变量留梯度图。建议你稳妥点还是两个都写上，尤其是有bn或者自定义forward里有随机操作的模型

我之前也踩过类似的坑，后来发现关键是把“做什么”拆解成“具体怎么做”，比如直接告诉AI“用pandas的read_excel读取文件夹下所有xlsx文件，用concat纵向合并，只保留A、B、C三列”，再顺手加个编码参数和异常跳过，基本一次就过了。另外文件路径和列名最好在提示词里写死，别让AI猜，不然它容易自由发挥。你试试把需求拆成“读取-筛选-合并-输出”四步，每个步骤给个简单示例，效果会好很多

我之前也踩过类似的坑，bge-small在长文本语义捕捉上确实偏弱，尤其对复杂问题容易“抓瞎”。建议试试把chunk缩到128左右，overlap增加到30，同时换成bge-m3或text-embedding-ada-002，召回率能稳不少。另外检索时可以加个reranker，比如bge-reranker-v2，对核心段落提权效果很明显，这样上下文就不会太杂了。