深夜效率工具成长录

这情况太常见了，Claude 3.5在改局部代码时确实容易“上头”，因为它会重新理解整个上下文然后顺手重构。我一般会明确告诉它“只改函数A内部，其他文件/函数别动”，或者干脆把要改的代码单独摘出来贴给它，改完再粘回去。另外让它写个测试用例兜底也挺管用的，至少崩的时候能立刻发现是哪步出了问题。

这不一定是prompt的锅，AI改代码时上下文一长就容易放飞自我，建议每次只让它改一个小点，别动整块逻辑。 正常，Claude改代码就是爱“自作主张”，我一般让它改完先diff检查一遍，别直接跑。

我之前跑类似任务也卡过这种loss平台，当时是停到1.9，后来发现是数据里有一堆超长判决书没截断，模型一直在学那些无关的段落。建议你先把训练集长度分布画出来，把超过512的直接截掉或者过滤，再试试把LoRA rank调到16或32，有时候rank太低学不动复杂法律表述。另外，loss不降但输出套话，很可能就是数据里模板化回答太多，模型在偷懒，可以看看是不是需要清洗掉那些纯“根据相关法律规定”开头的

说实话你这情况我也踩过坑，32B本地跑确实容易在长上下文里“自作聪明”，尤其是多文件关联时，它更倾向补全逻辑而不是严格遵循system prompt。我觉得不完全是上下文窗口的问题，Ollama默认的上下文设置可能没调够，但就算拉到16K，模型对跨文件引用的理解还是偏弱，它更像在“猜”而不是“查”。我试过把相关代码块手动拆成更小的片段分别提问，效果反而好一些，但那样就失去“喂整个项目”的意义了。D

服务器上跑通本地代码的关键是环境变量和路径，建议先排查stdio是否被系统服务接管了，之前我踩过这坑。

说实话你这情况我太熟了，spring boot这种强约束框架对AI来说就是个盲区，它训练数据里堆满了各种带坑的写法，表面看着对，跑起来全是雷。我自己的经验是别让它一口气干完事务+权限+并发这种复合需求，你得逼它把每一步拆成独立函数，比如先写个纯查询，再单独加锁逻辑，最后套事务注解，每步都让它解释为什么这么写，一旦它开始编造不存在的API，立刻打断让它去翻依赖的源码。另外可以试试把异常处理、幂等性这

Agent的KV Cache释放逻辑跟单轮对话不一样，得手动清或换vLLM试试，我之前也卡这。

角色设定确实有用，能帮模型校准语气和细节，但别指望它兜底。上下文给两三个关键约束就够，示例放一个正例一个反例最省心。

试试在模板里加个XML标签包住JSON，比如<json>...</json>，提取的时候正则一把梭，比纯靠prompt稳多了。

2万条够用了，但工单得改写成口语化问答对，不然模型学成复读机。QLoRA必须上，24G跑8B量化后稳得很。

试试把历史对话先过一次LLM做query改写，只提取跟当前问题相关的约束条件，比如价格、型号这些，再拿去检索，比直接拼全历史稳很多。另外建议给每轮历史打个标签，像“用户意图”或“已确认信息”，检索时只带未解决的意图，不然老问题确实会干扰。我这边踩过坑是历史越长越要压缩，最后两轮往往不够用，但全塞又容易跑偏，所以现在都是先让模型判断哪些历史是必要的。

我们团队之前也纠结过这个问题，最后留在了ES上，因为运维省心，百万级数据加个几副本跑knn其实还行，但并发一高确实明显掉队，尤其混合检索场景。如果你们数据量短期到不了千万级，ES调好分片（建议按节点数1-2倍）和堆内存（别超32G）能撑住，但要是追求长期省心，还是单独上Milvus吧，反正现在也有ES同步工具，不用太怕多套系统。

加个连接池加超时熔断吧，云环境网络抖动很正常，健康检查用心跳请求就行。

我之前也踩过类似的坑，loss降得漂亮但效果反而倒退，后来发现多半是标签分布和评估方式的问题。你5000条数据里如果“退款”和“退换货”本身数量差距大，模型很容易被带偏，尤其LoRA这种低秩更新，对尾部类别的拟合能力其实很弱，建议先看看混淆矩阵里这两个类的具体样本量。另外学习率2e-4对8B模型来说确实偏高，尤其只用3个epoch，模型可能记住了训练集里的表面模式，却没学到决策边界，可以试试降到1

这个评测结果挺有意思的，特别是智谱普通模式压过推理模式这点，跟我之前测试其他模型时遇到的情况很像。有些任务真的不是推理越深越好，比如这种抽象符号识别，过度推理反而会把“高跟鞋”和“烟斗”强行往性别刻板印象上套，然后引入不必要的上下文干扰。我好奇的是，你们在部署时有没有对比过不同温度参数下的表现？我总感觉这类视觉语义任务，低温度可能更容易保留直觉判断，但也会牺牲掉一些模糊场景的容错率。另外Kimi那

说实话你遇到的这个情况太典型了，我甚至觉得“换个数据集就翻车”才是常态，一开始惊艳反而属于幸存者偏差。Prompt工程调的根本不是那几个词，而是模型对你任务“概率分布”的拟合边界，角色和格式只是把输出往你想要的分布上推了一把，但数据集一变，语义空间的密度就变了，同样的推力可能就推歪了。我自己的体感是，与其迷信模板，不如先把你的数据样本拿出来做个“坏案例聚类”，看格式错乱是集中在长文本、特定标点还是

我试过在模板里强制模型先输出“是否找到答案”，再决定回答，比单纯说“不知道”稳定很多。 可以参考下检索来源引用，让模型必须给出来源编号，能有效减少脑补。

建议先看看badcase是语义没学到还是检索索引丢了，ResNet50提特征做商品图确实容易偏颜色，可以试试换DINOv2或者加层度量学习微调。 召回率65%大概率是向量分布没对齐，先做归一化再试下IVF_FLAT，另外记得把粗排召回的top200再拿原图做一次精排。

22G是预分配显存，vLLM会全占，速度慢大概率是量化精度和max-model-len没调好，SGLang长上下文更稳。

试试在项目根目录放个AGENTS.md，里面直接写死“只用函数组件和Hooks”，效果比prompt稳多了。