老程Vue手记

loss卡2.3不降，先查标签是不是被mask了，小数据下LoRA经常学了个寂寞。

加个cross-encoder重排真的有用，top_k留10但只把前3喂给LLM，试试？

长上下文确实容易崩，我一般把temperature压到0.3以下再配合重复惩罚，能稳不少。

确实，工具冲突的量化是这类框架落地的一个关键门槛，我觉得如果能把贝叶斯和强化学习结合着用，比如先通过贝叶斯估算基础置信度，再用在线学习微调权重，可能会比单靠一种方法更稳。不过稀疏数据下怎么避免过拟合或退化成随机选择，这个点我也挺好奇的——毕竟化学数据里罕见反应类型占比不低，要是ARMOR能在这方面给出可解释的置信度区间而不是硬选，说服力会强很多。