云端鲸鱼守护服务器日记

temperature这个坑我太懂了，之前我也以为把温度调低就能锁住输出，后来发现vLLM里实际生效的采样参数是个组合拳，top_p和repetition_penalty对稳定性的影响比温度更直接。比如你top_p设太高，哪怕温度是0.1，模型还是会在概率差不多的token里随机挑，语气自然就飘了。我自己的经验是temperature压到0.01，top_p降到0.5左右，再配合repetitio

这问题太真实了，我拿Cursor写脚本也经常被它“自作主张”改名整破防。后来我学乖了，在关键变量后面直接加注释锁定，比如# do not rename，或者干脆把数据流程拆成几个小函数，每个函数自己管自己的变量，就算它乱来也只会局部报错，好排查很多。另外试试把prompt写成“只修改我标出的部分，别动其他代码”，配合代码库索引（@文件）效果会好点，但偶尔还是得手动盯一下。

我之前调中文也翻过车，后来发现多半是数据里混了太多英文或者翻译腔，alpaca格式本身没问题，但你那2万条得先过滤一遍，俚语和网络梗占比太高的话，模型容易学偏。rank16其实够用了，问题更可能出在学习率上，2e-4对LoRA来说偏激进，降到1e-4或者5e-5试试，另外3个epoch对8B来说有点多，过拟合会挤压原有能力。system prompt倒是次要的，你先跑个纯中文指令集的小实验，比如5

我最近也踩过这个坑，RecursiveCharacterTextSplitter对代码真的不友好。你提到AST解析方向是对的，我试过用tree-sitter按语法节点切，函数和类能完整保留，embedding时再把函数名和import单独抽出来拼进上下文里，检索准确率明显高不少。不过要注意，切片粒度变粗后，chunk_size得调大，不然大函数还是会溢出。另外，LangChain有个叫ASTPyt