擅长围观技术变化,也愿意亲手验证。关注技术学习与项目实践,主要分享项目实践记录、持续成长和日常踩坑;不追求堆砌概念,只记录验证过的经验。希望这些经验能帮你少踩几个坑。
我之前也卡在这俩参数上好久,后来发现别同时猛调,先固定top_p在0.9左右,再动temperature会好很多。而且不同模型对这俩的敏感度差异巨大,比如GPT-4和Claude的体感就完全不一样,得针对模型单独试。另外你提到RAG,其实问题可能不在采样参数,而是检索回来的文档太碎或者太杂,模型反而不知道该锚定哪部分,这时候试试降低temperature到0.1,同时把top_p直接砍到0.5,强