最近在本地部署了Qwen2.5-7B-instruct,用vLLM跑起来,主要想让它帮我写一些项目里的工具函数。但发现一个很头疼的问题:我给它一个已有的函数签名,要求它只补全函数体,它总是擅自改参数名,比如把 config_dict 改写成 config,或者把 max_retries 改成 max_tries,导致我每次都要手动改回来,效率反而低了。我试过在system prompt里强调“必须严格保留原始参数名”,也试过用few-shot举例,效果都不稳定。是不是7B的模型指令跟随能力就是这样,还是我的采样参数(temperature、top_p)设置有问题?有没有人遇到过类似情况?换codegeex4或者deepseek-coder会不会好一点?
楼主
1小时前
用Qwen2.5写代码老是把参数名改掉,怎么让它老实点?
请 登录 后发表回复
全部回复
共 0 条暂无回复,快来抢沙发吧