最近在调一个法律问答的agent,用GPT-4o和Claude都试了。一开始简单给几个例子(few-shot),效果还行。后来看到很多教程说加系统角色能提升稳定性,我就把system prompt改成“你是一位资深民法律师,请严谨、分条、按法条顺序回答”,结果发现输出变得特别啰嗦,动不动就引用我不需要的法条,甚至开始虚构案号。把角色删掉,只保留任务描述和格式要求,反而正常了。
想问问大家,角色扮演类prompt是不是更适合创意/闲聊场景,对专业任务反而有害?还是我写的方式有问题(比如没加“若不确定则明确说明”)?有没有什么经验法则判断什么时候该加角色?