最近在搞一个法律咨询的问答项目,想让模型能先拆解案情再给结论,就试了Chain-of-Thought的思路。我一开始写了3步推理,效果还行,后来觉得是不是写得越细越好,就加到了7步,结果回答反而变乱了,甚至出现前后矛盾。比如同样一个“工伤认定”的问题,3步时还能说清楚,7步时中间步骤逻辑开始跳,最后结论也变得很奇怪。我用的都是GPT-4,温度设的0.1。有遇到过类似情况的老哥吗?到底是因为步骤多了模型容易“走神”,还是我问题本身设计有问题?求解惑,感谢。