用Prompt调优GPT-4做代码审查，效果时好时坏，求大佬指点

说实话你这个“系统1+系统2”的思路我试过，效果比单一大Prompt稳不少，建议拆成两轮：第一轮只让GPT-4列可疑点，第二轮再挑重点深挖，别指望一次输出全对。另外你那个“逐行分析”可能反而干扰它，代码审查本质是找异常不是通读，不如直接丢给它错误类型清单让它对照着查。正反例子加几个确实管用，但别太多，三五个就够，不然模型容易学偏。我自己现在就是前20行快速扫一遍，后面重点看函数边界和变量作用域，漏检率低很多。

这问题我太有同感了，GPT-4做代码审查就是薛定谔的准确率。我试过好几种写法，最后发现“角色扮演”和“逐行分析”这种指令其实会干扰它，模型容易把注意力放在“扮演”上，反而忽略了代码本身。后来我把Prompt改成“你是一个静态分析工具，请按优先级输出问题列表”，效果反而稳很多，它会把明显错误和潜在风险自动分层。你说的正反例子我试过，给两个“错误示范”和“正确示范”确实能校准它的判断尺度，但别给超过三个，不然它又会开始模仿例子里的语气而不是逻辑。“系统1+系统2”的思路我实践下来的写法是分两步：先让它“扫描所有语法错误和拼写错误，只输出问题行号”，然后再追加“针对上述问题，逐一分析可能导致的运行时行为”。不过最关键的还是温度，代码审查这块我直接设成0，任何创造性输出都是灾难。另外你要是发现它过度解读性能问题，就在Prompt里加一句“忽略非阻塞性的优化建议，只关注正确性和可维护性”，能砍掉一大半幻觉。你现在的模板有多大？我觉得超500字的话它反而容易丢失逻辑重心。

试试把“逐行分析”改成“先找3个最可疑的问题”，再给个坏例和好例对比，这样它会收敛很多。

这个方向我试过挺久，最后发现“角色扮演”和“逐行分析”这种指令其实特别容易让模型进入“表演模式”，它会把精力放在模仿资深开发者的口吻上，反而忽略了代码本身。我现在的做法是把任务拆成两轮，第一轮只让它列“事实性问题”，比如未定义变量、类型不匹配、明显的语法错误，明确告诉它不许给建议；第二轮再拿第一轮的结果加上原代码，让它只针对这些点给修改方案。这样输出稳定很多，而且“系统1”那步其实可以更狠一点，直接让GPT-4用“代码审查清单”格式输出，每个检查项只答是或否，它就没机会过度发挥了。另外正反例子我个人觉得没必要给太多，给一个“典型误报”的例子比给十个好例子管用，模型对负面约束的记忆力强得多。还有个坑是函数长度这种主观判断，你最好给它一个具体行数阈值，比如“超过50行就标记”，不然它每次的标准都不一样。你试试把Prompt里所有形容词都删掉，只留动词和数字，效果会出乎意料地稳。

建议拆成两个prompt分步走，先让它快速抓明显问题，再让第二遍深度分析，比一个模板干到底稳得多。

正反例子必须给，我试过加几个典型错误案例后，漏报和误报都少了不少，你可以试试。

这问题我太有同感了，GPT-4当审查工具确实跟抽奖似的。我觉得你模板里“逐行分析”这指令其实挺坑，它会让模型强行找茬，反而把重心放在无关痛痒的格式上。我试过给两个正例一个反例，稳定度提升明显，但关键是把“快速扫描”和“深度检查”拆成两个独立prompt，分开跑两轮，比硬塞一个“系统1+系统2”进去靠谱得多。

我觉得问题不在约束多，而是你的prompt缺少一个“分层”逻辑，GPT-4在单次输出里既要找bug又要评风格，反而容易顾此失彼。你可以试试把审查拆成两轮：第一轮只让它列可疑点，第二轮再针对每个点给修改建议，这样输出会稳定很多。另外正反例子确实有用，但放一两个就够，太多了它会模仿你的语气而不是专注代码本身。关于“系统1+系统2”，我试过类似写法，效果还行，但关键是得明确告诉它“第一遍只找明显错误，第二遍再分析逻辑和性能”，否则它还是混着来。

我之前也踩过这个坑，核心问题不是约束太多，而是你给的上下文太“空”了。光说“逐行分析”没用，模型不知道你所谓的“行”是逻辑行还是语法行，建议把代码按函数拆开喂，每个函数单独给一个审查目标，比如“只查副作用”或“只查复杂度”。正反例子必须给，而且要给“你希望它漏掉什么”的负例，比给正确范例更能校准它的判断边界。系统1加系统2的写法我试过，但更实用的做法是两轮独立对话，第一轮让它输出所有可疑点，不做判断，第二轮把可疑点列表贴回去让它按严重度排序，这样能抑制过度解读。另外有个细节，把“拼写错误”这类低级问题单独写一条指令，别和“性能问题”混在一起，混了它就会默认优先级高的任务忽略低级别的。最后提醒下，GPT-4对“资深开发者”这种人设其实敏感度不高，你换成“代码评审委员会，包含安全、性能、可读性三个角色”反而更稳定。

我之前也遇到过同样的问题，后来发现关键是别让它“逐行分析”，那个指令太容易触发它过度脑补了。我自己是拆成两轮，第一轮只查bug和逻辑错误，第二轮再说风格和命名，效果比单一大Prompt稳很多。你可以试试在模板里加一句“只报告确定的问题，不要给建议”，能压住它瞎操心的毛病。正反例子我觉得没必要给，反而容易把它带偏，让它学会“找茬”而不是“审查”。

这问题我太有同感了，GPT-4做代码审查的方差确实大得让人头疼。我自己试下来，感觉你那个“逐行分析”的指令反而容易让它陷入局部，漏掉整体逻辑上的坑。我现在的做法是拆成两轮，第一轮只让它列“可疑点清单”不做判断，第二轮再针对清单逐条解释原因和严重程度，这样输出稳很多。另外正反例子我觉得必须给，但别超过三对，否则它会过度拟合你给的案例，反而把别的正常写法都当问题。关于“系统1+系统2”，我试过在Prompt里写“先用30秒快速扫描明显错误，再用10分钟深度检查逻辑”，效果有点用，但不稳定，可能跟模型对时间概念的理解有关。还有个细节，你让它“扮演资深开发者”可能太泛了，不如直接说“你在Code Review会议上，必须给出修改优先级P0/P1/P2”，这样它的输出会更结构化。最后想问下，你那个拼写错误漏掉的情况，是不是代码本身比较长？我发现在超过150行的文件里，它漏检率会明显上升，可能得限制单次审查的代码量。

我个人试下来，把“逐行分析”这种要求去掉反而稳一些，因为GPT-4一被逼着逐行看就容易瞎找茬。你不如把模板拆成两轮，第一轮只让它挑明显的语法和命名问题，第二轮再让它从设计层面提建议，每轮限定输出条数，别让它自由发挥。另外给正反例子确实管用，哪怕只给一个坏例子加一个改好的结果，它就能明白你要的粒度。还有个土办法，就是让它先自己跑一遍代码，再让它以“刚接手这个项目的人”视角看，漏检率会低不少。

这个“系统1+系统2”的思路我觉得方向是对的，但别指望一个Prompt能同时干两件事。我试过把审查拆成两轮，第一轮只让它列事实性发现（比如语法、未定义变量），第二轮再让它谈设计问题，效果比一次性“逐行分析”稳定很多。你那个“扮演资深开发者”的问题在于它太泛了，模型会自己脑补一个风格，反而容易飘。建议把角色改成“一个只关注PEP8和可读性的保守派审查员”，限定它的判断维度，能有效减少过度解读。另外正反例子一定要给，我通常是放一个“好代码”和一个“坏代码”的对比片段，顺便标注出期望的输出格式，这比单纯加约束管用。还有个坑是函数长度这种主观标准，你最好明确定义“超过50行就提示”，不然它每次的判断阈值都不一样。至于漏拼写错误，我怀疑是温度参数太高了，代码审查这种任务我一般降到0.2，不然它总想“创造”。你试试把审查目标拆成“先找客观错误，再聊优化建议”两个独立请求，中间用分隔符隔开，让模型先完成第一个任务再进入第二个，别让它一次性从头扫到尾。

这问题我太有同感了，GPT-4审代码就跟抽卡似的。你试试把Prompt拆成两轮，第一轮只让它列“可疑点清单”别下结论，第二轮再针对清单逐条深挖，这样能避免它过度脑补。正反例子真得给，我塞了三个常见坏味道和对应的好改法，稳定性明显上来了。还有个偏方，让它先输出“这段代码我理解的逻辑是XX”，再开始审，能逼它先建立上下文，漏检率会低很多。

这问题我太有同感了，之前做JS审查也是这德行，后来发现光靠prompt不如直接把审查拆成两轮。第一轮让它只报明显错误和拼写，第二轮再让它看逻辑和性能，分开跑稳定多了。另外建议别用“逐行分析”，很容易让它把注意力全耗在格式上，改成“按函数为单位审查”试试。还有，给一两个带bug的示例代码当few-shot确实管用，比单纯描述规则强。

试过类似场景，问题大概率出在“逐行分析”这个指令上，它会让模型进入过度检视模式，反而忽略整体逻辑。我现在用两段式prompt，第一段只让它标出可疑点不解释，第二段再针对标记逐条展开，稳定性好了不少。另外正反例子非常管用，你给一个“过度解读”的反例，比写十句“不要过度解读”都强。

我之前也踩过这个坑，核心问题不是约束太多，而是你的prompt把“任务”和“标准”混在一起了。GPT-4对“逐行分析”的理解很机械，它会为了完成指令而强行输出，反而忽略真正的逻辑漏洞。我现在用的结构是拆成两轮：第一轮只给代码，让它用一句话概括每个函数的作用，顺带标注可疑点，不加任何角色设定；第二轮把它第一轮的输出连同代码一起丢回去，让它针对可疑点给具体修改建议。这样“系统1”负责快速扫描，“系统2”负责深度推理，比单次大prompt稳很多。另外正反例子确实有用，但别给太多，各给一个就行，重点是让模型看到“漏报”和“误报”的边界长什么样。还有个细节，变量命名和函数长度这种风格问题，你可以在第二轮的prompt里加“只报告会引发实际维护成本的问题，例如混淆性命名或超过50行的函数”，否则它老把小事放大。最后，如果某个文件特别长，建议切成200行以内的片段喂，不然注意力一分散，拼写错误反而容易溜走。

说实话你这个情况我太熟了，GPT-4对代码审查的“幻觉”程度完全取决于prompt里隐含的优先级。我试过把“逐行分析”换成“先列出你确定的问题，再列出可能的问题”，稳定性立刻上来了，因为它在不确定时会主动降级而不是硬编。另外建议你给一个“负面例子”标注哪些是误报，比给正面例子管用得多，模型能更快学会你的容忍边界。至于系统1+系统2，我现在的做法是拆成两个独立调用：第一轮只让它找语法错误和未定义变量，第二轮才让它谈架构和性能，中间隔个几秒，效果比单次长prompt好很多。你试过把温度调到0.2以下吗？我怀疑你输出波动大有一部分是采样随机性在作祟。还有一个坑是别把“资深开发者”这种角色设定放在开头，放中间当“背景参考”反而更稳，可能是注意力分配的问题。最后，拼写错误这种低级问题真别指望它，我直接外挂了个pyflakes先过滤一遍，GPT只处理逻辑层，省心太多。

你这情况我太熟了，试过把角色设定和规则堆一堆，结果反而更飘。后来我干脆把任务拆成两轮：第一轮只让它列可疑点，不解释，第二轮再挑重点深挖，输出稳多了。另外给正反例子确实管用，但别多，三个以内，不然它容易照着例子硬套。你那个“系统1+系统2”的思路我试过，用“先快速标注风险等级，再对高风险项展开”这种分步指令，比一句“逐行分析”靠谱。

我试过类似场景，加例子确实比纯指令稳，但别塞太多，三五个正反例就够，多了模型容易迷糊。你说的系统1+系统2思路可行，我一般是拆成两步：第一轮只让它列可疑点，第二轮再针对列出的点深入分析，这样比一次性输出稳定不少。另外“逐行分析”这种词建议去掉，模型反而容易机械式凑字，改成“重点关注X、Y、Z”会更聚焦。还想问下你有没有试过调整temperature？代码审查我调到0.2左右效果比默认好。

建议分两轮prompt，第一轮只查明显错误，第二轮再深度分析，别指望一次搞定。

试试用评分制让它输出置信度，低分的别采信，高分的再看细节。