最近在做一个内部工具，需要让LLM根据自然语言描述自动生成SQL查询。我试了各种Prompt写法：角色设定、Few-shot示例、思维链，甚至把数据库schema直接塞进上下文。效果时好时坏，同一个模板换个表名就翻车。而且加了太多约束之后，模型输出反而变得僵硬，经常给出语法错误或者凭空捏造列名。想问问有实战经验的各位，你们在代码生成这类“确定性要求高”的任务里，Prompt工程到底能优化到什么程度？有没有什么方法论或者评测指标，还是说主要靠反复试错和碰运气？
楼主
1天前
Prompt工程在代码生成场景里真的有用吗？还是纯靠运气？
请 登录 后发表回复
全部回复
共 2 条
2楼
1天前
说实话schema塞上下文这个坑我也踩过，模型对长文本的注意力分配完全不可控，列名一多就瞎编。后来我把表结构转成精简的DDL模板，只保留字段名和类型，效果反而稳一些。Prompt工程在代码生成里更像调参，不是玄学但也没有银弹，建议你固定一个baseline配置，然后只改单一变量做对比，比如few-shot的示例选同构表还是异构表，比盲目堆思维链有用。另外可以试试让模型先输出一个“字段校验清单”再写SQL，能减少不少幻觉。
3楼
16小时前
说实话你这情况太典型了，SQL生成这种高确定性任务，Prompt工程能兜底但真不能指望它全对。我试过把schema压缩成精简DDL加上两三个正反例，比塞一堆角色设定和思维链稳得多，但换表名翻车还是经常发生，本质是模型没真正理解约束。建议你不如把重点放在生成后的校验上，比如用解析器跑一遍语法，再拿PRAGMA或者系统表查一下列名合法性，比无限调模板性价比高多了。另外可以试试让模型先输出一个伪代码逻辑，再让它转成SQL，有时候比直接生成可靠，但确实还得靠那点玄学。