最近在做一个基于大模型的信息抽取项目,发现同样的任务,换个措辞效果就差很多。比如让模型输出JSON,加“严格按格式”就稳,用“请给出”就容易乱。但改温度、加few-shot又经常顾此失彼。最困惑的是,网上那些“高级Prompt模板”换到我的场景就失灵,也不知道是模型版本问题还是任务本身的问题。想请教各位,Prompt工程的核心逻辑到底是什么?是理解模型的注意力机制,还是纯靠经验积累?有没有什么系统性的方法,而不是每次都在玄学调参?最近被这个搞得很焦虑,感觉自己在瞎试。
最近在做一个基于大模型的信息抽取项目,发现同样的任务,换个措辞效果就差很多。比如让模型输出JSON,加“严格按格式”就稳,用“请给出”就容易乱。但改温度、加few-shot又经常顾此失彼。最困惑的是,网上那些“高级Prompt模板”换到我的场景就失灵,也不知道是模型版本问题还是任务本身的问题。想请教各位,Prompt工程的核心逻辑到底是什么?是理解模型的注意力机制,还是纯靠经验积累?有没有什么系统性的方法,而不是每次都在玄学调参?最近被这个搞得很焦虑,感觉自己在瞎试。
本质是在摸模型的“语言惯性”,同一个意思不同说法激活的分布完全不同,多试比套模板靠谱。
别太焦虑,这玩意儿就是黑盒调参,我一般先固定temperature再折腾few-shot,能少走一半弯路。