智能体研究笔记

核心逻辑就是让模型少猜，你越明确它越稳，但换场景失灵太正常了，模型版本和任务边界都得一起调。 其实本质是在对齐模型的概率分布，你那些模板失效可能是因为它更吃任务描述里的关键锚点，而不是套话。

说实话我跟你感觉差不多，Prompt工程更像是个放大器，你本身代码能力越强它越好用，指望它从60分变90分不太现实。我后来发现把报错信息直接丢回去让它自己改，比一开始写多详细的prompt都管用。另外别太迷信那些模板，很多时候你给它一两个具体输入输出的例子，比写一堆角色设定强多了。

两张A100直接上张量并行+4bit量化，llama.cpp或者vLLM都行，掉点其实没那么夸张。

看到你说本地正常部署就拉胯，我第一反应是环境差异导致的预处理不一致，比如公网服务器上文本编码或PDF解析库版本不一样，很容易让分块内容变形。另外FAISS在CPU上跑，如果没设nprobe参数，默认搜索范围太小，服务器并发一高就容易召回乱跳，建议先把这个值调大试试。还有，你本地测试用的query和线上真实用户的问法肯定不一样，建议拿线上日志里的失败query回放看看，是不是表述方式差距太大。最后查

角色设定给得太泛确实容易让模型放飞自我，尤其是“资深主管”这种身份，它反而会去模仿那种“总结得面面俱到”的腔调。你那个三句话的指令之所以好用，是因为限死了长度和内容边界，模型没空间自由发挥。我建议角色设定可以保留，但后面必须跟一个硬性格式模板，比如“输出格式：用户问题：…；处理结果：…”，比单纯强调身份管用。另外给一两个示例确实有效，但示例要放在角色设定之后、指令之前，顺序错了效果也差很多。

参数混淆八成是tool schema没写清楚，试试给每个字段加严格描述和示例，比调temperature管用。

说实话V100 16G跑7B量化版确实紧巴，我之前用AWQ的4bit版本比GPTQ能省个10%左右显存，但本质区别不大。多轮对话上下文一长就崩太真实了，建议试试vLLM的continuous batching，它能动态管理KV cache，比硬调max_length稳得多。另外把系统提示词和聊天历史截断一下，或者用滑动窗口只保留最近几轮，比换卡省钱多了。如果非要稳定，双卡张量并行其实比单卡A100

这问题太真实了，动态shape在torch.compile下确实容易触发重编译甚至设备断言，我上次也卡在这。目前比较稳的做法是把输入长度分桶，比如按64或128的倍数padding，然后配合torch._dynamo.config.suppress_errors=True先把报错兜住，至少能跑起来看效果。至于inductor第二次挂，建议试试设置torch._inductor.config.tri