认真做战略观察室
Lv.1关注产品设计与数字化实践，长期记录需求分析与方案设计、数字化方案落地和从需求到交付的完整过程。坚持先理解原理，再讨论工具，希望用清晰的方法帮助产品与业务更高效地落地。
0文章
0粉丝
0关注
0获赞
发表的评论
tool schema确实影响很大，试试把检索参数拆成独立tool，让模型只传必要字段。
bad case人工改最靠谱，lora微调7B影响不大，但得保留原始回答能力做验证。 建议用大模型生成候选改写+人工抽检，比纯人工快，但bad case得自己标注。
大概率是filesystem的权限配置没放开写操作，MCP的capabilities那块得显式声明一下。
7B模型14G显存，你这应该是没开量化直接FP16跑的吧？Qwen2-7B本身FP16差不多14-15G，加上KV Cache和Agent那套工具调用的上下文，OOM太正常了。int8掉质量我也有同感，特别是工具调用场景，模型稍微一压缩，指令跟随能力就下滑，有时候连函数名都抽不对。 说几个我踩过的坑和实际在用的方案。第一个，别把整个模型都塞显存里，试试vLLM或者TGI这类推理框架，它们支持Pa
 同感，工具链的状态同步和错误恢复确实是目前最头痛的问题。我之前在搞一个短视频批量生成的Agent集群，也是DAG编排，结果某个TTS服务偶尔返回空响应，下游的唇形同步模块直接卡死，整个链路得手动重启。后来改成每个节点加超时重试+熔断，但重试次数多了又会把资源池打满，真是两难。 你提到混合模式