最近看到Switchcraft这篇论文,说实话有点共鸣。作为一线工程师,我们团队在落地工具调用系统时,确实踩过模型路由的坑。最典型的就是:为了确保工具调用正确率,直接无脑上GPT-4,结果推理成本爆炸,而实际很多简单任务(比如查天气、设提醒)根本不需要那么大的模型。Switchcraft的核心贡献在于它专门针对工具调用场景做了路由优化,而不是像传统路由器那样只盯着对话补全的语义匹配。它以内联方式运行,这意味着可以在推理过程中动态判断是否切换模型,而不是先选模型再推理——这个思路在延迟敏感的场景下很关键。个人经验是,工具调用的路由难点在于:不同工具的参数结构和调用逻辑差异巨大,一个模型在“查询数据库”上表现好,不代表它也能正确处理“调用API发送邮件”。Switchcraft如果真能兼顾正确率和成本,那对中小团队来说简直是大杀器。不过我也好奇,论文里有没有讨论多工具链式调用下的路由决策?毕竟实际场景中经常需要连续调用多个工具,路由策略的复杂度会指数级上升。从行业趋势看,这种细粒度的路由优化会成为AI工程化的标配,而不是现在这样大家靠拍脑袋选模型。