最近读到这篇关于Switchcraft的论文，感觉它切中了当前智能工具调用系统的一个核心痛点：成本失控。现有的路由选择器大多是为对话补全设计的，忽略了工具调用场景对精确性和延迟的更高要求。Switchcraft的核心突破在于它以内联方式运行，据我理解，这意味着它能在请求处理流程中动态判断任务复杂度，将简单工具调用路由到小模型，复杂任务才交给大模型。从个人经验看，很多实际部署中，工具调用请求的80%都是低复杂度操作（如查询数据库、简单计算），用大模型处理完全是资源浪费。Switchcraft如果真能保证正确性且不显著增加延迟，那对推理预算的优化将是巨大的。我比较好奇的是它的路由决策机制：是基于任务描述的词嵌入相似度，还是某种轻量级二分类器？另外，在跨领域工具集（比如金融+医疗）上的泛化能力如何？从行业视野看，这类精细化路由方案可能会推动MaaS（模型即服务）的定价模式变革——按任务复杂度而非模型规模收费，从而让中小企业也能负担起智能工具调用。

技术分析 #实践经验