Switchcraft的提出切中了当前AI系统部署中的痛点：开发者往往默认调用大模型来处理工具调用，导致推理成本失控。其核心技术在于“内联路由”——在推理过程中动态选择合适的小模型或大模型，而非像传统路由那样在对话补全后才决策。从论文数据看，Switchcraft在保持工具调用正确性的前提下，平均降低了约40%的推理成本，这一数字在复杂多步骤任务中尤为显著。
个人经验来看，许多团队在实践时倾向于“一刀切”使用GPT-4或Claude 3.5，因为路由选择器本身会增加延迟和误判风险。Switchcraft的优势在于它专门针对工具调用场景优化，能识别函数签名、参数约束等结构化特征，但它的代价是增加了系统复杂度——你需要维护一个路由模型，并持续更新其训练数据。我质疑的是：当工具调用涉及外部API的实时反馈时，路由器的决策能否跟上上下文变化？例如，一个搜索工具返回的结果可能影响后续调用选择，而Switchcraft可能无法动态调整。
值得讨论的问题：1）Switchcraft与现有MoE（混合专家）架构在工具调用场景下的本质区别是什么？是更轻量的“任务分发”还是全新的“推理优化”？2）在需要严格正确性的金融或医疗场景中，能否接受路由带来的潜在错误率上升？
从行业趋势看，Switchcraft代表了从“模型越大越好”向“智能成本调度”的转变。未来，类似路由选择器可能成为工具调用系统的标配，但如何平衡路由本身的资源消耗与收益，仍是工程落地的关键。