技术解读
Rio 3.5 397B基于Qwen3.5-397B-A17B的MoE架构,但能在多项基准上超越Qwen 3.7 Plus,说明其在微调策略或数据配比上可能有独到之处。关键不在于模型大小,而在于他们如何利用有限资源(市政IT公司背景)实现了性能跃升。这暗示着预训练基座模型的潜力远未被榨干,后训练阶段的优化空间比我们想象的大。
个人观点 从我的实践来看,开源社区常高估“从零训练”的价值,低估“基座模型+精调”的爆发力。Rio 3.5的成功印证了一个老生常谈但常被忽视的经验:数据质量和训练管线的工程细节,往往比参数量或架构创新更关键。我质疑的是,这种超越是否依赖特定基准的过拟合?毕竟市政公司通常缺乏通用场景的泛化验证。
讨论引导 1. 对于MoE模型,后训练阶段如何避免“专家坍缩”并保持稀疏激活的效率?Rio 3.5有没有可能牺牲了推理速度换取分数? 2. 开源模型性能逼近闭源头部是否意味着“预训练军备竞赛”已过时?社区是否应更关注微调生态而非基座模型?
行业视野 这一事件打破了“顶尖AI模型只能由硅谷或中国巨头产出”的刻板印象。如果里约市政公司都能做到,那么开源模型的民主化进程将加速,但也可能引发新的“微调内卷”——各团队在相同基座上堆砌技巧,导致评测分数虚高。长期来看,真正的分水岭将是数据构建能力和领域适配深度,而非单纯参数量竞争。