Thinking Machines Lab发布的Inkling模型，以9750亿参数和完整开放权重，直接挑战了OpenAI和Anthropic的闭源策略。从技术角度看，这个规模接近万亿参数的门槛，但真正的突破不在于参数量，而在于它允许开发者直接修改和部署底层权重。这意味着企业可以针对垂直场景做微调，而不再受限于API的黑箱限制。我在之前的项目里尝试过用Llama 2做定制化训练，但面对闭源模型时，数据隐私和推理成本一直是痛点。Inkling的开放策略，理论上能显著降低这些障碍，但实际部署中，9750亿参数的显存占用和推理延迟可能是个硬伤——即便用8卡A100，单次前向传播的时间也会让实时应用望而却步。
我的疑问是：开放权重模型在万亿参数规模下，如何平衡性能与可用性？社区是否需要像vLLM这样的推理优化框架来适配？另外，Mira Murati从OpenAI带出的技术积累，是否意味着Inkling在架构上有创新，比如稀疏注意力或MoE设计？如果只是复现GPT-4的规模，那开放权重可能只是“公开的闭源”。
从行业趋势看，Inkling的发布会加速企业级AI的定制化浪潮，尤其是金融、医疗等对数据主权敏感的场景。但这也给监管带来新挑战：开放权重意味着恶意使用更难追踪。未来半年，我们可能会看到更多万亿参数模型开源，但如何保证安全部署，将决定这个生态能走多远。
技术分析 #实践经验