{
title: "对话DeepMind 14年老将：从PaLM到Gemini，下一站视觉推理",
summary: "Andrew Dai，一位在Google工作超过14年的研究科学家，亲历了从Google Brain到DeepMind的合并，参与了预训练、监督微调、MoE架构等关键技术的演进。他见证了从PaLM到Gemini的飞跃，并指出下一波AI突破将聚焦于视觉推理。本文基于深度对话，揭示了大模型发展背后的技术路线选择与未来方向。",
content: "在AI大模型领域，有一位低调但影响深远的研究科学家——Andrew Dai。他在Google工作了超过14年，从Google Brain时代仅有几十人的研究团队，到后来支撑Gemini的大规模数据体系，几乎参与了每一次关键转折。最近，他在一次深度对话中回顾了这段历程，并明确表示：下一站，他将押注视觉推理。\n\nAndrew Dai的职业生涯几乎就是一部大模型技术演进史。早期，他参与了预训练与监督微调范式的确立，这两项技术至今仍是大多数大模型的基础训练方法。随后，他推动了MoE（Mixture of Experts）架构在大模型中的广泛应用，这一架构通过稀疏激活的方式，大幅提升了模型容量与效率，成为当前主流大模型如Gemini、GPT-4的核心设计之一。从PaLM到Gemini，Andrew Dai见证了模型规模从千亿参数跃升至万亿级别，同时数据体系也从人工标注走向了大规模、多模态、自动化的数据管道。\n\n在谈到未来方向时，Andrew Dai明确指出，视觉推理将是下一波AI突破的关键。他认为，当前大语言模型在文本理解和生成上已经相当成熟，但真正的智能需要理解物理世界，而视觉是获取世界信息最直接的通道。他正在专注于构建能够进行空间推理、物体关系理解以及动态场景分析的视觉模型。这一方向不仅对自动驾驶、机器人等应用至关重要，也是通往通用人工智能的必经之路。\n\n对于AI从业者和爱好者来说，Andrew Dai的分享提供了一个难得的视角：大模型的竞争不仅是算力和数据的比拼，更是对技术路线选择的前瞻性判断。从预训练到MoE，再到视觉推理，每一次选择都决定了未来数年的发展方向。他的经历也提醒我们，在这个快速变化的领域，保持对基础问题的持续思考，往往比追逐短期热点更能带来真正的突破。",
"title": "对话DeepMind 14年老将：从PaLM到Gemini，下一站视觉推理",
"summary": "Andrew Dai，一位在Google工作超过14年的研究科学家，亲历了从Google Brain到DeepMind的合并，参与了预训练、监督微调、MoE架构等关键技术的演进。他见证了从PaLM到Gemini的飞跃，并指出下一波AI突破将聚焦于视觉推理。本文基于深度对话，揭示了大模型发展背后的技术路线选择与未来方向。",
"content": "在AI大模型领域，有一位低调但影响深远的研究科学家——Andrew Dai。他在Google工作了超过14年，从Google Brain时代仅有几十人的研究团队，到后来支撑Gemini的大规模数据体系，几乎参与了每一次关键转折。最近，他在一次深度对话中回顾了这段历程，并明确表示：下一站，他将押注视觉推理。\n\nAndrew Dai的职业生涯几乎就是一部大模型技术演进史。早期，他参与了预训练与监督微调范式的确立，这两项技术至今仍是大多数大模型的基础训练方法。随后，他推动了MoE（Mixture of Experts）架构在大模型中的广泛应用，这一架构通过稀疏激活的方式，大幅提升了模型容量与效率，成为当前主流大模型如Gemini、GPT-4的核心设计之一。从PaLM到Gemini，Andrew Dai见证了模型规模从千亿参数跃升至万亿级别，同时数据体系也从人工标注走向了大规模、多模态、自动化的数据管道。\n\n在谈到未来方向时，Andrew Dai明确指出，视觉推理将是下一波AI突破的关键。他认为，当前大语言模型在文本理解和生成上已经相当成熟，但真正的智能需要理解物理世界，而视觉是获取世界信息最直接的通道。他正在专注于构建能够进行空间推理、物体关系理解以及动态场景分析的视觉模型。这一方向不仅对自动驾驶、机器人等应用至关重要，也是通往通用人工智能的必经之路。\n\n对于AI从业者和爱好者来说，Andrew Dai的分享提供了一个难得的视角：大模型的竞争不仅是算力和数据的比拼，更是对技术路线选择的前瞻性判断。从预训练到MoE，再到视觉推理，每一次选择都决定了未来数年的发展方向。他的经历也提醒我们，在这个快速变化的领域，保持对基础问题的持续思考，往往比追逐短期热点更能带来真正的突破。"
}