DeepSeek-V3.2

deepseek-ai text-generation transformers

deepseek-ai/DeepSeek-V3.2

11,120,947

下载量

1621

收藏数

22

浏览量

mit

许可

简介

模型卡片

许可协议 mit

框架 transformers

模型配置

模型类型 deepseek_v32

架构 DeepseekV32ForCausalLM

模型详情

已翻译

DeepSeek-V3.2: 高效推理与智能体AI

技术报告👁️

引言

我们推出 DeepSeek-V3.2，该模型将高计算效率与卓越的推理和智能体性能融为一体。我们的方法基于以下三项关键技术突破：

DeepSeek 稀疏注意力（DSA）： 我们引入了 DSA，这是一种高效的注意力机制，在保持模型性能的同时大幅降低计算复杂度，特别针对长上下文场景进行了优化。
可扩展的强化学习框架： 通过实施稳健的 RL 协议并扩展后训练计算量，DeepSeek-V3.2 的性能可与 GPT-5 相媲美。值得注意的是，我们的高计算量变体 DeepSeek-V3.2-Speciale 超越了 GPT-5，并展现出与 Gemini-3.0-Pro 相当的推理能力。
- 成就： 🥇 在 2025 年国际数学奥林匹克竞赛（IMO）和国际信息学奥林匹克竞赛（IOI）中荣获金牌。
大规模智能体任务合成流水线： 为了将推理融入工具使用场景，我们开发了一种新颖的合成流水线，能够系统地大规模生成训练数据。这有助于实现可扩展的智能体后训练，提升在复杂交互环境中的合规性和泛化能力。

我们还发布了 IOI 2025、ICPC 世界总决赛、IMO 2025 和 CMO 2025 的最终提交版本，这些版本是根据我们设计的流水线筛选出来的。这些材料供社区进行二次验证。文件可在 assets/olympiad_cases 中获取。

聊天模板

与之前的版本相比，DeepSeek-V3.2 对其聊天模板进行了重大更新。主要变更涉及工具调用的格式修订，以及引入了"带工具的思考"能力。

为了帮助社区理解和适应这一新模板，我们提供了一个专门的 encoding 文件夹，其中包含 Python 脚本和测试用例，演示如何将以 OpenAI 兼容格式编码的消息转换为模型的输入字符串，以及如何解析模型的文本输出。

下面是一个简要示例：

import transformers
# encoding/encoding_dsv32.py
from encoding_dsv32 import encode_messages, parse_message_from_completion_text

tokenizer = transformers.AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V3.2")

messages = [
    {"role": "user", "content": "hello"},
    {"role": "assistant", "content": "Hello! I am DeepSeek.", "reasoning_content": "thinking..."},
    {"role": "user", "content": "1+1=?"}
]
encode_config = dict(thinking_mode="thinking", drop_thinking=True, add_default_bos_token=True)

# messages -> string
prompt = encode_messages(messages, **encode_config)
# Output: "helloHello! I am DeepSeek.1+1=?"

# string -> tokens
tokens = tokenizer.encode(prompt)
# Output: [0, 128803, 33310, 128804, 128799, 19923, 3, 342, 1030, 22651, 4374, 1465, 16, 1, 128803, 19, 13, 19, 127252, 128804, 128798]

重要说明：

本次发布不包含 Jinja 格式的聊天模板。请参考上述 Python 代码。
代码中包含的输出解析函数仅用于处理格式良好的字符串。它不会尝试纠正或恢复模型偶尔可能产生的格式异常输出。