Qwen3.6-35B-A3B-GGUF
简介
See Unsloth Dynamic 2.0 GGUFs for our quantization benchmarks. NEW: Developer Role Support so Qwen3.6 can work in Codex, OpenCode and more! Qwen3.6 can now be run and fine-tuned in Unsloth Studio. Read our guide. Tool calling improvements: Makes parsing nested objects to make tool calling succeed more. Example of Qwen3.6 (4-bit GGUF) running in Unsloth Studio with tool-calling:
模型卡片
模型详情
已翻译阅读我们的 Qwen3.6 运行指南！
请参阅 Unsloth Dynamic 2.0 GGUF 了解我们的量化基准测试。
新增：开发者角色支持，使 Qwen3.6 能够在 Codex、OpenCode 等环境中运行！
Qwen3.6 现可在 Unsloth Studio 中运行和微调。阅读我们的指南。
工具调用改进：优化嵌套对象解析，提升工具调用成功率。
Qwen3.6（4-bit GGUF）在 Unsloth Studio 中运行并支持工具调用的示例：
Qwen3.6-35B-A3B
[!Note]
本仓库包含 Hugging Face Transformers 格式的 post-trained 模型权重和配置文件。这些产物兼容 Hugging Face Transformers、vLLM、SGLang、KTransformers 等框架。
继 2 月份发布 Qwen3.5 系列之后，我们很高兴分享 Qwen3.6 的首个开放权重版本。基于社区的直接反馈，Qwen3.6 优先考虑稳定性和实际可用性，为开发者提供更直观、响应更迅速且真正高效的编码体验。
Qwen3.6 亮点
本次发布带来了重大升级，尤其是在以下方面：
- 智能体编码： 模型现在能够更流畅、更精准地处理前端工作流和仓库级推理。
- 思维保留： 我们引入了一个新选项，用于保留历史消息中的推理上下文，从而简化迭代开发并减少开销。
更多详情，请参阅我们的博客文章 Qwen3.6-35B-A3B。
模型概述
- 类型：带视觉编码器的因果语言模型
- 训练阶段：预训练与后训练
- 语言模型
- 参数量：总计 35B，激活 3B
- 隐藏层维度：2048
- Token Embedding：248320（已填充）
- 层数：40
- 隐藏层布局：10 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))
- Gated DeltaNet：
- 线性注意力头数：V 为 32，QK 为 16
- 头维度：128
- Gated Attention：
- 注意力头数：Q 为 16，KV 为 2
- 头维度：256
- 旋转位置编码维度：64
- 混合专家模型
- 专家数量：256
- 激活专家数量：8 个路由专家 + 1 个共享专家
- 专家中间维度：512
- LM 输出：248320（已填充）
- MTP：采用多步训练
- 上下文长度：原生 262,144，可扩展至 1,010,000 个 token。
基准测试结果
语言能力
Qwen3.5-27BGemma4-31BQwen3.5-35BA3BGemma4-26BA4B
正在翻译中，请稍候...