DeepSeek 模型技术巡览：从 V3 到 V3.2

中文精读

原文约 6,396 词 · 21 节

1. DeepSeek 旗舰开源权重模型的演进（导言）

   • DeepSeek 延续了在美国长假周末发布新旗舰模型的习惯，这次发布的是 DeepSeek V3.2。
   • V3.2 的性能已达到 GPT-5 与 Gemini 3.0 Pro 这一级别，并且是开源权重（open-weight）模型，因此值得细看。
   • 作者原本只想在《The Big LLM Architecture Comparison》一文中追加一节来介绍 V3.2，但内容太多，于是改为写这篇独立长文。

2. 1. DeepSeek 的发布时间线

   • DeepSeek V3 于 2024 年 12 月发布时并不算火，真正带火它的是基于相同架构、以 V3 为基座的推理模型 DeepSeek R1。
   • 自 R1 之后约 10–11 个月没有重大发布；作者认为大模型约一年一更属合理，期间有传闻称团队在转向华为芯片，但据其所知已恢复使用 NVIDIA 芯片。
   • 期间仍有小版本发布，例如 DeepSeek V3.1 和 V3.2-Exp。
   • 作者在 9 月曾预测：V3.2-Exp 的目的是让生态与推理基础设施提前适配 V3.2；V3.2-Exp 与 V3.2 使用需要自定义代码的非标准稀疏注意力变体。

3. 2. 混合式与专用式推理模型

   • DeepSeek V3 是基座模型（base model），DeepSeek R1 是在其之上增加后训练得到的专用推理模型。
   • Qwen3 最初是混合推理模型：同一模型内可通过分词器加入或省略相应标签来切换推理与非推理模式；Qwen 团队后来改为分别发布 instruct 与推理模型，因为这样更易开发、各自场景效果更好。
   • OpenAI 的 gpt-oss 只有混合版本，通过系统提示设定推理投入程度；作者推测 GPT-5 与 GPT-5.1 也采用类似做法。
   • DeepSeek 走的方向相反：从专用推理模型 R1 转向混合模型 V3.1 与 V3.2；作者推测 R1 更像研究方法与原型试验场，V3.2 追求各种场景下的整体最佳，同时团队可能仍在做专用 R2。

4. 3. 从 DeepSeek V3 到 V3.1（概览）

   • 本节是过渡：在展开 V3.2 之前，先梳理从 V3 到 V3.1 的主要变化。

5. 3.1 DeepSeek V3 概览与多头潜在注意力（MLA）

   • DeepSeek V3 是基座模型，架构上有两个亮点：混合专家（MoE）与多头潜在注意力（MLA）。
   • MLA 的思路是把 key 和 value 张量压缩到低维空间后再存入 KV 缓存，节省显存。
   • 推理时需把压缩张量上投影回原始大小再用，多了一次矩阵乘法但降低内存占用；可类比 LoRA 的降投影与上投影。
   • query 同样会被投影到单独的压缩空间，但只在训练时进行，推理时不压缩，图示中为简化未画出。
   • MLA 并非 V3 首创，前代 DeepSeek V2 已使用（并且是引入者）。

6. 3.2 DeepSeek R1 概览与可验证奖励强化学习（RLVR）

   • R1 与 V3 架构完全相同，差别只在训练配方：以 V3 为基座，侧重用可验证奖励强化学习（RLVR）提升推理能力。
   • RLVR 的核心是让模型从可被符号化或程序化验证的回答中学习，例如数学与代码，也可扩展到其他领域。
   • 所用算法 GRPO（Group Relative Policy Optimization）是 PPO 的简化变体；PPO 常用于 RLHF 的模型对齐。
   • 与传统 RLHF（PPO 同时用奖励模型与 critic 价值模型）相比，GRPO 去掉 critic；RLVR 加 GRPO 进一步去掉奖励模型，改用计算器、编译器这类符号工具给出的可验证奖励。

7. 3.3 DeepSeek R1-0528 版本升级

   • DeepSeek 团队自己称 R1-0528 基本是一次小版本升级。
   • 架构与 V3/R1 相同，改进在训练侧，使其在当时追平 OpenAI o3 与 Gemini 2.5 Pro。
   • 团队未公布具体做法，只表示部分来自后训练流程的优化；作者认为托管版本可能增加了推理时的算力（更长的推理）。

8. 3.4 DeepSeek V3.1 的混合推理

   • V3.1 是兼具通用对话（instruct）与推理能力的混合模型，用户通过聊天提示模板切换模式，类似最初的 Qwen3。
   • V3.1 基于 V3.1-Base，而 V3.1-Base 基于 V3，三者架构相同。

9. 4. DeepSeek V3.2-Exp 与稀疏注意力

   • V3.2-Exp（2025 年 9 月）发布时基准成绩不突出、热度有限，但作者认为它是为更大版本预热基础设施（尤其推理与部署工具）的实验性发布，因为架构有改动；后续大版本是 V3.2 而非 V4。
   • V3.2-Exp 以 V3.1-Terminus 为基座继续训练，而 V3.1-Terminus 只是对 V3.1 检查点的小幅改进。
   • 核心创新是深度求索稀疏注意力（DSA），由闪电索引器（lightning indexer）与 token 选择器组成，目标是选择性缩减上下文以提升效率；其思想与滑窗注意力同源，但被选中的历史 token 不是固定窗口，而是学习出来的。
   • 索引器利用 MLA 中压缩后的 token 表示计算每个新 query 对所有历史 token 的相关性分数，本质是 query 与 key 的缩放点积经 ReLU；索引只作用于 query 侧，因为 key 已压缩存于 KV 缓存。
   • ReLU 理论上可产生稀疏性，但因多头求和，分数很难真为 0，真正的稀疏来自 token 选择器：只保留分数最高的 top-k（模型代码中 k=2048）并据此构造稀疏注意力掩码。
   • 目标不是超过 V3.1-Terminus，而是在享受效率提升的同时尽量减小稀疏注意力带来的性能损失；DSA 把注意力复杂度从关于序列长度 L 的二次 O(L²) 降到线性 O(Lk)，k≪L。

10. 4. DeepSeek V3.2-Exp 与稀疏注意力（续）

    • 索引器相似度分数公式：I(t,s) = Σ(j=1..H_I) w(t,j)·ReLU(q(t,j)·k(s))；其中 w 为可学习的每头权重，t 为当前 query 位置，s 为历史 token 位置（0 ≤ s < t），j 为索引器头编号。

11. 5. DeepSeekMath V2：自验证与自改进

    • 2025 年 11 月 27 日（美国感恩节）、V3.2 发布前 4 天，DeepSeek 发布基于 V3.2-Exp-Base 的 DeepSeekMath V2，专为数学开发，在多项数学竞赛中达到金牌水平，可视为 V3.2 的概念验证模型，又引入了一项技术。
    • 要解决的短板：常规推理模型依赖外部验证器，可能答案正确而推理错误；且定理证明这类任务需要严格的分步推导，仅奖励最终答案并不适用。
    • 做法是训练两个模型：一个基于 LLM 的定理证明验证器；一个主模型（证明生成器）把该 LLM 验证器当作奖励模型，替代符号验证器。
    • 除自验证外，还用自改进（self-refinement）让模型迭代完善自己的答案。

12. 5.1 自验证

    • 用 LLM 给中间步骤打分并非新想法，过程奖励模型（process reward model）已有大量研究，例如 2022 年的 Solving Math Word Problems With Process- and Outcome-based Feedback 与 2023 年的 Let's Verify Step by Step。
    • 过程奖励模型的难点在于中间奖励是否正确难以核查，且可能导致奖励劫持（reward hacking）；R1 论文曾称其收益不足以抵消大规模强化学习中的额外算力开销。
    • 本文以自验证方式重拾该思路，动机是即使没有参考答案，人类读证明时也能发现并自我纠正问题。
    • 验证器（LLM 2）按评分标准给证明打分：1 分表示完整严谨、所有逻辑步骤都有清晰论证；0.5 分表示整体逻辑合理但有小的错误或细节缺失；0 分表示存在致命逻辑错误或关键缺口。
    • 验证器以 V3.2-Exp-SFT（在 V3.2-Exp 上用数学与代码推理数据做监督微调）为起点，再用格式奖励（回答格式是否符合预期）和分数奖励（预测分数与人类数学专家标注分数的接近程度）做强化学习。
    • 为防止验证器产生幻觉问题，又训练了第三个 LLM 作为元验证器（meta-verifier）检查验证器是否正确评判生成器，同样用强化学习训练。

13. 5.1 自验证（续）

    • 作者类比生成对抗网络（GAN）：验证器像判别器，与证明生成器相互促进。
    • 元验证器并非必需，但团队报告验证器证明分析的平均质量分由 0.85 提升到 0.96，同时证明分数预测准确率保持不变。
    • 元分数只在训练验证器与生成器时使用，不用于推理阶段的自改进循环。

14. 5.2 自我精炼（Self-Refinement）

    • 自我验证的目的是实现自我精炼，即让大模型根据反馈修改、重写自己的答案。自我精炼是一种已有的推理期扩展（inference scaling）技术，传统做法是让同一个模型既生成答案、又做验证、再做精炼（对应前文图12、13中 LLM 1 与 LLM 2 为同一模型）。
    • DeepSeek 团队指出实践中同模型生成+验证有严重问题：让生成器一次性既生成又分析自己的证明时，它往往宣称结论正确，而外部验证器轻易就能找出缺陷；也就是说生成器能依据外部反馈改证明，却无法用专门验证器那样的严格标准评估自身工作。
    • 按逻辑应当用独立的证明生成器（LLM 1）与证明验证器（LLM 2）组成精炼循环；LLM 3 只在开发验证器阶段使用，故图中省略。
    • 但实际推理时，DeepSeek 并未使用分离的验证器，而是与图 14 的经典单模型自精炼一样：论文写明所有实验都用同一个模型（即最终证明生成器）同时承担生成与验证。区别在于该证明器在训练时受更强验证器与元验证器的指导，已学会把这些评分标准用于自身输出；推理时合二为一还能减少复杂度与算力开销。
    • 迭代次数是可扩展性权衡：迭代越多成本越高、整体准确率越高。论文中最多做了 8 次迭代，且准确率尚未饱和；图中还给出 Best@32（多数投票，即自一致性）的准确率对比。

15. 6. DeepSeek V3.2（2025 年 12 月 1 日）

    • 上一部分详述 DeepSeekMath V2 的原因是：它是把可验证奖励强化学习（RLVR）经自我验证与自我精炼进一步推进的概念验证，且这两项技术在 DeepSeek V3.2 中也被使用。
    • V3.2 相对于当时的旗舰模型表现很好，文中以基准对比图展示其与专有旗舰模型的成绩对比；V3.2 也配有技术报告，后续小节将据此展开。

16. 6.1 DeepSeek V3.2 架构

    • 模型主要目标是提升整体性能：如 DeepSeekMath V2 一样在数学基准上达到金牌级水平，同时按工具使用（tool-use）思路训练，在代码与智能体（agentic）任务上也表现良好。
    • 计算效率是另一大动机：沿用 V2、V3 的多头潜在注意力（MLA），并加入 V3.2 引入的 DeepSeek 稀疏注意力（DSA）。论文称 V3.2 与 V3.2-Exp 架构完全相同。
    • V3.2-Exp 的发布很可能意在让生态与推理基础设施提前适配正式发布的 V3.2；图中给出 DSA 带来的推理成本节省。
    • 论文截图显示 DeepSeek 团队已改回使用 NVIDIA 芯片（此前据称曾在华为芯片上试验训练）。由于架构与 V3.2-Exp 一致，值得关注的细节在训练方法部分。

17. 6.2 强化学习更新

    • 整体沿用类似 DeepSeek R1 的 RLVR 流程与群组相对策略优化（GRPO）算法，但奖励设置有更新。R1 原本使用格式奖励、语言一致性奖励，以及主要的验证器奖励（数学或代码题答案是否正确）。
    • V3.2 的奖励改为：推理与智能体任务用基于规则的结果奖励、长度惩罚和语言一致性奖励；通用任务用生成式奖励模型，每个提示有自己的评分细则（rubrics）。
    • 具体变动包括去掉格式奖励、为智能体任务增加长度惩罚；对没有符号验证器（数学）或代码解释器可核验答案的通用任务，改用奖励模型（另一个经训练输出奖励分数的 LLM）打分。
    • 因此该流程不再是 R1 那种纯验证器驱动的 RLVR，而是可验证领域用 RLVR、其余任务用标准「LLM 当裁判」奖励建模的混合方案。数学领域还额外引入了 DeepSeekMath V2 的数据集与奖励方法。

18. 6.3 GRPO 更新

    • 近几个月有大量论文改进 GRPO 的稳定性与效率，文中提到 DAPO 与 Dr. GRPO。DAPO 引入非对称裁剪、动态采样、token 级损失和显式长度奖励塑形；Dr. GRPO 修改目标函数，去掉长度与标准差归一化。
    • 文中以 Olmo 3 论文为参照列举了这些改动的常见形式：过滤奖励全相同的零梯度组、动态采样保持批大小、token 级损失、去掉 KL 损失、上限裁剪更宽、截断重要性采样、以及不做标准差归一化。
    • V3.2 的 GRPO 改动相对温和：保留 KL 项但按领域调节权重（数学领域很弱甚至为 0 时往往最好，KL 变成超参数）；对 KL 估计做无偏修正，用与主损失相同的重要性比率重新加权，使 KL 梯度与「样本来自旧策略」的事实一致。
    • 离线策略序列掩码：复用 rollout 数据做多步梯度更新时，衡量当前策略相对采样策略在整条答案上的漂移，丢弃同时满足负优势且「过于离线」的序列。
    • MoE 模型保留路由：记录采样时激活的专家，训练时强制相同路由，使梯度只更新产生该答案的专家；top-p/top-k 采样也保留掩码，在计算 GRPO 损失与 KL 时复用，使训练时的动作空间与采样时一致。
    • V3.2 保留原始 GRPO 的优势归一化（长度与组内标准差归一化），不像 Dr. GRPO 那样去掉、也不像 DAPO 那样改用 token 级损失，而是把重点放在上述其他修正上。总体上比部分近期模型更接近原始 GRPO，但加了合理的调整。

19. 6.4 DeepSeek V3.2-Speciale 与扩展思考

    • V3.2 还有一个极端的长思考变体 V3.2-Speciale，RL 阶段只用推理数据训练（更接近 DeepSeek R1），同时降低了 RL 中的长度惩罚，使模型能输出更长的回答。
    • 更长的回答属于推理期扩展：输出变长带来更高成本，换取更好的结果；图中显示该「扩展思考」模型准确率更高，但生成的 token 也更多。

20. 7. 结论

    • 文中未覆盖 V3.2 训练方法的全部细节，但通过与历代 DeepSeek 模型的比较可看清要点：V3.2 沿用自 DeepSeek V3 以来相似的架构；主要架构改动是加入 V3.2-Exp 的稀疏注意力以提升效率。
    • 数学性能提升来自采用 DeepSeekMath V2 的自我验证方法；训练流程有多项改进，如 GRPO 稳定性更新（论文还涉及蒸馏、长上下文训练、类似 gpt-oss 的工具调用集成等未在文中展开的内容）。
    • 无论 DeepSeek 模型相对其他小规模开放权重模型或 GPT-5.1、Gemini 3.0 Pro 等专有模型的市场份额如何，DeepSeek 的发布总是很有意思，随开放权重检查点发布的技术报告总有大量可学之处。

21. 8. DeepSeek 的 mHC：流形约束超连接

    • Transformer 架构的效率与性能改进通常集中在归一化、注意力和前馈网络（FFN）模块：归一化从 LayerNorm → RMSNorm → Dynamic TanH；注意力从分组查询注意力、滑动窗口、多头潜在注意力到稀疏注意力；FFN 从 GeLU → SiLU → SwiGLU 到混合专家。
    • 2025 年 12 月 31 日 DeepSeek 发布了关于改进残差路径的研究：mHC（流形约束超连接，Manifold-Constrained Hyper-Connections）。它建立在超连接（HC）方法之上，后者把普通的恒等残差连接推广为可学习的连接，通过多条并行残差流拓宽残差通道，并允许信息在这些并行层之间混合。
    • mHC 在 HC 基础上进一步约束残差混合位于一个结构化的、保范（norm-preserving）的流形上，这种「m」改动提升了训练稳定性；会带来少量额外开销，但训练稳定性与收敛性明显更好。