2025 年大语言模型现状：进展、问题与预测

中文精读

原文约 7,604 词 · 24 节

1. 2025 年大语言模型现状：进展、问题与预测

   • 这是年度回顾的开篇：临近 2025 年底，作者打算回看这一年大语言模型（LLM）最重要的进展，反思仍存在的局限与未解问题，并对下一步做几点展望。
   • 作者提到自己每年都会说的一句话：2025 年对 LLM 和 AI 来说是事件极多的一年，而且今年没有出现进展饱和或放缓的迹象。

2. 一、推理之年、RLVR 与 GRPO

   • 按时间顺序从 2025 年 1 月讲起：此前扩大规模（scaling）仍然有效，但并没有真正改变 LLM 在实际使用中的行为与体感，唯一的例外是刚发布的 OpenAI o1，它加入了推理轨迹。
   • 因此 DeepSeek 在 2025 年 1 月发布 R1 论文意义重大：它表明类似推理的行为可以通过强化学习培养出来。
   • 文中对 LLM 语境下的“推理”给的定义是：模型解释自己的答案，而这个解释本身常常带来更高的答案准确率。
   • 配图对比了简短回答与推理模型典型输出的、包含中间步骤的更长回答。

3. 1.1 DeepSeek 时刻

   • DeepSeek R1 受到广泛关注的第一点：它以开放权重（open-weight）形式发布，表现很好，可与当时最好的专有模型（ChatGPT、Gemini 等）相比。
   • 第二点：R1 论文促使许多人（尤其是投资者和记者）重读 2024 年 12 月的 DeepSeek V3 论文，由此修正了结论——训练最先进模型仍然昂贵，但可能比以前以为的便宜一个数量级，估计接近 500 万美元而非 5000 万或 5 亿美元。
   • R1 的补充材料估计，在 DeepSeek V3 之上训练 R1 还要再花约 29.4 万美元，同样远低于普遍预期。
   • 作者也指出 500 万美元估算的诸多注意事项：它只涵盖最终模型运行的计算额度成本，未计入研究人员薪资，以及与超参数调优和实验相关的其他开发成本。
   • 第三点也是最有趣的一点：论文提出了带可验证奖励的强化学习（RLVR）配合 GRPO 算法，作为开发所谓推理模型、在后期训练（post-training）阶段改进 LLM 的新（或至少是改良的）算法路径。

4. RLVR 为何重要

   • 在此之前的后期训练方法，如监督式指令微调（SFT）和基于人类反馈的强化学习（RLHF），仍是训练流程的重要部分，但受制于需要昂贵的书面回答或偏好标签（用其他 LLM 合成也有点“先有鸡还是先有蛋”的问题）。
   • DeepSeek R1 和 RLVR 的关键之处在于：它们允许用大量数据对 LLM 做后期训练，从而成为在后期训练阶段靠扩大计算来提升和释放能力的合适候选（前提是有可用算力预算）。
   • RLVR 中的 V 代表“可验证”（verifiable），即可以用确定性的方法给出正确性标签，而这些标签足以让 LLM 学会复杂问题求解；典型领域是数学和代码，这一思路也可扩展到其他领域。
   • 文中给出一个可验证奖励的简单示例图，并让读者参考作者此前的《Understanding Reasoning LLMs》与《The State of Reinforcement Learning for LLM Reasoning》两篇文章了解细节。
   • 结论：今年的 LLM 发展基本由使用 RLVR 和 GRPO 的推理模型主导；几乎所有主要的开放权重或专有 LLM 开发者都在 DeepSeek R1 之后发布了推理（常称“思考”）版本。

5. 1.2 LLM 关注重点

   • 若不只算架构与预训练算力的扩展，作者把各年的 LLM 发展重点概括为：2022 年 RLHF + PPO，2023 年 LoRA SFT，2024 年中期训练（mid-training），2025 年 RLVR + GRPO。
   • 预训练仍是一切的基础；2022 年正是通过 PPO 算法的 RLHF 带来了最初的 ChatGPT 模型；2023 年的重点大量集中在 LoRA 及类似参数高效微调技术上，用于训练小型定制 LLM。
   • 这些重点是累积的：例如 RLHF + PPO 仍然相关且仍在使用，只是不再是讨论最热的话题。
   • 2024 年各大实验室让（预）训练流程更精细：合成数据、优化数据配比、使用领域专用数据，并增加专门的长上下文训练阶段；作者当时把这些归为预训练技术，因为“mid-training”一词尚未出现，如今这类在通用数据常规预训练之后的专门阶段常被称为中期训练。
   • 展望：作者认为明年会更加关注 RLVR。目前 RLVR 主要应用于数学和代码领域，下一步合乎逻辑的做法是不只用最终答案的正确性作为奖励信号，还在 RLVR 训练中评判 LLM 的解释——这在过去多年以“过程奖励模型”（PRM）的名义做过，但尚未很成功。
   • 作者引用 DeepSeek R1 论文 4.2 节“Unsuccessful Attempts”的结论：PRM 虽能较好地重排模型生成的前 N 个回答或辅助引导式搜索，但在其大规模强化学习实验中，相比它引入的额外计算开销，其优势有限。

6. 1.2 LLM 关注重点（续）

   • 不过结合上月发布的 DeepSeekMath-V2 论文（作者在《From DeepSeek V3 to V3.2》一文中讨论过），作者认为未来会看到更多以“解释打分”作为训练信号的做法；目前对解释的打分涉及第二个 LLM，这也指向 RLVR 的另一个方向：扩展到数学和代码之外的领域。
   • 作者对 2026 和 2027 的判断是：2026 年 RLVR 扩展与更多推理时扩展（inference-time scaling），2027 年持续学习（continual learning）。

7. 四、也是推理时扩展与工具使用之年

   • 靠扩大训练数据与架构来改进 LLM 仍是行之有效的配方、且仍在持续见效，但尤其在今年，它不再是“唯一”足够的配方。
   • 例证是 GPT 4.5（2025 年 2 月）：据传其规模远大于 GPT 4（以及后来发布的 GPT 5），而单纯扩大规模通常并非最明智的前进方式——其能力或许优于 GPT 4，但增加训练预算被认为“性价比很差”。
   • 取而代之，更好的训练流程（更重视中期和后期训练）与推理扩展（inference scaling）推动了今年的许多进展。
   • 如前所述，达到金牌级（gold-level）数学表现的 DeepSeekMath-V2 说明，推理扩展是按需让 LLM 解决极复杂任务的杠杆之一；GPT Heavy Thinking 或 Pro 是其他例子——因高延迟与高成本，不必事事都用，但面对有挑战的数学或编程问题时密集推理扩展是合理的。
   • 另一大改进来自以工具使用为考量训练 LLM：幻觉是 LLM 最大问题之一，而幻觉率在持续改善，作者认为很大程度上归功于此。比如被问 1998 年世界杯冠军时，模型可通过工具调用传统搜索引擎，并从 FIFA 官网等可信站点抓取信息；数学题可调用计算器 API 等。
   • OpenAI 的 gpt-oss 是今年较早发布的、专门以工具使用为设计考量的开放权重模型之一。

8. 二、GRPO：年度研究宠儿

   • 作者指出，在昂贵 LLM 时代，学术研究近几年有些艰难；但即便预算更小（或正因为如此），学术界仍能做出成为 LLM 进展关键支柱的重要发现。
   • 近年流行例子包括 2021 年的 LoRA 及参数高效微调的相關方法，以及 DPO 及无奖励模型对齐（作为 RLHF 的替代）的相关方法；文中各附了一张基于代码的入门教程图。
   • 在作者所处的圈子里，今年的研究亮点是 GRPO：它虽出自 DeepSeek R1 论文而非学术界，但 RLVR 和 GRPO 在概念上有趣，且视规模而定实验成本不算高得离谱，因此研究者这一年很兴奋。
   • 今年文献中出现了许多对 GRPO 的数学改进（来自公司和学术研究者），并被采纳进最先进 LLM 的训练流程。
   • Olmo 3 采用的改进包括：零梯度信号过滤、主动采样、token 级损失、无 KL 损失、更高裁剪（clip higher）（以上来自 DAPO）、截断重要性采样，以及不做标准差归一化（Dr. GRPO）。
   • DeepSeek V3.2 采用的改进包括：按领域设置不同 KL 强度的 KL 调参（数学为零）、重加权 KL、离策略序列掩码、为 top-p / top-k 保留采样掩码、保留原始 GRPO 优势归一化。

9. 二、GRPO：年度研究宠儿（续）

   • 作者确认这些 GRPO 技巧或修改在实践中影响巨大：采用其中一些或多个修改后，糟糕的更新不再毁掉训练，也不再需要定期重载检查点；即便很短的训练也有明显收益，并给出自己从头实现 GRPO 训练代码的结果截图。
   • 作者在 Build A Reasoning Model (From Scratch) 仓库中提供了原始版 GRPO 脚本供试用，并表示很快会补充带各项修改的消融实验。

10. 三、LLM 架构：走到分岔路口？

    • 架构上，最先进模型仍在使用经典的解码器式 Transformer；但今年开放权重 LLM 或多或少都收敛到使用混合专家（MoE）层，外加至少一种“效率改良”的注意力机制：分组查询注意力、滑动窗口注意力或多头潜在注意力。
    • 在这些相当标准的架构之外，也出现了更激进的、让注意力随序列长度线性扩展的效率改良，例如 Qwen3-Next 和 Kimi Linear 中的 Gated DeltaNet，以及 NVIDIA Nemotron 3 中的 Mamba-2 层。
    • 作者不在此展开细节，指向其最近更新的、约 1.3 万字的《The Big LLM Architecture Comparison》一文。
    • 预测：至少在建模性能方面，最先进水平还会继续沿用 Transformer 架构若干年；同时会看到越来越多 Gated DeltaNet、Mamba 层这类效率与工程改良，因为在当前训练、部署和使用规模下，这对仍在推理服务上大量烧钱的公司来说财务上合理。
    • 也存在其他替代方案：文本扩散模型（text diffusion）目前属实验性研究模型；Google 表示将发布 Gemini Diffusion 模型，其建模质量不会与自家最先进产品竞争，但速度很快，对低延迟需求任务（如代码补全）有吸引力。
    • 两周前开放权重的 LLaDA 2.0 发布，最大的 100B 参数版本是迄今最大的文本扩散模型，与 Qwen3 30B 相当；它没有推高整体最先进水平，但在扩散模型领域仍是值得注意的发布。

11. 四、也是推理扩展与工具使用之年

    • 靠扩展训练数据和架构来改进 LLM 仍是行之有效、且（目前）仍持续见效的公式，但尤其在今年，它不再是“唯一”足够的配方。
    • 例证是 2025 年 2 月的 GPT 4.5：据传它比 GPT 4（以及后来发布的 GPT 5）大得多，而单纯扩大规模通常并不是最明智的前进方式——其能力或许优于 GPT 4，但增加训练预算被认为“性价比很差”。
    • 取而代之，更好的训练流程（更重视中期和后期训练）与推理扩展（inference scaling）推动了今年的许多进展。
    • 如前所述，达到金牌级数学表现的 DeepSeekMath-V2 说明推理扩展是按需让 LLM 解决极复杂任务的杠杆之一；GPT Heavy Thinking 或 Pro 是其他例子——因高延迟与高成本，不必事事都用，但面对有挑战的数学或编程问题时密集推理扩展是合理的。
    • 另一大改进来自以工具使用为考量训练 LLM：幻觉是 LLM 最大问题之一，而幻觉率在持续改善，作者认为很大程度上归功于此，比如被问 1998 年世界杯冠军时，模型可通过工具调用传统搜索引擎、从 FIFA 官网等可信站点抓取信息；数学题可调用计算器 API。
    • OpenAI 的 gpt-oss 是今年较早的、专门按工具使用思路开发的开放权重模型之一。

12. 四、也是推理扩展与工具使用之年（续）

    • 开源生态尚未完全跟上，许多（甚至大多数）工具仍默认以非工具使用模式运行这些 LLM：一是这是较新、仍在演化的范式，工具链需适配；二是安全上更难解决（给 LLM 不受限制的工具访问可能造成安全风险或破坏系统，作者建议的衡量方式是：你会放心让一个新来的实习生拥有这么大的系统权限去做这件事吗）。
    • 作者认为未来几年，本地使用 LLM 时启用和允许工具使用会越来越普遍。

13. 五、年度词汇：刷榜（Benchmaxxing）

    • 若要选一个词或趋势概括今年的 LLM 发展，作者选“benchmaxxing”（刷榜）：强烈关注推高榜单数字，有时到了把基准表现本身当作目标、而非通用能力代理指标的程度。
    • 突出例子是 Llama 4：它在许多成熟基准上得分极高，但用户和开发者上手后发现，这些分数并不反映真实世界的能力与实用性。
    • 正如流行说法所言，测试集若公开就不是真正的测试集；如今的问题是测试集数据不仅（有意或无意地）进入训练语料，还常常在 LLM 开发中被直接优化。
    • 以前即便公开测试集上的分数被抬高，至少模型排名还能保持；文中引用了 2019 年《Do ImageNet Classifiers Generalize to ImageNet?》论文中的标注图说明这一点。
    • 在 LLM 开发中，这已发展到基准数字不再是可信的 LLM 性能指标。但作者认为基准仍是 LLM 必须跨过的门槛：若某模型在基准 Y 上低于 X，可判定它不是好 LLM；但高于 X 并不代表它比同样高于 X 的另一个模型好很多。
    • 另一个考虑是：图像分类器只有一件事要做，而 LLM 要用于翻译、摘要、写代码、头脑风暴、解数学题等诸多任务；有明确指标（如分类准确率）的图像分类器评估，比在确定性与自由形式任务上评估 LLM 简单得多。

14. 五、年度词汇：刷榜（Benchmaxxing）（续）

    • 除在实践中试用 LLM 并不断生成新基准外，这个问题目前没有解决办法；作者另推荐了自己关于 LLM 评估四大方法的文章。

15. 六、面向编程、写作与研究的 AI

    • 这个话题常被提起，作者分享自己关于 LLM 取代人类完成某些任务（甚至岗位）的两点看法。
    • 从高层次看，作者把 LLM 视为给某些职业人士带来“超能力”的工具：用好 LLM 时，可以显著提升个人生产力，消除日常工作中的大量摩擦。
    • 这种作用既包括相对琐碎的任务（如确保章节标题大小写一致），也包括在较大代码库中查找复杂 bug。

16. 6.1 写代码

    • 对于自己在意的代码，作者仍坚持亲手写，比如大模型训练脚本的训练逻辑，一是确保行为符合预期，二是保住自己在这项任务上的知识与专长。
    • 日常杂务式代码交给大模型，例如给训练脚本加 argparse 命令行参数模板，方便从命令行调用。
    • 越来越多地让大模型发现问题、提改进建议、对想法做基本核查，同时自己对所构建的东西保持理解。
    • 在自己专长之外，大模型能自动化原本没时间没精力做的事，例如把 Substack 文章导出备份为 Markdown、清理网站多年积累的重复与不一致 CSS。
    • 关键是把准何时该用、何时不该用大模型，并让用法既能提升专长又让人感到满足。

17. 6.2 代码库与代码库资源

    • 大模型写代码的能力变强了，但作者不认为代码会变得短暂易逝或被淘汰；大模型能让人做出原本要花许多力气才能完成的编码项目。
    • 纯大模型生成的代码库替代不了专家打造的代码库；这类专家代码库也可能是人借助大模型完成的，关键在于有人投入大量时间创建、测试和打磨。
    • 要复制别人的专家代码库得花很多工夫，所以既然已经存在，直接采用是合理选择。
    • 有经验的全栈开发者学过设计模式与取舍、职业生涯中研究并实际搭建过许多平台，能做出比随便提示大模型的人更好的平台。
    • 普通人现在也能搭出平台，即便不是最好的；但靠使用和提示大模型只能走到一定程度，质量可能停滞。
    • 若此人真想改进平台，应深入下去学习别人如何搭建平台，带着更多知识回来更有效地用大模型引导和改善平台设计。

18. 6.3 技术写作与研究

    • 技术写作不会被取代：写一本好的技术书需数千小时和对主题的深入熟悉，大模型可用于提升清晰度、核查技术正确性、探索备选方案或跑小实验，核心仍靠人的判断与专长。
    • 大模型能让技术书更好，帮作者找错、扩充参考文献、减少琐碎工作耗时，把时间留给真正需要创造力与经验的深度工作。
    • 对读者而言，大模型适合快问快答和入门解释，但要建立更深理解就容易变乱；这时按专家设计的学习路径走往往更省时。
    • 在课程或读书过程中用大模型澄清疑问、探索支线、设计测验与练习仍然合理。
    • 主要弊端是题目一难就立刻求助大模型，而先自己啃下来往往学得更牢。
    • 研究同理：大模型适合找相关文献、发现数学记号问题、建议后续实验，但人应始终掌握方向。作者给出两条经验法则：全由人写的文章或书可能还有改进空间；能仅靠提示大模型生成的文章或书，大概不够新颖或不够深入。

19. 6.4 大模型与职业倦怠

    • 较少被讨论的弊端：如果模型负责所有“做”，人主要负责监督，工作会让人觉得空洞。
    • 有人确实喜欢管理系统、编排流程，这无可厚非；但对享受亲手做事的人，这种模式会加速倦怠，在期待用大模型更快出更多成果的公司尤甚。
    • 与难题搏斗后终于做成的满足感，是大模型一次成型给不了的；作者用做披萨打比方：爱做披萨却只用现成面团加配料，做饭就沦为手段。
    • 作者个人感受是写代码比读代码更有趣，提合并请求通常也比审合并请求更有意思（当然并非人人如此）。
    • 国际象棋是可借鉴的可持续用法：引擎几十年前就超过人类，但人类职业象棋仍活跃，棋手用 AI 探索思路、挑战直觉、分析错误，深度前所未有。
    • AI 使用得当能加速学习、扩大个人可承担的范围，应视为伙伴而非替代；若把思考与编码完全外包，会损害动机与长期技能发展。

20. 7. 边缘：私有数据

    • 大模型通用编码、知识问答和写作能力持续提升，很大程度是因为训练流程与范式（如 RLVR）、推理扩展和工具使用方面的改进仍让规模化带来正回报。
    • 除非持续发明新的训练方法或架构（目前无人知道会是什么样），否则终会在某个时点进入平台期，类似 GPT-4 到 GPT-4.5 的情形。
    • 大模型目前能解决大量通用任务和较容易的问题；要扎根特定行业需要更多领域专门化，模型提供方很想获得高质量领域数据，但眼下看起来会是难题。
    • 据作者从多个来源听到的说法以及 The Information 的相关报道，多数被接洽的公司拒绝了这类数据交易，正是因为数据是专有的、是其业务差异化的核心。
    • 作者认为这完全合理：把有朝一日可能带来优势的宝贵专有数据卖给 OpenAI 或 Anthropic，可能有些短视。
    • 大模型开发目前昂贵且规模化难度高，因此只有少数大公司做最先进模型；但随着开发者频繁在雇主间流动、最终被有预算的金融机构、生物科技公司等聘用，开发正日益商品化，这些机构可建受益于私有数据、具竞争力的内部模型。

21. 7. 边缘：私有数据（续）

    • 这类模型不必从零训练，DeepSeek V3.2、Kimi K2、GLM 4.7 等开源发布的模型可被适配和进一步后训练。

22. 8. 从零构建大模型与推理模型

    • 作者今年几乎全部精力都在大模型相关工作；去年决定独立并创办自己的公司，主要为有更多时间做研究、写书、写 Substack 和开展行业合作。
    • 作为独立研究者，咨询项目支撑这套模式的可持续性，覆盖日常开支乃至实验用的云端算力；长期目标是减少咨询、多投入长篇研究与写作。
    • 有不少公司接洽全职岗位，若独立之路走不通也是可行选项，但目前打算保持独立。
    • 《Build A Large Language Model (From Scratch)》获得大量积极反馈，被大学教授当作教材、被学员用于面试准备、被工程师作为落地自建模型的跳板，并已翻译成至少九种语言。
    • 读者询问是否出第二版覆盖更新主题；作者担心降低可读性（如用多头潜在注意力替代标准多头注意力会抬高门槛），因此保持原书不变，转而在 GitHub 仓库持续补充大量进阶附加材料。
    • 续作《Build A Reasoning Model (From Scratch)》承接第一本，从预训练基座模型出发，讲推理时的扩展方法与强化学习技术；目前写到第 6 章（实现用于训练推理模型的可验证奖励强化学习（GRPO）代码）的一半。

23. 8. 从零构建大模型与推理模型（续）

    • 作者估计每章约花 75–120 小时：选题打磨 3–5 小时，内容结构 5–10 小时，初版代码 20 小时，补充实验与读文献 10–20 小时，制图 10–20 小时，初稿文字 10 小时，重写精修 10–20 小时，练习题与实验 5–10 小时，吸收编辑与读者建议 2–5 小时。

24. 9. 2025 年的意外与 2026 年的预测（引言）

    • 作者以整篇文章的主要收获收尾，聚焦 2025 年中自己觉得有些意外的事，以及对 2026 年的预测。