推理与持续学习

研究推理计算、长期学习和自我改进,适合关注模型能力进展的读者。

12 条精选 · 入门 2 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 1入门
    博客发布 05-20
    OpenAI

    一个 OpenAI 模型推翻了离散几何中的一个核心猜想

    An OpenAI model has disproved a central conjecture in discrete geometry

    这是 OpenAI 于 2026 年 5 月 20 日发布的文章,介绍一个内部 OpenAI 模型在平面单位距离问题上取得突破。该问题由 Paul Erdős 于 1946 年提出,问的是在平面放置 n 个点时最多有多少对点恰好相距 1。文中称,长期以来人们认为“方格”构造基本最优,而该模型推翻了这一猜想,给出了一族无穷多的构造,文章将其称为 AI 驱动数学的一个里程碑。

  2. 2入门
    博客发布 09-13
    Sebastian Raschka

    LinkedIn Learning 上的 AI 推理模型课程

    AI Reasoning Models Course on LinkedIn Learning

    这是一篇博客文章,Sebastian Raschka 介绍他与 LinkedIn 合作推出的约 90 分钟推理模型课程,讲解推理模型与传统 LLM 的关系及其开发方式。课程分 4 个主要部分、约 30 个短视频,配互动测验和代码示例,内容涉及推理模型、推理时扩展、蒸馏和强化学习。作者说明该课程面向想了解 LLM 概念但不想做大量编码工作的人,属 LinkedIn Premium 内容。

  3. 3进阶
    博客发布 2025-12-30
    Sebastian Raschka

    2025 年大语言模型现状:进展、问题与预测

    Sebastian Raschka 于 2025 年 12 月 30 日发布在个人杂志上的年度回顾文章,梳理 2025 年大语言模型的主要发展,包括被作者称为“推理、RLVR 和 GRPO 之年”的趋势、2025 年 1 月 DeepSeek R1 的发布及其影响,并讨论仍然存在的局限与开放问题以及对后续发展的看法。

  4. 4进阶
    博客发布 07-18
    Sebastian Raschka

    控制大语言模型中的推理努力程度

    Controlling Reasoning Effort in LLMs

    Sebastian Raschka 的文章,从 OpenAI o1、DeepSeek-R1 及可验证奖励强化学习(RLVR)讲起,并以新近发布的 GPT-5.6 模型家族(三个尺寸、每个约五到六档推理努力设置)为例。文章聚焦如何开发具备多种努力模式的推理模型,区别于其此前侧重把常规 LLM 转为推理模型的资料。

  5. 9深入
    博客发布 06-25
    Google Research

    思考以回忆:推理如何解锁大语言模型中的参数化知识

    Thinking to recall: How reasoning unlocks parametric knowledge in LLMs

    Google Research 的研究文章,探讨推理能帮助语言模型回忆简单事实这一看似反常的现象,即使任务不需要复杂的逐步求解。作者提出该现象由两种机制驱动:一是利用生成的推理 token 进行隐式计算,二是生成相关事实以激活对正确答案的回忆。

  6. 10深入
    博客发布 10-28
    Google Research

    睡眠框架:让大语言模型在持续学习中保留知识的新方法

    The sleep framework: A new way for LLMs to retain knowledge in continual learning

    这是 Google Research 的一篇博客,作者为 Ali Behrouz 和 Vahab Mirrokni,提出在持续学习中引入「睡眠阶段」的学习范式。文章指出已部署的大模型知识基本静止、受知识截止日期限制,而持续更新参数易导致灾难性遗忘,仅依赖上下文学习又受限于上下文窗口。受人类大脑在休息时处理和巩固记忆的启发,该方法为模型设计周期性的生命周期,使其持续学习并巩固脆弱的短期信息。页面标注日期为 2026 年 10 月 27 日。

  7. 11深入
    博客必读发布 07-04
    Lilian Weng 博客

    面向自我改进的框架工程(Harness Engineering for Self-Improvement)

    Harness Engineering for Self-Improvement

    Lilian Weng 的一篇博客文章,主题是递归自我改进(RSI)。文章从 I. J. Good(1965)提出的“超智能机器”与 Yudkowsky(2008)的 RSI 定义讲起,讨论现代 AI 中这一反馈回路的含义,包括模型改写自身权重,或改进训练流程与部署系统从而产生更强的后继模型,并提及前沿实验室研究加速的情况。

模型原理与训练的其他细分主题