课程
Google 机器学习速成课程
Google Machine Learning Crash Course
Google 面向开发者提供的机器学习入门课程页面。页面说明该课程自 2018 年起已有大量学习者使用，并推出了覆盖近期 AI 进展、更侧重互动学习的新版。内容按主题组织，列出线性回归、逻辑回归、分类、数值数据处理、类别数据处理等模块，其中线性回归部分涉及线性模型、损失、梯度下降与超参数调优，分类部分涉及阈值、混淆矩阵、准确率、精确率、召回率与 AUC。
模型原理与训练
学习模型结构、训练方法与能力形成机制，适合进阶学习者和研究者。
135 条精选 · 8 个细分主题
神经网络与注意力
52 条精选学习神经网络、Transformer、注意力与表示学习，适合补基础的读者。
-
1入门
-
2入门课程必读
CMU 10-301/10-601：机器学习导论（2026 秋）
卡内基梅隆大学 2026 年秋季 10-301/10-601 机器学习导论课程主页，授课教师为 Matt Gormley 和 Bryan Wilder。页面说明课程系统讲授现代机器学习的方法论、数学与算法，并列出课程规模：26 讲、9 次作业、3 次编程测试、3 次考试，以及两个分段的上课时间。已公开的课程模块按主题排布，包括分类与回归（机器学习作为函数逼近、决策树、过拟合与 k 近邻、模型选择与实验设计）、线性模型（感知机、线性回归、机器学习中的优化、随机梯度下降与逻辑回归、特征工程）等，并配有编程实验和习题课安排。
-
3入门课程发布 05-25
MIT 6.S191：深度学习导论
MIT 6.S191：Introduction to Deep Learning
MIT 6.S191 深度学习入门课程网站。课程定位为高强度的短期训练营，讲授深度学习基础及其在自然语言处理、计算机视觉、生物等领域的应用，内容包括深度学习算法基础、构建神经网络的实践经验，以及大语言模型和生成式 AI 等前沿话题，并以项目提案竞赛收尾。先修要求假设学习者掌握微积分（求导）和线性代数（矩阵乘法），有 Python 经验有帮助但非必需，也欢迎旁听。页面显示 2026 年课程时间为 2026 年 3 月 30 日至 5 月 25 日每周一美东时间上午 10 点，线上版本每周同步发布，并列出各讲主题与幻灯片、视频、代码实验室的开放安排。
模型解释与探测
12 条精选研究模型内部表示、电路和行为成因，适合希望理解模型机制的读者。
-
1深入博客
深度神经网络严重过拟合了吗？
Are Deep Neural Networks Dramatically Overfitted? | Lil'Log
Lil'Log 博客讨论深度学习泛化问题的文章。从经典压缩与模型选择理论（奥卡姆剃刀、最小描述长度、柯尔莫哥洛夫复杂度、Solomonoff 推断）讲起，讨论深度模型的表达能力（万能逼近定理、两层网络有限样本表达性、可学习随机噪声），然后分析“是否严重过拟合”以及现代风险曲线、正则化并非泛化关键、内在维度、异构层鲁棒性和彩票假设。
-
2深入教程发布 2022-09-09
神经正切核背后的数学
Lilian Weng 在 Lil'Log 博客上关于神经正切核（NTK）的数学长文。文章从过参数化神经网络易于拟合数据且泛化良好、随机初始化下优化结果稳定的现象出发，介绍 NTK（Jacot 等，2018）作为解释神经网络在梯度下降训练中演化过程的核，并深入讨论其动机与定义，以及在无限宽度网络下刻画 NTK、证明不同初始化时确定性收敛的推导。文中先铺垫向量对向量导数、微分方程、中心极限定理、泰勒展开、核方法与高斯过程等基础，再涉及无限宽度网络、与高斯过程的联系、确定性 NTK、线性化模型与惰性训练，并附引用。作者说明与以往文章不同，本篇聚焦少数核心论文而非广泛文献综述。适合具备一定数学基础、想理解 NTK 理论的人阅读。
-
3深入课程发布 10-17
斯坦福 EE292R 面向科学的 AI 与数据 | 2026 年秋季 | 视网膜中的计算模型
Stanford EE292R AI and Data for Science | Autumn 2026 | Models of Computation in the Retina
这是斯坦福课程 EE292R“面向科学的 AI 与数据”2026 年秋季学期的一讲录像，讲者是斯坦福神经生物学教授 Stephen Baccus。该讲围绕早期视觉系统中可机制解释的计算模型展开，带有计算神经科学与机制可解释性方向的标签。
混合专家模型
21 条精选学习 MoE 的专家路由、共享、稀疏计算和训练，适合模型研究与工程人员。
-
1入门博客发布 10-20
[AINews] 今天没什么大事发生
[AINews] not much happened today
这是 Latent Space 旗下 AINews 的一期汇总，覆盖 2026 年 10 月 16 日至 19 日的 AI 新闻，材料称其检查了 12 个 subreddit 和 544 个 Twitter 账号。正文重点介绍 DeepSeek V4.1 Flash 1017，包括其 MoE 规格（552B 总参数/16B 激活、1M token 上下文、MIT 许可）、定价、可用的 API 平台、训练方式说法及 Artificial Analysis 的评测结果，并提及 MiniMax M3.1 Flash 和 Mercury 3。文中还包含 AIE CODE 活动征集演讲者的通知。
-
2入门博客发布 10-24
【AINews】Kimi 3.1 Pro 104BA-2.8T：Fable-5.1 级开源权重把闭源 AI 领先优势缩至 1 个月……并推出 2–3 倍速度的 Pro 高速 API
[AINews] Kimi 3.1 Pro 104BA-2.8T: Fable-5.1-Class Open Weights narrows Closed-AI lead to 1 month... and Pro Highspeed API with 2-3× speed
Latent Space 的 AINews 每日汇总（2026 年 10 月 22–23 日），头条为 Moonshot 发布 Kimi K3.1 Pro。该模型是在 Kimi K3 基础上以更大后训练算力得到的后训练版本，团队优化了 RL 框架、长上下文推理、训练效率、沙箱基础设施与 rollout 调度等，以支持跨数百个下游领域的联合强化学习。文章还提到其开源权重性能超过 Fable 5.1，并提供 2–3 倍速度的高速 API，另含 Reddit 与 Twitter 社区反应摘要。
-
3入门博客必读发布 10-15
Muse Spark 开放版
Muse Spark Open
Meta AI 研究博客介绍新发布的开放权重模型 Muse Spark Open，称其总参数 816B、激活 42B，上下文窗口为 100 万 token，原生多模态，面向编程与智能体任务。文中还称它可通过两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 在本地桌面运行，并已在 Baseten、Fireworks AI、Groq、Modal、Nebius 等 API 平台上线。
预训练与数据
16 条精选学习预训练、数据配比、合成数据和训练效率，适合模型训练实践者。
-
1入门博客发布 05-12
在 AWS 上进行基础模型训练与推理的构建模块
Building Blocks for Foundation Model Training and Inference on AWS
Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。
-
2进阶课程发布 2024-01-26
MIT：以数据为中心的 AI 导论（2024）
MIT：Introduction to Data-Centric AI（2024）
MIT CSAIL 于 2024 年 IAP 开设的“Introduction to Data-Centric AI”课程网站，页面称这是首个关于数据为中心 AI（DCAI）的课程。课程主张除改进模型外，改进数据集本身往往也是提升实际机器学习表现的最佳途径，并把数据改进从依赖试错与直觉的手工做法变成系统性的工程学科；内容侧重监督学习（如分类）中用于发现和修复数据问题、构建更好数据集的算法，强调实用而非模型数学细节，目的是缓解“垃圾进、垃圾出”问题。日程列出了数据为中心与模型为中心 AI、标签错误与置信学习等主题。
-
3进阶博客
广义语言模型
Generalized Language Models
Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。
微调与模型适配
16 条精选学习监督微调、LoRA、模型合并和领域适配，适合定制模型的开发者。
-
1入门博客发布 2025-12-08
机器学习/AI 的 Hello World：从随机森林到 RLVR
ML/AI Hello Worlds: From RF to RLVR
Sebastian Raschka 的博客文章，延续他每两年整理一次的“Hello World”入门示例清单，列出 2013 至 2025 年的代表性最小示例，包括 Iris 数据集上的随机森林、Titanic 上的 XGBoost、MNIST 上的多层感知机、CIFAR-10 上的 AlexNet、IMDb 影评上的 DistilBERT、Alpaca 50k 上用 LoRA 微调的 Llama 2，以及 MATH-500 上用 RLVR 的 Qwen3，并逐一给出背景说明和代码示例出处。
-
2入门课程发布 05-25
MIT 6.S191：深度学习导论
MIT 6.S191：Introduction to Deep Learning
MIT 6.S191 深度学习入门课程网站。课程定位为高强度的短期训练营，讲授深度学习基础及其在自然语言处理、计算机视觉、生物等领域的应用，内容包括深度学习算法基础、构建神经网络的实践经验，以及大语言模型和生成式 AI 等前沿话题，并以项目提案竞赛收尾。先修要求假设学习者掌握微积分（求导）和线性代数（矩阵乘法），有 Python 经验有帮助但非必需，也欢迎旁听。页面显示 2026 年课程时间为 2026 年 3 月 30 日至 5 月 25 日每周一美东时间上午 10 点，线上版本每周同步发布，并列出各讲主题与幻灯片、视频、代码实验室的开放安排。
-
3入门博客发布 2023-04-26
使用低秩适应（LoRA）进行参数高效的大语言模型微调
Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA)
Sebastian Raschka 的博客文章，介绍低秩适应（LoRA）这一参数高效微调技术。文章先说明为何要微调预训练大模型、全参数微调的计算成本问题，再引出 LoRA 的核心思路，并将其与 prefix tuning、adapter 等其他参数高效方法做比较。适合对大模型微调原理和参数高效方法感兴趣的读者。
强化学习与对齐
30 条精选学习奖励、偏好优化和智能体后训练，适合模型训练与对齐研究者。
-
1入门博客发布 09-13
LinkedIn Learning 上的 AI 推理模型课程
AI Reasoning Models Course on LinkedIn Learning
这是一篇博客文章，Sebastian Raschka 介绍他与 LinkedIn 合作推出的约 90 分钟推理模型课程，讲解推理模型与传统 LLM 的关系及其开发方式。课程分 4 个主要部分、约 30 个短视频，配互动测验和代码示例，内容涉及推理模型、推理时扩展、蒸馏和强化学习。作者说明该课程面向想了解 LLM 概念但不想做大量编码工作的人，属 LinkedIn Premium 内容。
-
2进阶博客
多臂老虎机问题及其解法
The Multi-Armed Bandit Problem and Its Solutions
这篇博客以“去哪家餐厅吃饭”等生活化例子说明利用与探索的权衡，界定多臂老虎机问题，并介绍若干策略：ε-贪心、基于 Hoeffding 不等式的置信上界 UCB1、贝叶斯 UCB、汤普森采样，最后附案例研究与总结。作者提到针对伯努利老虎机的算法实现在其 GitHub 仓库 lilianweng/multi-armed-bandit 中。
-
3进阶博客发布 2022-05-08
面向推荐系统的 Bandit 方法
Bandits for Recommender Systems
这篇博客文章讲解 Bandit 方法如何通过建模不确定性并主动探索来解决推荐系统的反馈回路问题，尤其适用于物品集合快速变化（新闻、广告、推文）或流量较低的场景。文中简要讨论了 ε-greedy、UCB 和 Thompson Sampling 三种主要算法，并提及工业界实现。适合做推荐系统、关注探索与利用问题的人阅读。
蒸馏与知识迁移
11 条精选学习教师模型、自蒸馏和同策略蒸馏，适合压缩与迁移模型能力的读者。
-
1入门课程发布 10-26
首场开放模型生态公开课，讨论蒸馏与风险等议题
Nathan Lambert 的 X 帖子，宣布其第一场关于开放模型生态的公开课，涵盖构成该生态的各个部分以及决定其走向的开放问题与争论，包括蒸馏在其中扮演的角色、如何管理风险、未来模型获取方式会如何变化。帖子列出章节时间点：什么是开放模型、为何关注开放模型、当前最强开放模型的竞争力、开放模型如何构建（蒸馏的作用）、人们是否真的在用开放模型、下一步走向及结论，并表示大约每半年回顾一次这些问题。适合关注开放模型生态与政策讨论的研究者或从业者阅读。
-
2入门博客发布 09-13
LinkedIn Learning 上的 AI 推理模型课程
AI Reasoning Models Course on LinkedIn Learning
这是一篇博客文章，Sebastian Raschka 介绍他与 LinkedIn 合作推出的约 90 分钟推理模型课程，讲解推理模型与传统 LLM 的关系及其开发方式。课程分 4 个主要部分、约 30 个短视频，配互动测验和代码示例，内容涉及推理模型、推理时扩展、蒸馏和强化学习。作者说明该课程面向想了解 LLM 概念但不想做大量编码工作的人，属 LinkedIn Premium 内容。
-
3进阶课程发布 10-24
从零构建推理模型：完整视频课程
Building Reasoning Models from the Ground Up: A Full Video Course
这是 Ahead of AI 作者发布的配套视频课程介绍，包含 8 个从零构建推理模型的编程视频，共约 11 小时，用 Python 和 PyTorch 实现推理扩展、强化学习、蒸馏等方法。课程从一个预训练 LLM 出发，实现评估与改进该模型的方法，是其此前《从零编程 LLM》课程的续篇，但不需要先修该课程。适合希望动手理解推理模型内部机制的人。
推理与持续学习
12 条精选研究推理计算、长期学习和自我改进，适合关注模型能力进展的读者。
-
1入门博客发布 05-20
一个 OpenAI 模型推翻了离散几何中的一个核心猜想
An OpenAI model has disproved a central conjecture in discrete geometry
这是 OpenAI 于 2026 年 5 月 20 日发布的文章，介绍一个内部 OpenAI 模型在平面单位距离问题上取得突破。该问题由 Paul Erdős 于 1946 年提出，问的是在平面放置 n 个点时最多有多少对点恰好相距 1。文中称，长期以来人们认为“方格”构造基本最优，而该模型推翻了这一猜想，给出了一族无穷多的构造，文章将其称为 AI 驱动数学的一个里程碑。
-
2入门博客发布 09-13
LinkedIn Learning 上的 AI 推理模型课程
AI Reasoning Models Course on LinkedIn Learning
这是一篇博客文章，Sebastian Raschka 介绍他与 LinkedIn 合作推出的约 90 分钟推理模型课程，讲解推理模型与传统 LLM 的关系及其开发方式。课程分 4 个主要部分、约 30 个短视频，配互动测验和代码示例，内容涉及推理模型、推理时扩展、蒸馏和强化学习。作者说明该课程面向想了解 LLM 概念但不想做大量编码工作的人，属 LinkedIn Premium 内容。
-
3进阶博客发布 2025-12-30
2025 年大语言模型现状：进展、问题与预测
Sebastian Raschka 于 2025 年 12 月 30 日发布在个人杂志上的年度回顾文章，梳理 2025 年大语言模型的主要发展，包括被作者称为“推理、RLVR 和 GRPO 之年”的趋势、2025 年 1 月 DeepSeek R1 的发布及其影响，并讨论仍然存在的局限与开放问题以及对后续发展的看法。