全部资源

可视化的信息论

Visual Information Theory

这是 colah 博客 2015 年 10 月的一篇文章，尝试用可视化方式讲解信息论的核心概念，如不确定性有多大、知道一个问题的答案能在多大程度上说明另一个问题的答案等，并提到这些概念在数据压缩、量子物理和机器学习等领域的应用。文章开篇先介绍如何用图示表示简单概率分布，作为后续内容的基础。适合对信息论概念感兴趣、希望借助图示理解抽象定义的读者。

Stanford CS224N：基于深度学习的自然语言处理（2026 冬）

斯坦福大学 2026 年冬季 CS224N《Natural Language Processing with Deep Learning》课程网站，授课教师为 Diyi Yang 与 Yejin Choi，并列出课程管理人员和助教名单。课程介绍称近年深度学习方法在许多 NLP 任务上取得很高表现，学生将获得对前沿 NLP 神经网络的系统入门。讲座为太平洋时间周二、周四 16:30–17:50，在 NVIDIA Auditorium 举行并通过 Canvas 上的 Panopto 直播；选修学生的录播需登录 Canvas，非选修者无法观看，但 2024 年版完整课程视频在 YouTube 免费公开。

Stanford CS231n：计算机视觉中的深度学习（2026 春）

斯坦福大学 2026 年春季 CS231n《Deep Learning for Computer Vision》课程网站。页面用一个在浏览器中实时运行的卷积神经网络示例（CIFAR-10 分类，架构为 [conv-relu-conv-relu-pool]x3-fc-softmax，共 17 层、7000 参数，用 ConvNetJS 训练）说明输入图像如何经一系列函数变换为类别概率。课程简介指出视觉识别（图像分类、定位、检测）是搜索、图像理解、地图、医疗、无人机、自动驾驶等应用的核心，深度学习显著提升了这些系统的性能，并说明这是一门深度学习课程。

机器学习专业课程（Coursera）

Machine Learning Specialization（Coursera）

这是 Coursera 上由 Andrew Ng 等讲授的“机器学习专业课程”页面，共 3 门课，号称适合初学者的入门级课程，页面显示已有 854,778 人报名、课程评分 4.9（39,437 条评价），约 2 个月、每周 10 小时的灵活进度。学习内容涵盖用 NumPy 和 scikit-learn 构建模型、线性与逻辑回归、用 TensorFlow 训练神经网络做多分类、决策树与集成方法、聚类与异常检测、协同过滤推荐系统以及深度强化学习。适合机器学习零基础、想系统入门的自学者了解课程内容。

CMU 10-301/10-601：机器学习导论（2026 秋）

卡内基梅隆大学 2026 年秋季 10-301/10-601 机器学习导论课程主页，授课教师为 Matt Gormley 和 Bryan Wilder。页面说明课程系统讲授现代机器学习的方法论、数学与算法，并列出课程规模：26 讲、9 次作业、3 次编程测试、3 次考试，以及两个分段的上课时间。已公开的课程模块按主题排布，包括分类与回归（机器学习作为函数逼近、决策树、过拟合与 k 近邻、模型选择与实验设计）、线性模型（感知机、线性回归、机器学习中的优化、随机梯度下降与逻辑回归、特征工程）等，并配有编程实验和习题课安排。

斯坦福 CS336：从零构建语言模型（2026 春）

斯坦福大学 2026 年春季 CS336 “Language Modeling from Scratch” 课程主页，授课教师为 Tatsunori Hashimoto 和 Percy Liang，另列有多名课程助理及各自的答疑时间，课程录像发布在 YouTube 播放列表。页面介绍课程定位：语言模型是现代自然语言处理应用的基础，课程通过带学生走完开发语言模型的完整流程，帮助其全面理解语言模型。页面还提供往期开课（2025 春、2024 春）链接和课程联系方式说明。课程涉及大规模模型训练，适合具备深度学习与系统实现基础、希望深入理解语言模型构建过程的人了解。

RLHF 书：基于人类反馈的强化学习与大模型后训练

RLHF Book：Reinforcement Learning from Human Feedback and LLM Post-Training

一本关于基于人类反馈的强化学习（RLHF）与大模型后训练的书的网页版，纸质版于 2026 年 7 月首次出版。页面主要记录网页版与纸质版之间的差异，包括带勾标记表示已纳入 2026 年 10 月第一次重印的网页勘误。内容增补涉及：在第 3 章扩展标准训练配方并加入 MOPD 与智能体后训练示例和新流程图；第 16 章新增智能体评估小节；第 5 章澄清结果奖励模型的历史并重组奖励建模章节；第 6 章整理 RL 符号（轨迹采样分布与时间下标）；第 12 章扩展在线策略蒸馏内容并更名为“合成数据与蒸馏”；以及正则化章节的次序调整。作者提到考虑几年后推出改名为“后训练书”的第二版。

Stanford CS329A：自我改进的 AI 智能体（2025 秋）

斯坦福大学 CS329A“Self-Improving AI Agents”2025 年秋季课程主页，教师为 Aakanksha Chowdhery 和 Azalia Mirhoseini。课程介绍称其涵盖智能体通过与自身及环境交互持续自我提升的技术，包括宪法式 AI、使用验证器、测试时计算扩展、搜索与 LLM 结合、基于 RL 的训练时扩展，以及工具使用、代码、记忆增强、多模态能力编排、多步推理与规划、鲁棒评估框架等；课程以阅读最新论文、课堂讨论和原创研究项目为主，并邀请学界与业界讲者分享编码智能体、STEM 研究助手、机器人自主系统等应用。课程时间为周一、周五 16:30–17:50（太平洋时间），地点 Skilling Auditorium。

斯坦福 EE364A：凸优化 I（2026 夏）

这是斯坦福 EE364A（与 CME364a 等同）的课程主页，页面注明基本课程信息在此，详细更新内容在 Ed 平台。课程在 2025–2026 夏季学期由 Logan Bell 和 Nikhil Devanathan 讲授，每周二、周四 12:00–14:00 在 Skilling Auditorium 上课，首次课为 6 月 23 日，第一周答疑需邮件预约，课程通过 CGOE 平台向注册学生提供录像；因讲座有录像，允许与同期其他课程同时选修，期末考试另设时间。页面还提供完整幻灯片 PDF、CVXPY 教程及若干凸优化应用示例链接，并列出课程助教。适合想了解凸优化入门课程安排和学习资源的人阅读。

神经网络：从零到高手（Neural Networks: Zero to Hero）

Neural Networks: Zero to Hero

Andrej Karpathy 的课程页面，讲的是用代码从零构建神经网络，从反向传播基础逐步搭到 GPT 这类现代深度神经网络，并以语言模型为主要载体。页面列出课程大纲及每讲时长与内容，例如用 micrograd 讲解反向传播与网络训练、用 makemore 实现二元字符级语言模型并介绍 torch.Tensor 与语言模型训练、采样和损失评估框架；先修要求为熟练的 Python 编程和入门级数学（如导数、高斯），并给出 Discord 交流频道。材料显示其面向具备基础编程与数学背景、想从零动手实现神经网络的学习者。

一窥强化学习（长文）

A (Long) Peek into Reinforcement Learning

这篇长篇博客以 AlphaGo、AlphaGo Zero 和 OpenAI 在 DOTA2 1v1 中的成果为引子，概述强化学习。内容涵盖核心概念（转移与奖励模型、策略、价值函数、最优价值与策略）、马尔可夫决策过程、贝尔曼期望与最优方程，以及主要方法：动态规划（策略评估、策略改进、策略迭代）、蒙特卡洛方法、时序差分学习（自举、值估计、SARSA、Q-Learning、DQN）、TD 与 MC 结合、策略梯度（策略梯度定理、REINFORCE、Actor-Critic、A3C）和进化策略，并讨论利用-探索困境与致命三元组问题，最后附 AlphaGo Zero 案例。文中注明该文有中文译本。

注意力？注意力！

Attention? Attention!

Lil'Log 博客介绍注意力机制的文章。从 Seq2Seq 模型的问题出发，给出注意力的定义和各类变体（自注意力、软/硬注意力、全局/局部注意力），并介绍神经图灵机、指针网络和 Transformer（键值查询、多头自注意力、编码器-解码器整体结构），以及 SNAIL 和自注意力 GAN。