Lilian Weng 博客·发布时间未知
元学习:学会快速学习
Meta-Learning: Learning to Learn Fast
Lil'Log 博客介绍元学习的文章。先定义元学习问题并说明训练与测试方式的一致性,然后按三类方法展开:基于度量的方法(孪生网络、匹配网络、关系网络、原型网络)、基于模型的方法(记忆增强网络、Meta Networks、快速权重),以及基于优化的方法(LSTM 元学习器、MAML、一阶 MAML、Reptile),并附有中文译本链接。
- 分级
- 值得看
- 收录时间
- 2026-10-29
推荐阅读
基于流的深度生成模型
Flow-based Deep Generative Models
Lil'Log 博客关于流模型(flow-based generative models)的文章。先对比 GAN、VAE 与流模型的区别,回顾雅可比矩阵、行列式与变量变换定理,再介绍归一化流(Normalizing Flows)及 RealNVP、NICE、Glow,以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流,最后提到 VAE + Flows 的组合。
VibeThinker-3B 与后训练的力量
VibeThinker-3B and the Strength of Post-Training
Sebastian Raschka 博客文章,详细分析基于 Qwen2.5-Coder-3B 的 VibeThinker-3B 模型,指出其所报告的推理能力提升来自一套细致的后训练流程。文中列出报告基准成绩(AIME 2026 为 94.3、LiveCodeBench v6 为 80.2、IMO-AnswerBench 为 76.4),介绍其沿用标准 Qwen2 解码器结构及配置参数,并概述后训练配方,包括数据合成、两个监督微调阶段、多个强化学习阶段、离线自蒸馏和最后的指令微调。适合关注模型架构与后训练技术的读者。
Stanford CS229: Machine Learning(2026 夏)
斯坦福 CS229 机器学习课程 2026 夏季学期的课程主页,授课教师为 Jehangir Amjad 和 Anand Avati,并列出助教名单。页面给出课程介绍(监督学习、无监督学习、学习理论、强化学习及各类应用)、上课时间地点(周二、周四 16:30–18:15,NVIDIA Auditorium)以及先修要求:具备 Python/NumPy 编程能力(相当于 CS106A/B)、概率论(相当于 CS109 或 MATH151)、多变量微积分与线性代数(相当于 MATH51 或 CS205L)。相关链接需用斯坦福邮箱登录访问。
PBT 不能让 grokking 更快,但能逃离一个什么都无法 grok 的超参数区间 [P]
PBT doesn’t make grokking faster, but it can escape a hyperparameter range where nothing groks [P]
这是一篇 [P] 类社区实验帖,在模 97 加法、35% 训练集的小型 MLP 上对学习率与权重衰减运行基于种群的训练(PBT),与等算力网格搜索对比:最优固定格点约 317±29 步达到 95% 验证准确率,PBT 为 2667±2244 步;从“死区”起点出发时,固定设置与慢速 PBT 均为 0/3,而快速 PBT 3/3 在约 6850 步逃离。消融显示随机供体也能逃离但更晚,重放胜出的 lr/wd 调度在 60 次新初始化中 55 次成功,而几何均值常数设置为 0/60;作者结论是 PBT 是逃离坏区间的救援工具而非加速手段,并列出任务单一、种子数有限、事后选择胜者等局限。适合研究超参数搜索、grokking 现象与训练动力学的人阅读。
Stanford CS224W:图机器学习(2026 秋)
斯坦福大学 CS224W 课程主页,2026 年秋季开设,讲授图机器学习。页面列出课程安排(周二、周四 15:00–16:20,NVIDIA Auditorium 线下授课)、面向注册学生的 Canvas 讲座视频、随课程进度公开的讲义与作业、答疑平台 Ed、无障碍便利申请流程与旁听申请表格,并介绍授课教师 Jure Leskovec、客座教师 Charilaos Kanatsoulis 及助教团队。材料显示非正式注册者可使用公开资源但不获评分。适合想自学图机器学习、跟进斯坦福课程公开材料的人查阅。