从零实现 LLM 架构

推出 Gemma 4 12B：统一的无编码器多模态模型

Introducing Gemma 4 12B: a unified, encoder-free multimodal model

Google DeepMind 发布 Gemma 4 12B，定位为可直接在笔记本电脑上运行智能体式多模态能力的模型，介于轻量 E4B 与 26B MoE 之间，内存占用更小，是其中等规模模型中首个支持原生音频输入的。文章称其采用无多模态编码器的统一架构，视觉和音频输入直接进入 LLM 主干，并提到 Gemma 4 系列累计下载量已超过 1.5 亿次。

从自编码器到 Beta-VAE

From Autoencoder to Beta-VAE

Lil'Log 博客梳理自编码器及其变体的文章。依次介绍普通自编码器、去噪、稀疏和收缩自编码器，然后重点讲变分自编码器 VAE（ELBO 损失与重参数化技巧）、Beta-VAE，以及后续加入的 VQ-VAE、VQ-VAE-2 和 TD-VAE 章节，附符号表。

开放权重模型的春之梦：2026 年 1–2 月的 10 个架构

A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026

Sebastian Raschka 于 2026 年 2 月 25 日发布的文章，按时间顺序介绍 2026 年 1 月底至 2 月发布的十个开放权重模型，如 Arcee AI Trinity Large、Kimi K2.5、Step 3.5 Flash、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5、Cohere Tiny Aya 等，重点比较它们在架构上的异同，并引用作者此前的大模型架构对比文章作为技术背景。

Stanford CS224N：基于深度学习的自然语言处理（2026 冬）

斯坦福大学 2026 年冬季 CS224N《Natural Language Processing with Deep Learning》课程网站，授课教师为 Diyi Yang 与 Yejin Choi，并列出课程管理人员和助教名单。课程介绍称近年深度学习方法在许多 NLP 任务上取得很高表现，学生将获得对前沿 NLP 神经网络的系统入门。讲座为太平洋时间周二、周四 16:30–17:50，在 NVIDIA Auditorium 举行并通过 Canvas 上的 Panopto 直播；选修学生的录播需登录 Canvas，非选修者无法观看，但 2024 年版完整课程视频在 YouTube 免费公开。

从 GAN 到 WGAN

From GAN to WGAN

这篇博客从博弈论视角讲解生成对抗网络（GAN），先用 KL 与 JS 散度铺垫，推导判别器的最优值和全局最优，解释损失函数的含义，再讨论 GAN 训练中的问题（难以达到纳什均衡、低维支撑、梯度消失、模式崩塌、缺乏合适评价指标）和改进训练方法。最后介绍 Wasserstein GAN，包括 Wasserstein 距离的定义、相比 JS/KL 散度的优势，以及将其用作 GAN 损失函数，并附有生成宝可梦图像的示例。文中注明该文有韩文译本并发布在 arXiv 上。

2025 年大语言模型现状：进展、问题与预测

Sebastian Raschka 于 2025 年 12 月 30 日发布在个人杂志上的年度回顾文章，梳理 2025 年大语言模型的主要发展，包括被作者称为“推理、RLVR 和 GRPO 之年”的趋势、2025 年 1 月 DeepSeek R1 的发布及其影响，并讨论仍然存在的局限与开放问题以及对后续发展的看法。