全部资源

全部 AI 精选,可按分级、类型筛选,按关键词搜索。

810 条精选
博客
Lilian Weng 博客

基于流的深度生成模型

Flow-based Deep Generative Models

Lil'Log 博客关于流模型(flow-based generative models)的文章。先对比 GAN、VAE 与流模型的区别,回顾雅可比矩阵、行列式与变量变换定理,再介绍归一化流(Normalizing Flows)及 RealNVP、NICE、Glow,以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流,最后提到 VAE + Flows 的组合。

博客
Lilian Weng 博客

从自编码器到 Beta-VAE

From Autoencoder to Beta-VAE

Lil'Log 博客梳理自编码器及其变体的文章。依次介绍普通自编码器、去噪、稀疏和收缩自编码器,然后重点讲变分自编码器 VAE(ELBO 损失与重参数化技巧)、Beta-VAE,以及后续加入的 VQ-VAE、VQ-VAE-2 和 TD-VAE 章节,附符号表。

博客
Lilian Weng 博客

多臂老虎机问题及其解法

The Multi-Armed Bandit Problem and Its Solutions

这篇博客以“去哪家餐厅吃饭”等生活化例子说明利用与探索的权衡,界定多臂老虎机问题,并介绍若干策略:ε-贪心、基于 Hoeffding 不等式的置信上界 UCB1、贝叶斯 UCB、汤普森采样,最后附案例研究与总结。作者提到针对伯努利老虎机的算法实现在其 GitHub 仓库 lilianweng/multi-armed-bandit 中。

博客
Lilian Weng 博客

用于 Sim2Real 迁移的域随机化

Domain Randomization for Sim2Real Transfer

Lil'Log 博客介绍机器人领域域随机化(Domain Randomization)的文章。先说明仿真到真实迁移的困难与系统辨识等思路,然后讲均匀域随机化的做法,从优化和元学习两个角度解释其原理,并介绍面向任务性能的引导式域随机化,包括匹配真实数据分布和借助仿真器数据引导两类方法。

博客
Lilian Weng 博客

面向初学者的目标检测 第一部分:梯度向量、HOG 与选择性搜索

Object Detection for Dummies Part 1: Gradient Vector, HOG, and SS

Lilian Weng 的“Object Detection for Dummies”系列第一篇,介绍目标识别与检测之前的基础图像处理概念与图像分割方法,包括图像梯度向量、常见图像处理核、方向梯度直方图(HOG)、Felzenszwalb 图像分割算法,以及选择性搜索及其配置变化。文中说明本部分不涉及深度神经网络,深度学习检测模型留待第二、三部分。

博客发布 2025-07-19
Sebastian Raschka

大型 LLM 架构对比

The Big LLM Architecture Comparison

Sebastian Raschka 于 2025 年 7 月 19 日发布的文章(末次更新标注为 2026 年 4 月 2 日,加入 Gemma 4),比较从 DeepSeek V3 到 GLM-5 等现代 LLM 的架构设计。文中以 GPT-2 为参照,讨论位置嵌入从绝对位置到 RoPE、多头注意力转向分组查询注意力、SwiGLU 取代 GELU 等变化,并说明其重点在结构本身而非基准表现或训练算法。

教程发布 2025-06-17
Sebastian Raschka

从头理解并用代码实现 LLM 中的 KV 缓存

Understanding and Coding the KV Cache in LLMs from Scratch

Sebastian Raschka 于 2025 年 6 月 17 日发布的技术教程,讲解 LLM 推理中 KV 缓存的工作原理,并给出一个从零实现、便于阅读的代码示例。文中说明 KV 缓存存储推理阶段可复用的 key 与 value 中间计算结果,可显著加快文本生成;代价是增加代码复杂度与内存需求,且不能用于训练。作者提到该主题未包含在其《Building a Large Language Model From Scratch》一书中。

博客发布 03-14
Sebastian Raschka

走进大语言模型架构图库

Inside the LLM Architecture Gallery

Sebastian Raschka 的博客文章,介绍他建立的 LLM Architecture Gallery(大语言模型架构图库):把他为阅读新模型报告而绘制的架构图集中在一处,截至更新时收录来自 42 篇文章和报告的 93 张模型卡片,覆盖 GPT-2、Llama 3 等稠密架构、DeepSeek V3、Kimi K2 等混合专家模型以及注意力与循环/状态空间层结合的混合架构;文中说明了每张卡片的架构图、原文链接和参数事实表等内容。

博客发布 03-12
Sebastian Raschka

Nemotron 3 Super 吞吐量笔记

Nemotron 3 Super Throughput Notes

Sebastian Raschka 的博客文章,基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置,介绍这款开放权重模型的面向吞吐量的设计:120.6B 总参数、每轮前向 12.7B 激活参数,88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力,并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。

博客发布 02-25
Sebastian Raschka

开放权重模型的春之梦:2026 年 1–2 月的 10 个架构

A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026

Sebastian Raschka 于 2026 年 2 月 25 日发布的文章,按时间顺序介绍 2026 年 1 月底至 2 月发布的十个开放权重模型,如 Arcee AI Trinity Large、Kimi K2.5、Step 3.5 Flash、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5、Cohere Tiny Aya 等,重点比较它们在架构上的异同,并引用作者此前的大模型架构对比文章作为技术背景。

博客发布 2025-12-30
Sebastian Raschka

2025 年大语言模型现状:进展、问题与预测

Sebastian Raschka 于 2025 年 12 月 30 日发布在个人杂志上的年度回顾文章,梳理 2025 年大语言模型的主要发展,包括被作者称为“推理、RLVR 和 GRPO 之年”的趋势、2025 年 1 月 DeepSeek R1 的发布及其影响,并讨论仍然存在的局限与开放问题以及对后续发展的看法。

博客发布 2025-12-08
Sebastian Raschka

机器学习/AI 的 Hello World:从随机森林到 RLVR

ML/AI Hello Worlds: From RF to RLVR

Sebastian Raschka 的博客文章,延续他每两年整理一次的“Hello World”入门示例清单,列出 2013 至 2025 年的代表性最小示例,包括 Iris 数据集上的随机森林、Titanic 上的 XGBoost、MNIST 上的多层感知机、CIFAR-10 上的 AlexNet、IMDb 影评上的 DistilBERT、Alpaca 50k 上用 LoRA 微调的 Llama 2,以及 MATH-500 上用 RLVR 的 Qwen3,并逐一给出背景说明和代码示例出处。