全部资源

用于 Sim2Real 迁移的域随机化

Domain Randomization for Sim2Real Transfer

Lil'Log 博客介绍机器人领域域随机化（Domain Randomization）的文章。先说明仿真到真实迁移的困难与系统辨识等思路，然后讲均匀域随机化的做法，从优化和元学习两个角度解释其原理，并介绍面向任务性能的引导式域随机化，包括匹配真实数据分布和借助仿真器数据引导两类方法。

面向初学者的目标检测 第一部分：梯度向量、HOG 与选择性搜索

Object Detection for Dummies Part 1: Gradient Vector, HOG, and SS

Lilian Weng 的“Object Detection for Dummies”系列第一篇，介绍目标识别与检测之前的基础图像处理概念与图像分割方法，包括图像梯度向量、常见图像处理核、方向梯度直方图（HOG）、Felzenszwalb 图像分割算法，以及选择性搜索及其配置变化。文中说明本部分不涉及深度神经网络，深度学习检测模型留待第二、三部分。

走进大语言模型架构图库

Inside the LLM Architecture Gallery

Sebastian Raschka 的博客文章，介绍他建立的 LLM Architecture Gallery（大语言模型架构图库）：把他为阅读新模型报告而绘制的架构图集中在一处，截至更新时收录来自 42 篇文章和报告的 93 张模型卡片，覆盖 GPT-2、Llama 3 等稠密架构、DeepSeek V3、Kimi K2 等混合专家模型以及注意力与循环/状态空间层结合的混合架构；文中说明了每张卡片的架构图、原文链接和参数事实表等内容。

Nemotron 3 Super 吞吐量笔记

Nemotron 3 Super Throughput Notes

Sebastian Raschka 的博客文章，基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置，介绍这款开放权重模型的面向吞吐量的设计：120.6B 总参数、每轮前向 12.7B 激活参数，88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力，并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。

开放权重模型的春之梦：2026 年 1–2 月的 10 个架构

A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026

Sebastian Raschka 于 2026 年 2 月 25 日发布的文章，按时间顺序介绍 2026 年 1 月底至 2 月发布的十个开放权重模型，如 Arcee AI Trinity Large、Kimi K2.5、Step 3.5 Flash、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5、Cohere Tiny Aya 等，重点比较它们在架构上的异同，并引用作者此前的大模型架构对比文章作为技术背景。

2025 年大语言模型现状：进展、问题与预测

Sebastian Raschka 于 2025 年 12 月 30 日发布在个人杂志上的年度回顾文章，梳理 2025 年大语言模型的主要发展，包括被作者称为“推理、RLVR 和 GRPO 之年”的趋势、2025 年 1 月 DeepSeek R1 的发布及其影响，并讨论仍然存在的局限与开放问题以及对后续发展的看法。

机器学习/AI 的 Hello World：从随机森林到 RLVR

ML/AI Hello Worlds: From RF to RLVR

Sebastian Raschka 的博客文章，延续他每两年整理一次的“Hello World”入门示例清单，列出 2013 至 2025 年的代表性最小示例，包括 Iris 数据集上的随机森林、Titanic 上的 XGBoost、MNIST 上的多层感知机、CIFAR-10 上的 AlexNet、IMDb 影评上的 DistilBERT、Alpaca 50k 上用 LoRA 微调的 Llama 2，以及 MATH-500 上用 RLVR 的 Qwen3，并逐一给出背景说明和代码示例出处。

DeepSeek 模型技术巡览：从 V3 到 V3.2

A Technical Tour of the DeepSeek Models from V3 to V3.2

Sebastian Raschka 于 2025 年 12 月 3 日发布的文章（末次更新 2026 年 1 月 1 日），围绕 DeepSeek 旗舰开权重模型从 V3 到 V3.2 的演进，讨论架构、稀疏注意力与强化学习方面的更新。文中给出 DeepSeek V3.2 与专有旗舰模型的基准对比图（取自 DeepSeek V3.2 报告），并从 DeepSeek 发布时间线讲起。作者提到原本打算在《The Big LLM Architecture Comparison》中追加一节，后因内容过多改为独立长文。

从 GPT-2 到 gpt-oss：架构进展分析

From GPT-2 to gpt-oss: Analyzing the Architectural Advances

Sebastian Raschka 于 2025 年 8 月 9 日发布的文章，围绕 OpenAI 新发布的开权重模型 gpt-oss-120b 与 gpt-oss-20b，基于代码与技术报告总结架构细节。内容包括与 GPT-2 的架构对比、用于把模型放进单张 GPU 的 MXFP4 优化、宽度与深度的取舍（与 Qwen3 对比）、注意力偏置与 attention sinks、基准比较，文末简要讨论 GPT-5。

比较 PyTorch 中的不同自动图像增强方法

Comparing Different Automatic Image Augmentation Methods in PyTorch

Sebastian Raschka 的博客文章，介绍数据增强作为减少过拟合的手段的作用，并比较 PyTorch/torchvision 库中实现的四种自动图像增强技术：AutoAugment、RandAugment、AugMix 和 TrivialAugment，说明它们的原理与用法。适合使用 PyTorch 做图像模型训练的人阅读。

现代大语言模型中注意力变体的可视化指南

A Visual Guide to Attention Variants in Modern LLMs

文章以图解方式梳理现代 LLM 中的注意力变体，涵盖 MHA、GQA、MLA、稀疏注意力和混合架构等。作者说明原计划写 DeepSeek V4，因该模型尚未发布而转向整理过去几年介绍过的 LLM 架构，形成含 45 个条目的 LLM 架构画廊并配有视觉模型卡，另提供海报版本。适合想系统了解各类注意力结构的读者。

使用低秩适应（LoRA）进行参数高效的大语言模型微调

Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA)

Sebastian Raschka 的博客文章，介绍低秩适应（LoRA）这一参数高效微调技术。文章先说明为何要微调预训练大模型、全参数微调的计算成本问题，再引出 LoRA 的核心思路，并将其与 prefix tuning、adapter 等其他参数高效方法做比较。适合对大模型微调原理和参数高效方法感兴趣的读者。