全部资源

博客精选。

442 条精选
博客发布 06-29
Sebastian Raschka

使用本地编码智能体

Using Local Coding Agents

Sebastian Raschka 的短笔记,链接到一篇关于用开放权重模型搭建本地编码智能体的新文章。文章内容为完全本地运行,介绍如何将本地 LLM 接入本地编码 harness(如 Claude Code 或 Codex),并列出选择模型时可用的评估清单:长上下文下的内存占用、prefill 与解码 tok/s 速度、工具调用能力、对智能体框架的安全审计,以及在编码 harness 中解决较难任务的能力。

博客发布 07-16
Sebastian Raschka

Inkling:一个带有几处意外设计的新开源权重 975B MoE 模型

Inkling: A New Open-Weight 975B MoE with a Few Surprises

Sebastian Raschka 撰写的架构与基准笔记,介绍 Thinking Machines Lab 发布的 Inkling:975B 参数开源权重 MoE 模型,每 token 激活 41B 参数,上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家,并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计;基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果,使用 effort 设置 0.99。

博客发布 07-26
Sebastian Raschka

本周几个值得关注的开源权重模型

A Few Notable Open-Weight Models This Week

Sebastian Raschka 的简短笔记,介绍近期发布的六个开源权重模型架构,包括 Nanbeige 4.2、Laguna S 2.1、Motif-3-Beta、Solar Open 2、Antares 1B 和 BTL-3。文中给出了各模型的架构示意图与作者认为有意思的设计说明,例如 Nanbeige 4.2 3B 采用循环深度共享,将同一 22 层堆栈运行两次,扩展到 44 层而不复制权重。

博客发布 07-18
Sebastian Raschka

控制大语言模型中的推理努力程度

Controlling Reasoning Effort in LLMs

Sebastian Raschka 的文章,从 OpenAI o1、DeepSeek-R1 及可验证奖励强化学习(RLVR)讲起,并以新近发布的 GPT-5.6 模型家族(三个尺寸、每个约五到六档推理努力设置)为例。文章聚焦如何开发具备多种努力模式的推理模型,区别于其此前侧重把常规 LLM 转为推理模型的资料。

博客发布 05-15
Hugging Face

Granite Embedding Multilingual R2:Apache 2.0 开源多语言嵌入模型,32K 上下文,sub-100M 检索质量最佳

Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Quality

IBM Granite 团队发布的两个基于 ModernBERT 的 Apache 2.0 多语言嵌入模型介绍:97M 参数紧凑版在 MTEB Multilingual Retrieval 上得分 60.3,311M 完整版得分 65.2(500M 参数以下开源模型中排名第二)并支持 Matryoshka。两者覆盖 200 多种语言、在 52 种语言上调优、支持 32K token 上下文(为 R1 的 64 倍),并新增 9 种编程语言的代码检索。文中还涉及与 R1 的差异、训练过程、基准结果及部署方式等。

博客发布 05-12
Hugging Face

在 AWS 上进行基础模型训练与推理的构建模块

Building Blocks for Foundation Model Training and Inference on AWS

Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章,讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发,引用英伟达“从一个到三个缩放定律”的框架,说明除预训练外,后训练(如监督微调和强化学习方法)与测试时计算也在推动性能提升,并据此讨论基础模型生命周期。

博客发布 05-06
Hugging Face

为开放 ASR 排行榜加上防刷分机制

Adding Benchmaxxer Repellant to the Open ASR Leaderboard

Hugging Face 博客文章,由 Eric Bezzam、Steven、Eustache Le Bihan 及 Appen、DataoceanAI 等作者撰写。文章说明 Appen 与 DataoceanAI 提供了覆盖多种口音、包含脚本与非脚本语音的高质量英语 ASR 数据集,为防止刷榜(benchmaxxing)或测试集污染,这些数据集将保持私有;排行榜默认平均 WER 仍只基于公开数据集计算,用户可通过开关选择是否纳入私有数据集查看其影响。

博客发布 05-27
Hugging Face

用一个 Hub Bucket 传输万亿参数:TRL 中的增量权重同步

Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

文章介绍 TRL 中一项名为 Delta Weight Sync 的改动:异步强化学习中训练器每步需向推理引擎发送整个模型,而相邻两个优化步之间约 99% 的 bf16 权重完全相同,因此只把变化元素编码为稀疏 safetensors 文件,上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB,并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。

博客发布 05-25
Hugging Face

Harness、Scaffold 以及值得弄清的那些 AI Agent 术语

Harness, Scaffold, and the AI Agent Terms Worth Getting Right

这是一份 AI Agent 术语表,旨在统一那些被混用、改名或缺乏清晰解释的概念,重点涵盖 harness、scaffold 等常被混为一谈的术语。文中提到这些混淆在 ICLR 2026 后被广泛讨论,作者称其并非覆盖全部术语的完整词典,而只聚焦容易被含糊带过的概念。适合刚接触或希望跟上该领域进展的读者。

博客发布 05-20
Hugging Face

OlmoEarth v1.1:一个更高效的地球观测模型家族

OlmoEarth v1.1: A more efficient family of Earth observation models

这是 Ai2 发布 OlmoEarth v1.1 版本的文章。文中说明该系列模型用于卫星影像处理与大面积区域预测,相比前代可将计算成本最多降低约 3 倍,并给出模型合集、技术报告和预训练代码的链接。文中提到 v1 版本于 2025 年 11 月发布,合作伙伴已将其用于红树林变化追踪、森林丧失驱动因素分类、国家级作物类型制图等任务。

博客发布 05-19
Hugging Face

Ettin Reranker 家族介绍

Introducing the Ettin Reranker Family

Tom Aarsen 发布的文章,推出六个基于 Ettin ModernBERT 编码器的 Sentence Transformers CrossEncoder 重排模型,参数量分别为 17M、32M、68M、150M、400M 和 1B,并公开训练数据与完整训练方法。模型采用蒸馏训练:在以 cross-encoder/ettin-reranker-v1-data 上 mixedbread-ai/mxbai-rerank-large-v2 的分数做逐点 MSE,该数据集是 lightonai/embeddings-pre-training 的子集与 lightonai/embeddings-fine-tuning 中重排子集的混合。文章还包含与多个嵌入模型在 MTEB(eng, v2) Retrieval 上的搭配结果、使用说明和训练说明。

博客发布 05-18
Hugging Face

PaddleOCR 3.5:使用 Transformers 后端运行 OCR 与文档解析任务

PaddleOCR 3.5: Running OCR and Document Parsing Tasks with a Transformers Backend

PaddlePaddle 团队的文章,介绍 PaddleOCR 3.5 版本使支持的 PaddleOCR 模型可通过 Hugging Face Transformers 作为推理后端运行,设置 engine="transformers" 即可。PaddleOCR 继续提供 PP-OCRv5 等 OCR 模型系列和 PaddleOCR-VL 1.5 等文档解析模型系列;新版本引入更灵活的推理引擎接口,通过 engine 参数选择后端、通过 engine_config 传入后端专属选项,任务流水线仍由 PaddleOCR 管理。文中附有 Hugging Face Spaces 上的在线演示。