更多博客

Hugging Face9 天前

博客进阶

你的模型能在 AWS Trainium 上运行吗？查一查就知道

Does Your Model Run on AWS Trainium? Look It Up

AI 导读

文章介绍一个 torch-neuronx 模型支持情况 Space，用于查询 Hub 上热门模型能否在 AWS Trainium 上运行。该 Space 的 Selected 视图展示按下载量和趋势分挑选的模型，每行给出结果、模型分片占用的 Trainium 核心数、运行实际耗时（含编译）和峰值设备内存；Trending 和 Downloads 视图按 Hub 自身排名逐任务列出结果，并对故意未测试的模型说明原因，还可选择 neuronx-cc 和 Transformers 的版本。这是继此前介绍 TorchNeuron 的文章之后的更新。

打开原文
分级
值得看
收录时间
2026-10-26
博客发布 10-19
Hugging Face

TorchNeuron：在 AWS Trainium 上运行 HF 模型前所未有地简单

TorchNeuron: running HF models on AWS Trainium is easier than ever

这是 Hugging Face 博客的一篇文章，介绍为 AWS Trainium 提供 PyTorch 原生后端的 TorchNeuron 插件，支持 eager 模式、torch.compile 以及 FSDP、TP 等原生分布式 API。文章说明 Transformers、Diffusers 和 Kernels 已原生支持该后端，此前 HF 在 Trainium 上依赖基于 PyTorch XLA 的 optimum-neuron；TorchNeuron 自 2026 年 10 月 20 日起进入公开测试，可通过 pip 安装。

进阶模型服务与算力
查看详情 →
博客发布 07-26
Sebastian Raschka

本周几个值得关注的开源权重模型

A Few Notable Open-Weight Models This Week

Sebastian Raschka 的简短笔记，介绍近期发布的六个开源权重模型架构，包括 Nanbeige 4.2、Laguna S 2.1、Motif-3-Beta、Solar Open 2、Antares 1B 和 BTL-3。文中给出了各模型的架构示意图与作者认为有意思的设计说明，例如 Nanbeige 4.2 3B 采用循环深度共享，将同一 22 层堆栈运行两次，扩展到 44 层而不复制权重。

进阶模型选择与动态神经网络与注意力
查看详情 →
帖子发布 10-26
Reddit

为一万到一万二千美元预算的本地 agentic coding 装机：1× 5090 对比 4× 3090、混合方案、PRO 6000、Mac Studio？

$10–12K build for local agentic coding: 1× 5090 vs 4× 3090 vs hybrid vs PRO 6000 vs Mac Studio?

r/LocalLLaMA 社区帖子。发帖者准备花约 1 万美元（必要时到 1.2 万）买硬件做本地 agentic coding，用途包括 agentic coding、偶尔 2–4 个并行 subagent 和逆向工程，可选需求是用 Hunyuan3D-2.1 做贴图生成（需 CUDA 和约 21GB 显存）。其列出正在考虑的方案：单张 RTX 5090、四张二手 3090、5090 + 2×3090 混合、Mac Studio M5 Ultra 256GB、超预算的 PRO 6000，并就长上下文中单 5090 与四 3090 的日常体验、3090 长上下文预填充表现、混合方案在 AM5 上以 x8/x8/x4 跑两个 vLLM 实例是否值得、以及是否该等 50 Super 或改装 4090 48GB 等问题征询意见。适合正在规划本地多卡推理/编码 agent 装机的人阅读。

进阶模型服务与算力硬件与显存规划仅限授权使用
查看详情 →
帖子发布 10-28
Reddit

Artificial Analysis 智能指数 v5（重大更新）

Artificial Analysis Intelligence Index v5 (major update)

r/LocalLLaMA 社区帖子，介绍 Artificial Analysis 智能指数更新到 v5 版本，该版本据其发布方称是重大升级；帖子指出此次更新拉大了开放权重模型与闭源模型之间的差距，v5 中 60% 的指数基于私有测试集或留出答案，导致结果无法复现，并引用了官方公告中关于开放权重差距从 3 分扩大到 12 分的说法，同时提到有人根据实际使用体验质疑其准确性。适合关注模型评测榜单、开放权重与闭源模型能力对比的人阅读。

进阶模型基准与比较模型选择与动态
查看详情 →
博客必读发布 10-20
Hugging Face

Hugging Face ❤️ TorchTPU：原生支持 TPU

Hugging Face ❤️ TorchTPU: TPUs, Natively

博客文章，介绍 TorchTPU 这一原生 PyTorch 后端，使 TPU 成为 PyTorch 中的普通设备；文中称 Transformers、Diffusers 和 Kernels 可在 TPU 上原生运行，从 Hub 选择模型后发送到 "tpu" 即可。文章还简介了 TPU 作为 Google 自研 AI 加速器的情况与可用规模，并对比了此前需经 torch_xla 的旧方式及其限制。面向希望在 TPU 上运行 PyTorch 模型的用户。

进阶模型服务与算力
查看详情 →
博客发布 03-14
Sebastian Raschka

走进大语言模型架构图库

Inside the LLM Architecture Gallery

Sebastian Raschka 的博客文章，介绍他建立的 LLM Architecture Gallery（大语言模型架构图库）：把他为阅读新模型报告而绘制的架构图集中在一处，截至更新时收录来自 42 篇文章和报告的 93 张模型卡片，覆盖 GPT-2、Llama 3 等稠密架构、DeepSeek V3、Kimi K2 等混合专家模型以及注意力与循环/状态空间层结合的混合架构；文中说明了每张卡片的架构图、原文链接和参数事实表等内容。

进阶神经网络与注意力模型选择与动态
查看详情 →