学习在电脑、手机和浏览器运行模型，适合重视离线可用与自主部署的用户。
53 条精选 · 入门 8 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Bringing the Spark to Europe: Local Intelligence Powers Next Wave of Agents
这是 NVIDIA 官方博客的一篇文章，汇总其在柏林 GTC 上公布的本地 AI 硬件与软件动态。文中提到面向 Windows PC 的 RTX Spark、面向 Linux 开发者的 DGX Spark 以及面向企业前沿负载的 DGX Station（Windows 版将于 12 月推出），并列出 DGX Spark 软件更新、NVIDIA Sync、开源机器人参考工作流、新模型支持与推理引擎加速等多项发布。
Muse Spark Open
Meta AI 研究博客介绍新发布的开放权重模型 Muse Spark Open，称其总参数 816B、激活 42B，上下文窗口为 100 万 token，原生多模态，面向编程与智能体任务。文中还称它可通过两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 在本地桌面运行，并已在 Baseten、Fireworks AI、Groq、Modal、Nebius 等 API 平台上线。
Coding From the Himalayas With an Offline AI Agent
这是一篇作者自述文章，作者是 Thomson Reuters 的首席工程师，一年前搬到喜马拉雅山麓居住，因网络和供电经常中断，尝试在笔记本上完全离线运行编码智能体。文章探讨了在断网条件下对本地已有项目可以做哪些工作，例如解释陌生函数、排查失败的测试、重构小段代码或协助完成功能。
Using Local Coding Agents
Sebastian Raschka 的短笔记，链接到一篇关于用开放权重模型搭建本地编码智能体的新文章。文章内容为完全本地运行，介绍如何将本地 LLM 接入本地编码 harness（如 Claude Code 或 Codex），并列出选择模型时可用的评估清单：长上下文下的内存占用、prefill 与解码 tok/s 速度、工具调用能力、对智能体框架的安全审计，以及在编码 harness 中解决较难任务的能力。
Introducing Gemma 4 12B: a unified, encoder-free multimodal model
Google DeepMind 发布 Gemma 4 12B，定位为可直接在笔记本电脑上运行智能体式多模态能力的模型，介于轻量 E4B 与 26B MoE 之间，内存占用更小，是其中等规模模型中首个支持原生音频输入的。文章称其采用无多模态编码器的统一架构，视觉和音频输入直接进入 LLM 主干，并提到 Gemma 4 系列累计下载量已超过 1.5 亿次。
AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms
博客文章，回顾 AnyLanguageModel 发布一年后的 1.0 版本。它是 Apple Foundation Models 框架的兼容替代品，只需把 import FoundationModels 改为 import AnyLanguageModel，同一套会话代码即可用于系统模型、经 llama.cpp、MLX 和 Core ML 运行的开源权重模型，以及文中列出的托管服务商。文中还提到一年内新增的工具调用等功能，并同时发布 swift-huggingface 1.0 和 swift-xet 1.0。面向在 Apple 平台上开发应用的开发者。
MPS in PyTorch 2.15
Hugging Face PyTorch 团队撰写的博客文章，介绍 PyTorch 2.15 中 Apple MPS 后端的更新，包括 MPS 支持 FP8、语言模型解码在线性层与 softmax 上获得更快路径、以及针对音频、视频和训练工作负载中新 Metal 内核。文中说明该团队以 Hugging Face Hub 上的真实模型排查 MPS 不足并向上游修复，并提到 MoE 模型解码速度较 2.14 提升 5–6.5 倍。适合在 Mac 上运行或训练 PyTorch 模型的读者。
Unifying Edge AI: How Coral NPU’s open standard brings portable, energy-viable intelligence from model to silicon
Google Developers Blog 文章。介绍 Google Research 通过引入 Matrix Execution Unit 完成了 32 位开源 Coral NPU RISC-V 架构，边缘推理性能最高 1 TOPS、目标平均功耗 10 mW；同时发布 v1.0 开源 IREE/MLIR 编译器，使开发者可将 JAX、PyTorch、TensorFlow 模型直接部署到 Coral NPU 硬件而无需编写自定义汇编。文中还提到可借助 Synaptics Astra SR200 MCU 系列和 Coralboard 开发套件来原型验证和部署多模态边缘应用。适合做边缘 AI 推理、编译器或嵌入式硬件开发的开发者阅读。
Native Model Authoring for Edge with LiteRT Tensor API
Google 开发者博客 2026 年 10 月 19 日的文章，作者为 Ping Yu、Quentin Khan、Chintan Parikh、Lu Wang。文章介绍 LiteRT Tensor API，让开发者以原生 C++ 控制模型图，在异构边缘硬件上统一端到端机器学习计算；同时说明最常见的部署路径是把训练好的模型（如用 LiteRT Torch 转换 PyTorch 模型）交给 LiteRT 运行时执行，而在需要完全控制网络表示与优化、支持新架构或试验新的 lowering 逻辑时可采用原生编写方式，并提到 MLX 和 llama.cpp 的相关先例。适合关注端侧 AI 部署、延迟与内存预算受限场景的开发者阅读。
Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction
Google 研究人员介绍一种把多 token 预测改造到已冻结的生产模型上的方法，用于加速端侧推理，规避单独草稿模型带来的低效。文章背景是手机端的能耗预算和内存限制，以及标准语言模型逐 token 自回归生成造成的瓶颈，目标是在不离设备的前提下更快实现通知摘要、文本校对等功能。