Hugging Face··5 个月前
Reachy Mini 实现完全本地运行
Reachy Mini goes fully local
这篇教程介绍如何让 Reachy Mini 机器人的对话应用在本地运行整套语音栈，不再把音频发送到服务器。方案基于名为 speech-to-speech 的级联式 VAD → STT → LLM → TTS 流程，提供兼容 Realtime API 的 WebSocket 接口，文中推荐 llama.cpp 搭配 Gemma 4、Silero VAD、Parakeet-TDT 0.6B v3 STT 和 Qwen3-TTS 等组件，并说明各组件可替换。
- 分级
- 值得看
- 所属主题
- 整理中
- 收录时间
- 2026-10-28
推荐阅读
StartLuxLabs/StartLux-Decision
这是一个开源决策模型系列的项目仓库，模型规模从 0.8B 到 27B，一次推理即为每个选项给出校准概率，仅在不确定时输出简短思考。项目提供面向 vLLM、llama.cpp 和 MLX 的推理引擎，并提供 Hugging Face 模型页、arXiv 技术报告、API 文档与博客链接。
把 Spark 带到欧洲：本地智能驱动下一代智能体
Bringing the Spark to Europe: Local Intelligence Powers Next Wave of Agents
这是 NVIDIA 官方博客的一篇文章，汇总其在柏林 GTC 上公布的本地 AI 硬件与软件动态。文中提到面向 Windows PC 的 RTX Spark、面向 Linux 开发者的 DGX Spark 以及面向企业前沿负载的 DGX Station（Windows 版将于 12 月推出），并列出 DGX Spark 软件更新、NVIDIA Sync、开源机器人参考工作流、新模型支持与推理引擎加速等多项发布。
LFM2.5-DSpark 带来最高 3.2 倍推理加速
Up to 3.2x Faster Inference with LFM2.5-DSpark
LiquidAI 发布 LFM2.5 系列三个模型（LFM2.5-1.2B-Instruct、LFM2.5-2.6B、LFM2.5-8B-A1B）的 DSpark 草稿模型检查点，通过投机解码以小幅显存增加换取解码加速，且不改变输出质量。文中称 GPU 上吞吐最高提升 3.18 倍、端侧最高 2.87 倍，LFM2.5-2.6B 的函数调用延迟平均降低 57%，并支持 llama.cpp 和 SGLang；文章还解释了投机解码的原理，说明解码阶段受显存带宽限制。
AnyLanguageModel 1.0：Apple 平台上本地模型的一年
AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms
博客文章，回顾 AnyLanguageModel 发布一年后的 1.0 版本。它是 Apple Foundation Models 框架的兼容替代品，只需把 import FoundationModels 改为 import AnyLanguageModel，同一套会话代码即可用于系统模型、经 llama.cpp、MLX 和 Core ML 运行的开源权重模型，以及文中列出的托管服务商。文中还提到一年内新增的工具调用等功能，并同时发布 swift-huggingface 1.0 和 swift-xet 1.0。面向在 Apple 平台上开发应用的开发者。
8 GB 显卡、262K 上下文、3.5 BPW 的 Qwen-Flash-Next Coder，用 llama.cpp 达到 70 T/s
8 GB GPU, 262K context 3.5 BPW Qwen-Flash-Next Coder 70 T/s using llama.cpp
r/LocalLLaMA 的一篇社区帖子。作者介绍其做法：Qwen-Flash-Next 有 n-gram 和 MOE，激活参数为 6B，因此把大部分 MOE 放在内存、最小的 MOE 放进显存以提速、n-gram 放在最快的 SSD 上；配置为 8 GB 显存加 24 GB 内存，约 32 GB 总内存也能运行但需降低上下文长度，并需按硬件调整启动参数。帖子补充说明 CUDA 在 8 GB 显存下可能跑不起来，建议改用 Vulkan 后端，同时减小上下文并关闭浏览器硬件加速等占用显存的程序。作者还说明所用模型是 ISTA DASLab 的 3.5 BPW “Coder”变体、采用 GSQ RCO 量化，移除了一半专家，折算为原模型参数量的 1.89 比特有效速率，但没有任何单个权重以 1.89 比特存储。适合用 llama.cpp 在低显存消费级硬件上部署量化 MoE 模型的人阅读。
提示：llama.cpp CVE-2026-116096
PSA: llama.cpp CVE-2026-116096
这是 r/LocalLLaMA 的社区帖子，引用 NVD 条目说明 llama.cpp 中 Pocket-TTS 组件 pockettts-gen.cpp 的 list_pockettts_state_slots 函数在操纵 mmproj 参数时存在越界写问题，攻击需本地访问，且声称漏洞利用已公开，建议升级到 b11796 版本并给出补丁提交。发帖人补充说，在当前 master 与最新发布 b11871 上，恶意 mmproj 会触发 release 生效的 GGML_ASSERT 而中止，已不再是静默的堆越界写，但推荐的根本性修复 PR #29360 仍未合并。适合部署和运行 llama.cpp、关心其安全公告与版本升级的人阅读。