# MacBook Pro M5 Max 上运行 Nanbeige4.3-33B Q4：mlx-lm、llama.cpp 与 Kapitsa 的对比，512 到 32K 上下文范围 - 原标题：Nanbeige4.3-33B Q4 on a MacBook Pro M5 Max, mlx-lm vs llama.cpp vs Kapitsa, Prefill/Decode 512 to 32K range. - 类型：帖子 - 来源：Reddit - 发布时间：2026-10-27 - 首次精选：2026-10-27 11:32 - 分级：值得看 - 学习层级：深入 - 主题：[context-cache-optimization]()（第 6 位）、[model-serving-compute]()（第 14 位）、[local-model-deployment]()（第 48 位） - 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xgaupg/nanbeige4333b\_q4\_on\_a\_macbook\_pro\_m5\_max\_mlxlm\_vs]() - 本站页面：[https://oplearnx.com/resources/pk\_4415e9065f31]() ## 摘要 这是一篇社区基准测试帖，在 MacBook Pro M5 Max（128GB）上对 Nanbeige4.3-33B 4-bit 量化模型比较 mlx-lm、llama.cpp 与 Kapitsa 三个引擎的 prefill、decode、首 token 时间、后续延迟和显存占用，覆盖 512 至 32K 提示长度；作者自述是 Kapitsa 引擎的开发者，并公开了原始输出与脚本。帖中称该模型速度慢、KV 缓存占用高（128K 上下文约 26GB），编码能力尚可。适合在 Apple 芯片上做本地推理性能对比的人阅读。 ## 原帖 > \[deleted\] \[link\] &\#32; \[comments\] — DotaMate · 2026-10-27 · [原帖]() ## 中文大意 该帖标题为“Nanbeige4.3-33B Q4 在 MacBook Pro M5 Max 上，mlx-lm vs llama.cpp vs Kapitsa，prefill/decode 512 到 32K 区间的对比”，但正文已删除，只剩链接和评论入口。评论区并未围绕这组基准测试数据展开：有人指出这个 33B 是“教师模型”，本身不以推理速度为设计目标，用于训练真正的 3B 版本；有人称赞 Nanbeige 3B 在创意写作与长尾想法上的表现，并说 3B v4.2 已发布、可作为 v4.3 的教师；还有人反馈 Q4 有时思考极长、Q2 反而更干脆，以及 33B 模型 128K 上下文 KV cache 约 26GB 显得臃肿。适合关注本地小模型部署、量化版本差异与创意写作用途的读者。 ## 讨论区核心观点 依据 13 条评论。 - 发帖人称赞的 33B 是教师模型，本就不追求推理速度，用来训练真正的 3B 版本；他们认为 Nanbeige 3B 在创意写作和 EQ 基准上表现极强。（[出处]()） - 有人反馈模型行为反常：Q4 有时单个提示思考上万 token 还得不出结论，Q2 反而直接给出合适答案并停止；关掉思考后 Q2 也不用人为限制。（[出处]()） - 有人提到 33B 模型 128K 上下文的 KV cache 要 26GB，认为是“设计炫技搞坏了”，显得过于臃肿。（[出处]()） - 评论提醒 Nanbeige 3B v4.2 已经发布，可以从 v3 升级，而该 33B 是 v4.3 的教师模型。（[出处]()） - 有人说明自己的用途不是问答或工具调用，而是把模型当基座做续写式的“思路扩充”，看重的是长尾分布和固有创意。（[出处]()） - 有人问能否用“思考预算”加“该收尾了”的提示注入来控制冗长思考，发帖人表示已删掉 Q4、未验证。（[出处]()） --- 来源：LearnMap · 学径（https://oplearnx.com）