# 能否把 TabbyAPI 配置得像 Strata 那样跑 Qwen 3.8 Flash Next 的 exl3 量化？

- 原标题：Is it possible to configure TabbyAPI to be like Strata for Qwen 3.8 Flash Next exl3?
- 类型：帖子
- 来源：Reddit
- 发布时间：2026-10-28
- 首次精选：2026-10-29 09:33
- 分级：值得看
- 学习层级：进阶
- 主题：[inference-hardware-memory](<https://oplearnx.com/md/topics/inference-hardware-memory.md>)（第 7 位）、[local-model-deployment](<https://oplearnx.com/md/topics/local-model-deployment.md>)（第 18 位）
- 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xhpfmg/is\_it\_possible\_to\_configure\_tabbyapi\_to\_be\_like](<https://reddit.com/r/LocalLLaMA/comments/1xhpfmg/is_it_possible_to_configure_tabbyapi_to_be_like>)
- 本站页面：[https://oplearnx.com/resources/pk\_cea70cebe9bf](<https://oplearnx.com/resources/pk_cea70cebe9bf>)

## 摘要

r/LocalLLaMA 社区帖子，发帖人听说 exl3 量化比 Unsloth 的 UD 量化更精确，并给出 Hugging Face 上 Qwen3.8-Flash-Next exl3 版本的链接。他提到 TabbyAPI 和 Exllamav3 已支持 MoE 的 CPU 专家卸载，自己用 UD Q4 能跑到 70\+ t/s，但按 q4 加卸载配置 TabbyAPI 只得到 20 t/s，询问是否只是配置问题、速度能否接近 Strata。补充说明中引用了 TabbyAPI 的 cpu\_moe\_split\_experts 选项（把每层 MoE 的部分路由专家放到 CPU、按冷热动态放置）正是他达到 20 t/s 时用的设置，并猜测 Strata 可能用了别的 gguf 优化。适合在本地部署量化 MoE 模型、折腾 TabbyAPI/Exllama 配置与推理速度的人阅读。

---
来源：LearnMap · 学径（https://oplearnx.com）