我用 Qwen 3.8FN IQ3_S 测试了 Strata 的路由优化在编程、数学和指令遵循上的表现
I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following
这是 r/LocalLLaMA 的一篇社区帖子，作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成（约 4.48 倍有效系数），使分数接近时可用缓存中的专家替换原本会选中的专家；STRATA_ROUTE_TAIL_SKIP=7（默认值）则在某些专家不在显存时跳过第 7 至第 10 个专家的计算，从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格，并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
Round 1 showed that STRATA_ROUTE_PRIOR might reduce quality slightly, but round 2 showed that many of those differences don't matter with longer reasoning. Route prior is such a huge boost to speeds that I think it's worth enabling for all but the hardest tasks.
中文大意
发帖人在自己的硬件上测试 Strata 0.2.7.1 的两个路由优化（STRATA_ROUTE_PRIOR 与 STRATA_ROUTE_TAIL_SKIP）对 Qwen 3.8 Flash Next IQ3_S 的影响。Route prior 给已在 VRAM 中的专家分数加 1.5 奖励（约 4.48 倍有效乘数），使稍不被偏好的缓存专家可替代原本会选的专家；Tail skip=7 则在不改动所选专家的情况下跳过未在 VRAM 的第 7–10 号专家计算。测试用 IFEvalCode、AIME 2026、IFEval。第一轮（基线 72.3 tok/s）：全关为 20% / 76.7% / 81.3%；tail skip 83.9 tok/s 且数学降到 63.3%；route prior 104.6 tok/s 但各项均略降；两者同开 104.2 tok/s。第二轮用小样本、更大…
讨论区核心观点
依据 24 条评论
- 有人认为没有免费午餐：在自主编程这类长任务里应优先准确率而把两个选项都关掉；每秒 token 数好看不代表整体任务完成时间真的大幅缩短，因为生成只占一部分，还包括工具调用、预填充和修错。 出处（新标签页打开）
- 关于 route prior 的隐藏代价：有评论引用 GitHub issue 称长时间运行时它会带来随机的模型崩溃风险，代理跑久了（常见于约 5 万 token 处）会陷入单 token 无限循环，并指出 0.2.8 起该功能已因此默认关闭。 出处（新标签页打开）
- 对测试方法提出质疑：如果没有用贪心解码和固定种子，单次小样本上几个百分点的差异不具代表性，建议每种配置跑约 5 次并给出误差棒；也有人认为这些 Strata 设置会让贪心和固定种子变得无关。 出处（新标签页打开）
- route prior 的速度提升很大，但 tail skip 让数学从 76% 掉到 63% 的退化令人担忧；也有人认为从结果看噪声不小，难以断言 route prior 一定影响质量，但误差会累积。 出处（新标签页打开）
- 有人分享速度与质量两套配置的经验：品质机用 q5 类量化加 f16 KV，速度机用更低比特量化，q5 更少出错、推理不易跑偏，低比特版本有任务完全做不出而 q5 一次成功；另有评论称自己 AIME 达到 28/30，并说明采样参数为 temp 1.0、top p 0.95、top k 20。 出处（新标签页打开）
- 围绕显存/内存占用：有用户困惑为何启动时显示专家全在系统内存，被告知这是设计使然——专家始终留在内存、部分镜像到显存且从不清除，这也是速度快的原因之一；有人建议用专家配置加对应参数锁定热门专家，或试新版 llama.cpp 的专家缓存。 出处（新标签页打开）