调优后的 Strata 配置：2000 PP、平均 tg 95–105
Tuned Strata config, 2000 PP and 95-105 mean tg
一篇 r/LocalLLaMA 社区帖子，作者在 RTX 4090 + 48 GB 内存、Ryzen 3900X、Windows、200k 上下文的环境下运行 IQ3_S Qwen3.8-Flash-Next，对 Strata 0.43 的大量参数做了近似网格搜索。帖子称 decode 从 97 tok/s 提升到 142 tok/s（+45%），列出最有效的几个参数（--adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2）和最差的几个（--expert-cache 单位是 MiB、--ple-io ram、--no-prefill-borrow），并指出 Windows 无法用 cuda 固定内存。适合在单卡上折腾 Strata 推理引擎参数调优的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-26
原帖
Ran essentially a grid search on a ton of flags: decode 97 → 142 tok/s (+45%) for three flags. Most relevant: --adapt-async 1, --kv-resident 20480, STRATA_ADAPT_LAG=2.
中文大意
发帖人在 RTX 4090 24GB + 48GB DDR4 + Ryzen 3900X 的 Windows 机器上跑 Strata 0.43 + Qwen3.8-Flash-Next IQ3_S（200k 上下文），做了一轮近乎网格搜索的调参：自建测试台用无前缀缓存的 10k/20k 提示、交错 A/B、5 次重复并剔除被换页的组，测得 0.55% 组内噪声。结果：--adapt-async 1、STRATA_ADAPT_LAG=2（各 +13.5%）、--kv-resident 20480（+4.8%）三个开关合计约 +18% 综合分、10k 处解码 +45%；实测 145k 提示预处理 2076 tok/s，解码均值 95–105 tok/s，峰值约 145。也列出了反而变慢的开关：--expert-cache 按 MiB 而非槽位（−72%）、--ple-io ram（−90%）…
讨论区核心观点
依据 23 条评论
- 称赞其方法严谨：真的测了噪声底、做了交错 A/B，而不是凭感觉看数字；--expert-cache 单位是 MiB 不是槽位这点也让不少人第一次踩坑。 出处（新标签页打开）
- 围绕子代理保存 KV 状态的讨论最热：发帖人建议在 harness 与推理端点之间加代理、对请求做哈希比对保证一致，再调用引擎的内存 pin 接口；也有人提醒也可以用 llama.cpp 的 slot save/load 接口，但要记得删掉体积很大的 .bin 文件。 出处（新标签页打开）
- 子代理目前是串行的：主代理派发子代理，子代理只回传详细回执，不保留全部上下文；想真正并行得自己找 Strata 开关，且上下文窗口会被对半切分。Strata 主打单通道服务，本身没有并发的魔法。 出处（新标签页打开）
- 有人受此启发用 ChatGPT 过夜自动调参并开源了结果，发帖人则用粒子群优化搜 80 个参数，目前最好约 2500 pp、100 tg 左右。 出处（新标签页打开）
- 关于 KV 量化有分歧：有人不喜欢量化 KV 缓存，发帖人表示同配置换 fp16 只能撑 140k 上下文、约 1348 pp / 95 tg，且接近满上下文时也没见工具调用出错，属于高上下文低精度与中等上下文全精度的取舍。 出处（新标签页打开）
- 量化影响因模型和架构而异：小 Qwen 系列对小模型内存密度高、抗量化好，DeepSeek 缓存本身已量化，QFN 在 4bit 权重下 TEB 硬模式仍有 91 分，不宜一概而论说量化缓存一定有害。 出处（新标签页打开）