[论文] RidgeFill：免训练的后层缓存填充，加速预填充
[Paper] RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill
这是一篇 Reddit r/LocalLLaMA 的社区帖子，介绍论文 RidgeFill：一种免训练地缩短预填充的方法，模型下层照常计算到某个切分层，之后用一个闭式求解一次拟合的岭回归从切分层状态预测各后层的输入，各后层用自身投影写出缓存；最后几千个 token 和每个解码步仍跑完整模型，因此无需训练也不丢弃 token。帖子给出在 Qwen3.8-Flash-Next（vLLM）上 9K 至 32K token 首 token 时间快 1.50–1.60 倍、64K 请求从 82.6 秒降到 47.5 秒，以及在单张 A100 的 llama.cpp 分支上 Qwen3.8-27B 快 1.25–1.31 倍等数据，并附 RULER、LongBench v2 精度变化与代码数据链接。适合研究 LLM 推理加速、预填充优化和 KV 缓存填充方法的人阅读。
- 分级
- 值得看
- 是否付费
- 免费公开帖子
- 预估学习时长
- 约 5 分钟按全文字数估算
- 收录时间
- 2026-11-04
原帖
[Paper] RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill We introduce RidgeFill, a training-free way to shorten prefill by not computing most of a model's upper layers for the prompt.
中文大意
作者提出 RidgeFill：一种免训练的 prefill 加速方法。prompt 的下层正常计算到某一分割层，之后用一次性闭式求解的岭回归从分割层状态预测每个后续层的输入，各后层用自己的原始投影按预测写入 KV cache；最后几千个 token 和每个解码步仍跑完整模型，不训练、不丢 token。效果：Qwen3.8-Flash-Next（vLLM）9K–32K 上首 token 快 1.50–1.60 倍，64K 请求 82.6s 降到 47.5s，RULER needle 99.8 vs 100.0；Qwen3.8-27B（llama.cpp fork，单 A100）16K–120K 快 1.25–1.31 倍，RULER 降 1.2/1.4 分、LongBench v2 降 1.4 分，95% 区间含零但不能排除掉几分。三个 8–9B 参考模型上，拟合映射比恒等填充多拿 49.…
讨论区核心观点
依据 3 条评论
- 评论认为这类投机式 prefill 方案首次真正可用：不仅更快，还在 needle-in-haystack 上表现更强，质量损失大致相当于 fp16→q8 量化。 出处（新标签页打开）
- 有评论提到可与同日出现的另一篇论文方法结合，并畅想老硬件（AMD MI50 / Nvidia V100）重新焕发价值。 出处（新标签页打开）
- 有评论以调侃方式称这是“向 AGI 前进了一步”。 出处（新标签页打开）
- 有人问该方法受量化影响如何，是否需要针对量化做适配。 出处（新标签页打开）