# 单块 3090 跑 27B：10 万 token 处仍达 110\+ TPS，上下文可达 400k

- 原标题：110\+ TPS through 100K tokens with 27b on a single 3090, with 400k ctx
- 类型：帖子
- 来源：Reddit
- 发布时间：2026-10-28
- 首次精选：2026-10-29 09:33
- 分级：值得看
- 学习层级：进阶
- 主题：[context-cache-optimization](<https://oplearnx.com/md/topics/context-cache-optimization.md>)（第 4 位）、[model-quantization](<https://oplearnx.com/md/topics/model-quantization.md>)（第 9 位）、[local-model-deployment](<https://oplearnx.com/md/topics/local-model-deployment.md>)（第 16 位）
- 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xhpqhz/110\_tps\_through\_100k\_tokens\_with\_27b\_on\_a\_single](<https://reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single>)
- 本站页面：[https://oplearnx.com/resources/pk\_c4a667659b2d](<https://oplearnx.com/resources/pk_c4a667659b2d>)

## 摘要

这是一篇 Reddit r/LocalLLaMA 社区帖子，介绍 LlamAmpere v0.6 版本发布内容：TPS 提升约 13%（100–105K token 区间平均 112 TPS）、提示处理提升约 20%（前 10 万 token 平均预填充从约 1080 提升到约 1300 TPS）、推出新的 Ampere Integer\+ 文件格式并与 XS、EXL3 作 KLD 与速度对比，以及借助 SJKVaRN 在约 23.5GB 占用下实现超过 400K 总上下文。适合在单块 3090 上运行本地推理、关注量化格式与长上下文性能的人阅读。

## 原帖

> I am happy to report that LlamAmpere v0.6 is now out. The headline items for you \(at temperature 1\): a \~13% jump in TPS, with a 112 TPS average across 3 task types in the 100-105K token interval

— Brief-Tap-6616 · 2026-10-28 · [原帖](<https://reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single>)

## 中文大意

发帖人宣布 LlamAmpere v0.6 发布，并给出在温度 1 下的基准数据：TPS 提升约 13%，在 100–105K token 区间、3 类任务上平均 112 TPS；提示处理提升约 20%，起始约 1800 TPS，到 100K 时仍保持 1000\+；前 100K 的平均 prefill 从约 1080 提升到约 1300 TPS。还推出新量化格式 Ampere Integer\+，宣称与 XS 格式相比更快、更小、精度更高（KLD 更低）；与 EXL3 相比 KLD 相近但速度明显更快，推荐模型 KLD 约好 10%、体积小 1.2GB。升级后的 EXL3 kernel 测试约快 8%，但 4bit 下 AI\+ 解码快约 17%、prefill 快约 25%，因此后续重心放在 AI\+ kernel。通过 SJKVaRN 可在 23.5GB 总占用下支持超过 400K 上下文…

## 讨论区核心观点

依据 16 条评论。

- 有人称赞作者在量化上的判断，并追问 Ampere Integer 是否为 ATX 新格式、希望提供量化文档；作者回复编码器将在几周内发布，并提醒该格式编码阶段非常慢。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single/19rsc8d263m3l/>)）
- 读者建议 README 应由人手工撰写、简短且少变动，版本变更放到 HISTORY/CHANGELOG，既省读者时间也省 AI 摄入的 token。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single/19rshk5oyr7hf/>)）
- 针对格式名是否意味着硬件专用，作者解释它是围绕 Ampere 的 int8 处理器设计，可在后续代际运行，属“以 Ampere 为中心”而非独占；在 Blackwell 上收益不如 NVFP4 明显，但仍优于 IQ/K 量化。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single/19rsjbmiuxlep/>)）
- 作者给出新用户的一键克隆、编译与启动命令，用于在 12GB 卡上跑推荐量化模型。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single/19rsfoykt36ht/>)）
- 有人问混合 Turing 与 Ampere 架构编译能否工作及是否有 Ampere 之外的代码限制，也有人关心在 2×3090\+128GB 内存上跑更大量化从哪里入门；作者建议后者直接用 vllm 加流行 w4a16 量化，并可在 LlamAmpere 0.6 试 5bit Q4 级别量化、4.5–5.5 bpw 是质量与性能的甜点区。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single/19rssux7dqzs5/>)）
- 围绕小显存用户：作者称 8GB 较难，下一步聚焦 12GB，需 50GB 以上内存\+显存总量才有意义；评论者认为小模型如 Qwen3.5 9B 在嵌套代码括号配对上会出错且缺少新一代 9B，30B-A3B 等非推理模型在大代码量下不够用，因此只用推理模型。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single/19rsfl8ip0m1v/>)）

## 原文涉及

- [GitHub - JakeATX/llamAmpere: llama.cpp fork for significantly improved performance on Ampere \(especially RTX 3090 / 3090 Ti\): example: 110\+ tok/s over a 100K-token generation at temperature 1 for qwe…](<https://github.com/JakeATX/llamAmpere>)

---
来源：LearnMap · 学径（https://oplearnx.com）