单块 3090 跑 27B：10 万 token 处仍达 110+ TPS，上下文可达 400k

中文大意

发帖人宣布 LlamAmpere v0.6 发布，并给出在温度 1 下的基准数据：TPS 提升约 13%，在 100–105K token 区间、3 类任务上平均 112 TPS；提示处理提升约 20%，起始约 1800 TPS，到 100K 时仍保持 1000+；前 100K 的平均 prefill 从约 1080 提升到约 1300 TPS。还推出新量化格式 Ampere Integer+，宣称与 XS 格式相比更快、更小、精度更高（KLD 更低）；与 EXL3 相比 KLD 相近但速度明显更快，推荐模型 KLD 约好 10%、体积小 1.2GB。升级后的 EXL3 kernel 测试约快 8%，但 4bit 下 AI+ 解码快约 17%、prefill 快约 25%，因此后续重心放在 AI+ kernel。通过 SJKVaRN 可在 23.5GB 总占用下支持超过 400K 上下文…

讨论区核心观点

依据 16 条评论

• 有人称赞作者在量化上的判断，并追问 Ampere Integer 是否为 ATX 新格式、希望提供量化文档；作者回复编码器将在几周内发布，并提醒该格式编码阶段非常慢。 出处（新标签页打开）
• 读者建议 README 应由人手工撰写、简短且少变动，版本变更放到 HISTORY/CHANGELOG，既省读者时间也省 AI 摄入的 token。 出处（新标签页打开）
• 针对格式名是否意味着硬件专用，作者解释它是围绕 Ampere 的 int8 处理器设计，可在后续代际运行，属“以 Ampere 为中心”而非独占；在 Blackwell 上收益不如 NVFP4 明显，但仍优于 IQ/K 量化。 出处（新标签页打开）
• 作者给出新用户的一键克隆、编译与启动命令，用于在 12GB 卡上跑推荐量化模型。 出处（新标签页打开）
• 有人问混合 Turing 与 Ampere 架构编译能否工作及是否有 Ampere 之外的代码限制，也有人关心在 2×3090+128GB 内存上跑更大量化从哪里入门；作者建议后者直接用 vllm 加流行 w4a16 量化，并可在 LlamAmpere 0.6 试 5bit Q4 级别量化、4.5–5.5 bpw 是质量与性能的甜点区。 出处（新标签页打开）
• 围绕小显存用户：作者称 8GB 较难，下一步聚焦 12GB，需 50GB 以上内存+显存总量才有意义；评论者认为小模型如 Qwen3.5 9B 在嵌套代码括号配对上会出错且缺少新一代 9B，30B-A3B 等非推理模型在大代码量下不够用，因此只用推理模型。 出处（新标签页打开）