模型服务与算力

学习模型服务框架、并行计算与底层优化，适合维护训练和推理基础设施的人员。

44 条精选 · 入门 2 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后

在 3D 图中查看
全部类型 帖子 7博客 19项目 7教程 6书籍 1课程 4
  1. 6进阶
    帖子发布 10-26
    Reddit

    为一万到一万二千美元预算的本地 agentic coding 装机：1× 5090 对比 4× 3090、混合方案、PRO 6000、Mac Studio？

    $10–12K build for local agentic coding: 1× 5090 vs 4× 3090 vs hybrid vs PRO 6000 vs Mac Studio?

    r/LocalLLaMA 社区帖子。发帖者准备花约 1 万美元（必要时到 1.2 万）买硬件做本地 agentic coding，用途包括 agentic coding、偶尔 2–4 个并行 subagent 和逆向工程，可选需求是用 Hunyuan3D-2.1 做贴图生成（需 CUDA 和约 21GB 显存）。其列出正在考虑的方案：单张 RTX 5090、四张二手 3090、5090 + 2×3090 混合、Mac Studio M5 Ultra 256GB、超预算的 PRO 6000，并就长上下文中单 5090 与四 3090 的日常体验、3090 长上下文预填充表现、混合方案在 AM5 上以 x8/x8/x4 跑两个 vLLM 实例是否值得、以及是否该等 50 Super 或改装 4090 48GB 等问题征询意见。适合正在规划本地多卡推理/编码 agent 装机的人阅读。

    进阶模型服务与算力硬件与显存规划仅限授权使用
    查看详情 →
  2. 13进阶
    帖子发布 10-29
    Reddit

    在 4 块 R9700 上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B：我的工作负载下的实际 TPS 与每小时任务数

    Qwen 3.8 27B vs Nanbeige 4.3 33B on 4xR9700s: Real World TPS and jobs/hour on my workload

    这是 r/LocalLLaMA 的一篇社区帖子，作者此前发布过用 127 美元二手 EPYC 搭建 4 卡 R9700 机器的方案，本次在同一套硬件上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B。他以自己公司维护枪械相关商家信息（营业时间、价格、设施等）的实际工作为负载，让两套配置各跑同样的 2,484 个案例，以审计员身份输出接受、拒绝或弃权，并统计吞吐、每日经核实的正确任务数、准确率，以及 1/4/8 路并发下的 token 速度。帖子还提到 Qwen 在思考模式下审计自身结果的表现优于 Nanbeige，并在结尾向做编程或创意写作测试的人征询情况。适合关注本地多卡推理部署、按实际业务任务而非纯跑分评估模型的人阅读。

    进阶模型服务与算力本地模型部署
    查看详情 →
  3. 14深入
    帖子发布 10-27
    Reddit

    MacBook Pro M5 Max 上运行 Nanbeige4.3-33B Q4：mlx-lm、llama.cpp 与 Kapitsa 的对比，512 到 32K 上下文范围

    Nanbeige4.3-33B Q4 on a MacBook Pro M5 Max, mlx-lm vs llama.cpp vs Kapitsa, Prefill/Decode 512 to 32K range.

    这是一篇社区基准测试帖，在 MacBook Pro M5 Max（128GB）上对 Nanbeige4.3-33B 4-bit 量化模型比较 mlx-lm、llama.cpp 与 Kapitsa 三个引擎的 prefill、decode、首 token 时间、后续延迟和显存占用，覆盖 512 至 32K 提示长度；作者自述是 Kapitsa 引擎的开发者，并公开了原始输出与脚本。帖中称该模型速度慢、KV 缓存占用高（128K 上下文约 26GB），编码能力尚可。适合在 Apple 芯片上做本地推理性能对比的人阅读。

    深入长上下文与缓存模型服务与算力
    查看详情 →
  4. 15深入
    帖子发布 10-26
    Reddit

    RTX 3080 20GB 解锁 reBAR 与 P2P：提示处理速度提升 70%

    RTX 3080 20GB got reBAR and P2P unlock! +70% prompt processing speed

    帖子称 RTX 3080 20GB 的 P2P 已解锁，在张量并行模式下提示处理速度大幅提升；发帖人转述原作者 u/nathannguyennng 的工作，并给出自己的测试环境（Proxmox 上双 RTX 3080 20GB、vllm 0.32.0、INT4 量化模型、张量并行等）以及原装、gpu-unlock、gpu-unlock+ReBAR+P2P 三种配置的对比。适合在本地多卡上运行大模型、关注vLLM 推理性能调优的人阅读。

    深入硬件与显存规划模型服务与算力仅限授权使用
    查看详情 →
  5. 16深入
    帖子发布 10-26
    Reddit

    试过在 3090 等显卡上做 GPU 解锁的人：对混合精度量化（部分权重 ≤Q8、部分张量保留 BF16）有区别吗？

    People who tried gpu-unlock on 3090s and such - does this make any difference on mixed-precision quants where you get some parts of the model quantized to <=Q8 but keep some tensors at BF16?

    这是一篇社区提问帖，询问在 3090 一类显卡上解锁 FP16/BF16 矩阵乘性能后，对混合精度量化模型是否有效。评论者回复称基本没有差别：解锁只放开带 FP32 累加的 FP16/BF16 与 TF32 矩阵乘；llama.cpp 对 Q4–Q8 等量化权重走 MMQ INT8→INT32 路径，本来就没有锁定，实测 Q6_K 模型 prefill 与 decode 速度无变化，收益只出现在用 llama.cpp 跑未量化 BF16 GGUF 时。适合在消费级显卡上运行量化模型并关心推理性能调优的人阅读。

    深入模型量化模型服务与算力
    查看详情 →
  6. 17进阶
    帖子发布 10-27
    Reddit

    搭建 GPU kernel 开发环境的实践笔记：CUDA 13 的显卡截止、异步计时陷阱、profiler 计数器权限 [P]

    Practical notes on setting up a GPU kernel-dev environment: CUDA 13's GPU cutoff, async timing pitfalls, profiler counter permissions [P]

    一篇 r/MachineLearning 社区帖子，作者在准备自己的 GPU kernel 工程系列第一节环境配置时，整理了若干耗时且不易集中查到的要点。内容包括用 compute_cap 判断显卡架构、CUDA 13 已不再支持 Maxwell/Pascal/Volta、GTX 16 系无张量核心、FP8 需 Ada 或 Hopper；还说明驱动、工具链与 PyTorch 自带 CUDA 运行时是三件不同的事，以及 WSL 2 中的安装方式，并提到 GPU 启动异步导致朴素计时测到的是排队时间。适合刚开始做 CUDA kernel 开发、正在配置环境的人阅读。

    进阶硬件与显存规划模型服务与算力
    查看详情 →
  7. 30深入
    帖子发布 10-27
    Reddit

    我为一个面向大规模 GPU 工作负载的 PyTorch 优化器做了实现——希望获得反馈 [P]

    I built a PyTorch optimizer for large GPU workloads — looking for feedback[P]

    这是 r/MachineLearning 的一篇社区帖子（[P] 表示项目分享），作者介绍自己开发的 PyTorch 优化器 ApexW，目标是降低优化器状态显存占用并加快较大 GPU 工作负载上的优化器更新步骤，做法是紧凑的优化器状态加一条基于 Triton 的执行路径。作者称在只有几个大张量时的优化器单项基准中，Triton 加紧凑状态路径比 PyTorch 的 fused AdamW 快约 1.5 倍，优化器状态显存约减半；同时说明自动执行模式尚未稳定取得同样加速，含大量小张量的负载明显慢于 PyTorch fused 优化器（例如 1.28 亿参数分散在众多小张量时，PyTorch 原生为 16.1 ms/步），并强调这些数字来自优化器单项测试而非完整模型训练，希望有人在实现与基准测试上把关。适合从事 PyTorch 训练优化、关注优化器状态显存与 Triton 内核实现的人阅读。

    深入硬件与显存规划模型服务与算力
    查看详情 →

部署与推理优化的其他细分主题

本地模型部署 53硬件与显存规划 26模型量化 16解码与生成加速 22长上下文与缓存 19费用与资源优化 22