NVIDIA Developer Blog · Ekin Karabulut · David Lifshitz · Hagay Sharon
Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4
Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4是NVIDIA Developer Blog的免费文章（en）。前置条件：需了解 Kubernetes 基础（Pod、注解、Helm）与 GPU 显存、CUDA 计算的基本概念。
了解在 Kubernetes 上用 CUDA 13.4 与 GPU Fractioning Operator 为工作负载强制显存上限、并按容器选择计算共享模式的做法。
- 难度
- 见前置条件
- 类型
- 博客 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 需要动手环境
使用限制
阅读文章本身无需账号；动手实践需要 Kubernetes 集群和 NVIDIA GPU 节点。
- 练习与作业
- 带 NVIDIA GPU 的 Kubernetes 节点（启用 MPS、CUDA 13.4）若使用云上 GPU 集群，会产生云资源费用
学完你能
- 说明 MIG、time-slicing、MPS（sm-sharing）三种 GPU 共享方式的区别与适用场景
- 解释 CUDA 13.4 新增的透明显存边界：精确显存额度、保底加可突发上限
- 说明 GPU Fractioning Operator 在节点上承担的职责，以及它与 NVIDIA GPU Operator 的分工
- 读懂描述 GPU 分数需求的四个 per-container Pod 注解：显存请求、上限、计算模式、GPU 设备
- 用 Helm 参数在安装 KAI Scheduler 时启用 NvFractions 共享模式
- 用绝对大小或 GPU 比例两种方式声明显存请求，并选择对应的上限注解
- 区分 time-slicing 与 sm-sharing 在错误域、SM 分配上的差别
适合你吗
适合
适合 AI 平台、基础设施与推理服务方向的学习者，了解 Kubernetes 和 GPU 调度的人能快速上手本节选中的配置方法。
暂不适合
不适合完全没有 Kubernetes 和 GPU 运维经验、想从零学集群管理的初学者；也不讲模型训练或算法本身。
需要先会
需了解 Kubernetes 基础（Pod、注解、Helm）与 GPU 显存、CUDA 计算的基本概念。
课程特点
- 内容侧重
- 按内容目录判断
- 练习与项目
- 在自有或云端 GPU 集群上启用 NvFractions，写一个声明显存请求与上限的 Pod 注解并观察限制是否生效。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选可直接读到正文、注解表格与 Helm 命令，页面未设付费墙或登录拦截，文中称相关工具为开源。
内容覆盖
- 背景：AI 工作负载只需部分 GPU，共享可提升利用率
- NVIDIA GPU 现有共享方式：MIG、time-slicing、MPS（sm-sharing）
- CUDA 13.4 新增：应用透明的显存边界、精确额度、保底与突发上限、计算模式选择
- 缺口：Kubernetes 集群如何用上显存强制能力
- GPU Fractioning Operator：开源 Kubernetes Operator 的三项职责
- 调度器如何通过 per-container Pod 注解传递 GPU 分配（表 1）
- 与 KAI Scheduler 配合：v0.18.0 起的 NvFractions 模式及 Helm 启用方式
- 显存请求：绝对大小与 GPU 比例两种写法
- 显存上限：绝对大小上限与比例上限注解（表 2），上限可选
- 计算共享：time-slicing 与 sm-sharing 的差别及错误域
- 每容器指定计算模式；同一 GPU 不混用两种模式
常见问题
免费吗？
免费：节选可直接读到正文、注解表格与 Helm 命令，页面未设付费墙或登录拦截，文中称相关工具为开源。实践可能产生费用：实际部署需 Kubernetes 集群与 NVIDIA GPU 节点（如云端 GPU 实例），可能产生云资源费用；网页未说明具体费用。
需要什么基础？
需了解 Kubernetes 基础（Pod、注解、Helm）与 GPU 显存、CUDA 计算的基本概念。软件、账号与硬件：练习通常需要可用的 Kubernetes 集群与 NVIDIA GPU 节点；阅读节选内容只需浏览器。
有中文吗？
本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。
怎么开始？
从原始资源入口开始：https://developer.nvidia.com/blog/memory-enforced-gpu-sharing-in-kubernetes-with-nvidia-cuda-13-4/。本页“学前准备”列出环境与工具，“学习指南”给出开课提示词，可以在自己的电脑上按步骤开始。开课提示词尚未完整验证。练习与作业需要自备：带 NVIDIA GPU 的 Kubernetes 节点（启用 MPS、CUDA 13.4）、若使用云上 GPU 集群，会产生云资源费用。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-28原站首次发布 2026-10-28
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。