NVIDIA Technical Blog · Kyrylo Perelygin · Shelton Dsouza · Myrto Papadopoulou
Control How Your GPU Shares Work with Green Contexts
理解 CUDA green contexts 的资源划分机制,并在自己的多负载 GPU 应用中实现 SM 与 workqueue 分区。
Blog
- 难度
- 见前置条件
- 形式
- 实践教程
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 需要动手环境
使用限制
阅读文章无需账号;动手运行示例需自备 NVIDIA GPU 与 CUDA 13.1 工具链。
- 练习与作业
- 支持 green contexts 的 NVIDIA GPU(正文示例基于 Blackwell 148 SM 设备)
学完你能
- 说清传统 CUDA context 与 green context 在资源分配上的区别
- 用 cudaGreenCtxCreate 与 cudaExecutionCtxStreamCreate 创建显式指向资源的流
- 通过 cudaDevResourceSplit 把设备 SM 划分为临界与批量两部分
- 为每个分区配置独立 workqueue 资源以减少伪串行
- 评估 green contexts 相比 CUDA stream priority 在降低延迟内核响应时间上的作用
适合你吗
适合
适合已写过多流 CUDA 程序、需要在一张 GPU 上隔离延迟敏感负载与批量负载的开发者和 AI 系统工程师。
暂不适合
不适合 CUDA 零基础读者,也不涉及模型训练或推理算法本身。
需要先会
需要熟悉 CUDA Runtime 的 device、context、stream 与 kernel 启动语法,并了解 SM 等 GPU 执行资源概念。
课程特点
- 内容侧重
- 侧重实践应用
- 练习与项目
- 在 148 SM 左右的设备上运行文中示例,用 cudaEvent 记录临界内核在分区前后的耗时对比。
- 学习时长
- 1 个课节原站未给出统一学习时长;实际用时取决于已有基础。
- 内容费用
- 免费网页正文可直接阅读,含说明与示例代码,未出现付费墙或登录拦截。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-20
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可:仅供个人学习,转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南,不转载、不镜像课程材料;引用时请注明原作者与出处。