返回资源列表

NVIDIA Developer（Technical Blog） · Joe Halabi · Lin Chai · Maximilien Breughe · Michael Ferry · Charlotte Mallo

Run AI Models for Edge Application Development with Just a Few Commands

Run AI Models for Edge Application Development with Just a Few Commands是NVIDIA Developer（Technical Blog）的免费实践教程（en）。前置条件：需要会用 Linux 终端、Python 虚拟环境和 pip，了解 LLM 推理、TensorRT 的基本概念更佳。

在 NVIDIA DGX Spark 上用 trtedge CLI 跑起 Nemotron-3.5 Lightning，终端对话、起本地 OpenAI 兼容 API 服务，并开启 DSpark 推测解码做加速。

打开官方课程
难度
见前置条件
类型
教程 · 实践教程
语言
en
规模
1 个课节
内容费用
免费
动手
需要动手环境

使用限制

正文无需账号即可阅读；跟着练习需要自备 DGX Spark 硬件及配套软件栈。

练习与作业
NVIDIA DGX Spark 64GB 设备（文中标注“now available”，普通读者需自行购置或使用既有设备）

学完你能

  • 在 DGX Spark 上创建虚拟环境并安装 tensorrt-edgellm[server] 0.11.1
  • 验证 TensorRT 版本满足 ≥10.16.1.11 且 <11，并确认 TensorRT Edge-LLM 运行时能加载
  • 用 trtedge chat 下载 Nemotron-3.5 Lightning 模型并完成一次终端对话
  • 用 trtedge serve 起本地 OpenAI 兼容服务，通过 /health/ready 与 /v1/chat/completions 发起流式请求
  • 为服务开启 DSpark 推测解码并调节 num_speculative_tokens 观察生成速度变化
  • 读懂文中 TTFT 与生成速度对照表，理解推测解码对时延和显存占用的影响

适合你吗

适合

适合想在边缘设备上把 LLM 跑起来、做原型验证的开发者，教程命令完整、步骤可复现。

暂不适合

不适合没有 DGX Spark 硬件的读者，也不适合想学习模型训练或算法原理的人。

需要先会

需要会用 Linux 终端、Python 虚拟环境和 pip，了解 LLM 推理、TensorRT 的基本概念更佳。

课程特点

内容侧重
按内容目录判断
练习与项目
在 DGX Spark 上完整跑一次 chat 与 serve，随后开启 DSpark 对比生成速度；若要换模型，可从文中 supported models list 选其他模型（含视觉语言、语音模型）。
学习时长
1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
内容费用
免费网页正文直接给出全部教程步骤与命令，未见付费墙或登录拦截。

内容覆盖

  • Prerequisites: Set up your development environment
  • Serve your model
  • Optional: Enable speculative decoding
  • Performance on DGX Spark 64GB
  • Next steps

常见问题

免费吗？

免费：网页正文直接给出全部教程步骤与命令，未见付费墙或登录拦截。实践需要付费：练习必须在 NVIDIA DGX Spark 64GB 设备上完成，教程写明需要该硬件及 CUDA 13、TensorRT 环境。

需要什么基础？

需要会用 Linux 终端、Python 虚拟环境和 pip，了解 LLM 推理、TensorRT 的基本概念更佳。软件、账号与硬件：一台 NVIDIA DGX Spark（含受支持的 NVIDIA 软件栈），CUDA 13，TensorRT 10.16.1.11 或更高的 10.x 版本，Python 3.10–3.12；约 21GB 模型权重及引擎的磁盘空间。

有中文吗？

本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://developer.nvidia.com/blog/run-ai-models-for-edge-application-development-with-just-a-few-commands/。本页“学前准备”列出环境与工具，“学习指南”给出开课提示词，可以在自己的电脑上按步骤开始。开课提示词尚未完整验证。练习与作业需要自备：NVIDIA DGX Spark 64GB 设备（文中标注“now available”，普通读者需自行购置或使用既有设备）。

来源与使用须知

收录时间
本站首次收录 2026-11-01原站首次发布 2026-10-31
指南参考
课程主页

版权与转载

  • 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
  • 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。