# 拥有自己推理的智能体——Du'an Lightfoot 与 Khaja Omer，Akamai Technologies

- 原标题：Agents That Own Their Inference — Du'an Lightfoot & Khaja Omer, Akamai Technologies
- 类型：讲座
- 来源：YouTube
- 发布时间：2026-10-11
- 首次精选：2026-11-02 01:09
- 分级：值得看
- 学习层级：深入
- 主题：[context-cache-optimization](<https://oplearnx.com/md/topics/context-cache-optimization.md>)（第 15 位）、[model-quantization](<https://oplearnx.com/md/topics/model-quantization.md>)（第 23 位）、[model-serving-compute](<https://oplearnx.com/md/topics/model-serving-compute.md>)（第 24 位）
- 原文链接：[https://youtube.com/watch?v=4n08JHb90hI](<https://youtube.com/watch?v=4n08JHb90hI>)
- 本站页面：[https://oplearnx.com/resources/pk\_36bd8d0720c9](<https://oplearnx.com/resources/pk_36bd8d0720c9>)

## 摘要

一场工作坊，两位讲者用一次失败优化（投机解码把演示模型从约每秒 58 token 降到 16 token）说明更快的推理配置必须针对实际模型、硬件和工作负载来测量。工作坊从选择托管 API 还是专用 GPU 自建推理讲起，随后在 Kubernetes 命名空间中提供 Jupyter notebook 和 vLLM 端点，以 Qwen 为例考察智能体的提示词、响应和重复工具调用对延迟与内存的消耗；内容涵盖流式测量、模型配置、内存预算、prefill、decode 与 KV 缓存，区分单请求生成速度与总吞吐，比较冷热前缀以及稠密模型与混合专家模型。之后将服务部署改为 FP8 模型重跑负载测试并检查简单输出质量，再进入投机解码，分析接受率、模型兼容性与 GPU 争用后回到基线，最后调整序列长度寻找吞吐趋平而延迟上升的并发点。适合正在做推理部署与性能调优的工程师。

## 原文涉及

- [GitHub - akamai-developers/akamai-workshop-ai-inference: This is a workshop for Agents That Own Their Inference: Building Production AI Agents on Dedicated GPUs](<https://github.com/akamai-developers/akamai-workshop-ai-inference>)

---
来源：LearnMap · 学径（https://oplearnx.com）