拥有自己推理的智能体——Du'an Lightfoot 与 Khaja Omer，Akamai Technologies

一场工作坊，两位讲者用一次失败优化（投机解码把演示模型从约每秒 58 token 降到 16 token）说明更快的推理配置必须针对实际模型、硬件和工作负载来测量。工作坊从选择托管 API 还是专用 GPU 自建推理讲起，随后在 Kubernetes 命名空间中提供 Jupyter notebook 和 vLLM 端点，以 Qwen 为例考察智能体的提示词、响应和重复工具调用对延迟与内存的消耗；内容涵盖流式测量、模型配置、内存预算、prefill、decode 与 KV 缓存，区分单请求生成速度与总吞吐，比较冷热前缀以及稠密模型与混合专家模型。之后将服务部署改为 FP8 模型重跑负载测试并检查简单输出质量，再进入投机解码，分析接受率、模型兼容性与 GPU 争用后回到基线，最后调整序列长度寻找吞吐趋平而延迟上升的并发点。适合正在做推理部署与性能调优的工程师。