推理引擎到底是什么？— Charles Frye，Modal

一场讲解推理引擎（inference engine）的技术演讲，演讲者为 Modal 的 Charles Frye。他从一个博物馆展牌生成器流量激增导致首 token 等待变长、后续 token 变慢的现象出发，借助推理监控面板说明增加副本如何缓解排队，并沿服务器 IO、分词、调度、模型执行、反分词追踪一次请求，以 SGLang 和 vLLM 为参照。内容还涉及调度器成为瓶颈、不同应用（聊天机器人、后台 agent、文档处理）的延迟与长度需求，以及 KV 缓存、CUDA graphs、投机解码、kernel 库等性能技术，最后谈到生产环境的正确性验证与调试。适合从事 LLM 推理部署与服务优化的人观看。