GPU 利用率从 15% 到 90%：修数据管线，而不是修模型

这是 Amazon AGI 的 Tarun Sunkaraneni 的演讲，说明多模态训练中最难的部分常不是 GPU，而是持续喂数据。在 S3 中存储图像训练 Qwen3-VL 类模型的基线管线里，约 85% 时间花在等数据上，主要是逐张加载、解码和缩放图像。他逐一处理瓶颈：用 asyncio 和 Ray actor 做并发、预取让数据在训练器请求前就绪、用 Ray 对象存储避免在进程间复制大图像张量；到了生产规模，单机网卡成为新瓶颈，通过把 worker 分散到多节点并使用零拷贝读取，又获得约 50% 吞吐提升。还讨论了 GIL 下 asyncio、线程与进程的取舍，以及某些配置只在规模化时才有收益。适合做多模态数据管线与 Ray 训练的工程师观看。