将 TorchTPU 集成进 TorchTitan 并为 TPU 优化模型

我构建了一个能在廉价（尚可）硬件上以近 400 token/s 运行 Qwen-Flash-Next 的引擎：老 R740 中的 3 块 V100 32GB；最初从 strata 分叉，但引擎核心全部针对老 Volta 架构构建

I built an engine that runs Qwen-Flash-Next at nearly 400t/s on cheap(ish) hardware. 3x V100 32GB in an old R740. Originally forked from strata but the engine guts all built for the old Volta generation.

这是一个 GitHub 项目（sFNX）的介绍，作者称在约 1,800 美元的二手 GPU 上（3 块约 600 美元的 Tesla V100-32GB，PCIe Gen3、无 NVLink）以 382 token/s 运行 Qwen3.8-Flash-Next 的代码编辑任务，同时服务 6 个各持完整 262,144 token 上下文的会话，并提供 OpenAI 聊天与响应、Anthropic 消息、工具与图像前端。README 说明其把每一层都切分到三块卡上以避免按层切分时的轮流等待，自行实现跨卡求和，并给出专家层、Gated DeltaNet 循环层和注意力 K/V 的切分方式。

GLM-5.3 Workers AI 模型中的跨请求 KV 缓存泄露（155 条响应）

Cross-request KV cache exposure in the GLM-5.3 Workers AI model (155 responses)

这是 Cloudflare 博客与推理引擎 SGLang 协同披露的一篇安全事件报告。文章称 2026 年 8 月 27 日至 9 月 9 日期间，使用 GLM-5.3 Workers AI 模型的少数客户收到了包含其他客户此前请求数据的响应，共涉及 155 条响应，且均为超过 681,280 token 的长提示。文章说明问题已修复并于 9 月 9 日恢复该模型，未发现故意利用的证据，同时介绍了缺陷原因、响应时间线及对生产环境 SGLang 部署的加固措施。

Leanstral 1.5：让所有人都能拥有充足的证明

Leanstral 1.5: Proof Abundance for All

Mistral 发布的 Lean 4 形式化证明模型 Leanstral 1.5，采用 Apache-2.0 许可，总参数 119B、激活参数 6B。文中称其在形式验证任务上有大幅提升：miniF2F 达到饱和，PutnamBench 解决 587/672 题，FATE-H 达 87%、FATE-X 达 34%；训练经过中期训练、监督微调与基于 CISPO 的强化学习，并在测试的 57 个代码仓库中发现 5 个此前未知的缺陷。模型已开源，可通过 Hugging Face 和免费 API 使用。

mw00/project-maya

Project Maya 是用于在自有 GPU 上私有运行 GLM-5.3-Flash（321B MoE）和 DeepSeek-V4.1-Flash-1017（748B MoE）的项目，支持单卡至 16 卡、NVIDIA 与 AMD、Linux 与 Windows（实验性）。包含推理引擎、服务器、仪表盘、OpenAI 与 Anthropic 兼容 API 以及量化工具，可处理并发请求并支持图片。

如何用 NVIDIA GPUDirect Storage 在 Python 中把数据读入 GPU 显存

How to Read Data into GPU Memory in Python with NVIDIA GPUDirect Storage

NVIDIA 技术博客，作者 Andrew Hoyle，2026 年 10 月 22 日发布。文章介绍 KvikIO 库如何以 Python 和 C++ 高层接口封装 cuFile C API，实现加速的文件 I/O 直读 GPU 显存；说明了 KvikIO 与 cuFile 各自的路径选择、KVIKIO_COMPAT_MODE、KVIKIO_GDS_THRESHOLD、cufile.json 中的 parallel_io 与 min_io_threshold_size_kb 等设置，以及用 CUFILE_STATS_LEVEL=3 与 gds_stats 判断走加速路径还是兼容路径，并提到 KvikIO 在 cuDF、cuCIM、cuPhoton 和 GPU 加速 Presto 中的应用。