项目深入
我构建了一个能在廉价（尚可）硬件上以近 400 token/s 运行 Qwen-Flash-Next 的引擎：老 R740 中的 3 块 V100 32GB；最初从 strata 分叉，但引擎核心全部针对老 Volta 架构构建
I built an engine that runs Qwen-Flash-Next at nearly 400t/s on cheap(ish) hardware. 3x V100 32GB in an old R740. Originally forked from strata but the engine guts all built for the old Volta generation.
这是一个 GitHub 项目（sFNX）的介绍，作者称在约 1,800 美元的二手 GPU 上（3 块约 600 美元的 Tesla V100-32GB，PCIe Gen3、无 NVLink）以 382 token/s 运行 Qwen3.8-Flash-Next 的代码编辑任务，同时服务 6 个各持完整 262,144 token 上下文的会话，并提供 OpenAI 聊天与响应、Anthropic 消息、工具与图像前端。README 说明其把每一层都切分到三块卡上以避免按层切分时的轮流等待，自行实现跨卡求和，并给出专家层、Gated DeltaNet 循环层和注意力 K/V 的切分方式。
- 分级
- 值得看
- 收录时间
- 2026-10-27
热度
有热度
- 7 天新增 star
- +43
- 30 天新增 star
- +43
- Hacker News
- 没有
- 社区讨论
- 1 帖
项目信息
- 语言
- Python
- 许可
- MIT
- 最近提交
- 2026-11-01
- Star
- 43
- Fork
- 12
上手方式
bash
ln -s /path/to/Qwen3.8-Flash-Next models
python3.14 -m venv .venv && .venv/bin/pip install . # the front end's packages (pyproject.toml)
make -j32 # bin/sfnx and the picture encoder; ~2 min from scratch on this box
make install # the systemd unit for this checkout and user: port 8080, enabled at boot
sudo systemctl start sfnx # ~80 s to load; the API is on port 8080