模型服务与算力

StartLuxLabs/StartLux-Decision

这是一个开源决策模型系列的项目仓库，模型规模从 0.8B 到 27B，一次推理即为每个选项给出校准概率，仅在不确定时输出简短思考。项目提供面向 vLLM、llama.cpp 和 MLX 的推理引擎，并提供 Hugging Face 模型页、arXiv 技术报告、API 文档与博客链接。

cobanov/PS5LM

该项目把 llama.cpp 移植到已越狱的 PlayStation 5 上，允许主机原生运行 GGUF 格式模型，从 Qwen 3.8 开始。README 说明它借助主机 GPU 推理，提供 OpenAI 与 Anthropic 兼容 API 和适配电视的界面，可在无 PC、无云端、无账号的情况下为局域网内设备提供模型服务，另新增了 Ollaya 的决策模型支持。适合拥有越狱 PS5、想在家搭私有模型服务的读者。

我构建了一个能在廉价（尚可）硬件上以近 400 token/s 运行 Qwen-Flash-Next 的引擎：老 R740 中的 3 块 V100 32GB；最初从 strata 分叉，但引擎核心全部针对老 Volta 架构构建

I built an engine that runs Qwen-Flash-Next at nearly 400t/s on cheap(ish) hardware. 3x V100 32GB in an old R740. Originally forked from strata but the engine guts all built for the old Volta generation.

这是一个 GitHub 项目（sFNX）的介绍，作者称在约 1,800 美元的二手 GPU 上（3 块约 600 美元的 Tesla V100-32GB，PCIe Gen3、无 NVLink）以 382 token/s 运行 Qwen3.8-Flash-Next 的代码编辑任务，同时服务 6 个各持完整 262,144 token 上下文的会话，并提供 OpenAI 聊天与响应、Anthropic 消息、工具与图像前端。README 说明其把每一层都切分到三块卡上以避免按层切分时的轮流等待，自行实现跨卡求和，并给出专家层、Gated DeltaNet 循环层和注意力 K/V 的切分方式。

mw00/project-maya

Project Maya 是用于在自有 GPU 上私有运行 GLM-5.3-Flash（321B MoE）和 DeepSeek-V4.1-Flash-1017（748B MoE）的项目，支持单卡至 16 卡、NVIDIA 与 AMD、Linux 与 Windows（实验性）。包含推理引擎、服务器、仪表盘、OpenAI 与 Anthropic 兼容 API 以及量化工具，可处理并发请求并支持图片。

DeepInfer：DeepSeek 模型的高性能推理框架

DeepInfer: High-performance inference framework for DeepSeek models

DeepSeek 在 GitHub 上开源的推理框架仓库，称其为支撑 DeepSeek 大规模生产服务的高性能框架，此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash，并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。

incoai/Qwen3.8-Flash-Next-DFlash2

Hugging Face 仓库页面，内容为 Qwen/Qwen3.8-Flash-Next 的 DFlash 2 草稿模型，本身不是独立语言模型，需在推测解码服务器中为目标模型起草 token。DFlash 2 是块扩散式 drafter，一次预测一整块 token 并在每个位置保留最优候选，再由轻量选择器串成连贯路径；解码是无损的，贪心输出与目标模型完全一致。页面给出使用 SGLang 部署的快速开始步骤，需先应用仓库内附带的捕获补丁。附带说明中称并发为 1 时其速度约比 MTP 快 20%。

Deepity：一个手工调优的 C++/CUDA 预测编码库，在 MNIST 上超过 jpc（JAX）和 ngc-learn（含 CPU 基准与源码）[P]

Deepity: a hand-tuned C++/CUDA predictive coding library, beats jpc (JAX) and ngc-learn on MNIST (CPU benchmarks + source inside) [P]

这是一篇 [P] 类社区发布帖，作者用 C++20 从零实现预测编码（PC）引擎并配薄 Python 层，发布首个公开版本。帖中介绍了预测编码与反向传播的区别（各层本地信念对自上而下预测做误差最小化、需“settling”阶段、不保存反向计算图），以及库的组成：手写 AVX2/AVX-512 SIMD 内核、OpenBLAS/MKL 做 GEMM、仍在调优的 CUDA 后端（暂不可用）、基于 nanobind 的 Python 绑定（pip install pydeepity），并支持多种 PCN 变体；帖子称在 MNIST 上优于 jpc（JAX）与 ngc-learn，并附带 CPU 基准和源码。适合研究预测编码、非反向传播训练方法与底层内核优化的人阅读。