模型量化

学习低精度格式、量化质量和部署方法,适合希望降低资源需求的开发者。

16 条精选 · 入门 2 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 5进阶
    项目发布 10-07
    GitHub

    VecSzn/PolyStrata

    一个在个人电脑上本地运行大模型的方案,其中 Qwen3.8-Flash-Next 运行在 Strata 引擎上,另有一套为 PolyStrata 编写的第二引擎支持 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V 等模型。提供 Windows 和 Linux 一键安装,并在 localhost 暴露 OpenAI/Anthropic 兼容 API。

部署与推理优化的其他细分主题