开源 Mac 应用：本地运行 EmbeddingGemma 2，按文件内容搜索文件

如何在 Strata 中为低量化版本的 Qwen 3.8 Flash Next 使用 Q8 ngram 并避开报错

How to use Q8 ngram with lower quant Qwen 3.8 Flash Next in Strata and avoid errors

r/LocalLLaMA 社区帖子，介绍在 Strata 中通过 --ple-gguf 参数或 Docker 环境的 STRATA_SET 变量旁加载更高精度的 Q8 ngram，以在声称不增加显存与内存占用、不牺牲预填充/解码速度的情况下提升输出质量；作者说明直接使用 Hugging Face 上的原始 ngram gguf 会报架构不匹配错误，需要把 general.architecture 键改为 strata-ple（可下载已修改好的 gguf，或用 gguf-editor-gui 修改），并声明自己尚未验证模型是否真的更聪明、速度与资源影响也未做充分测试。适合在本地用 Strata 跑量化模型、折腾 GGUF 元数据与 ngram 加速的人阅读。

cobanov/PS5LM

该项目把 llama.cpp 移植到已越狱的 PlayStation 5 上，允许主机原生运行 GGUF 格式模型，从 Qwen 3.8 开始。README 说明它借助主机 GPU 推理，提供 OpenAI 与 Anthropic 兼容 API 和适配电视的界面，可在无 PC、无云端、无账号的情况下为局域网内设备提供模型服务，另新增了 Ollaya 的决策模型支持。适合拥有越狱 PS5、想在家搭私有模型服务的读者。

Transformers 现在可以运行 llama.cpp 的量化模型

Transformers now runs llama.cpp quants

Hugging Face 博客文章（2026 年 9 月 22 日），宣布 transformers 增加对 GGUF 模型的高效支持，用户可从 Hub 选择 GGUF 检查点并用 from_pretrained 加载，在本机生成。文中介绍 GGUF 是 llama.cpp 团队开发的本地推理常用格式，llama.cpp 也驱动 Ollama、LM Studio、Jan 等本地工具，并提到 ggml-org、Unsloth、LM Studio Community、bartowski 等提供现成 GGUF 检查点。适合想在本地设备运行模型的读者。

24GB 显存 + 48GB 内存能跑 qwen3.8-flash-next 吗？

Can I run qwen3.8-flash-next on 24gb vram and 48 ram?

r/LocalLLaMA 社区帖子。发帖者尝试运行一次失败，求问配置建议。评论中有人称在 12GB 显存 + 64GB 内存上能跑 IQ3_XXS；有人给出可完全放在内存中的 GGUF 链接、ngram 表放 SSD；有人称 IQ3_XXS 在 RTX 4090 + 48GB 内存上用 Strata 刚好装下、约 70t/s，但没有给其他程序留余量；还有人提到 32GB 显存 + 32GB 内存跑 swift IQ3_xxs 效果不错、升级到 48GB 内存后跑 IQ3_S，并建议用 Strata 自动检测机器并推荐量化版本。适合在消费级显存/内存条件下部署该模型、需要参考量化与放置方案的人阅读。