全部资源

全部 AI 精选，可按分级、类型筛选，按关键词搜索。

810 条精选

帖子发布 10-29

在 4 块 R9700 上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B：我的工作负载下的实际 TPS 与每小时任务数

Qwen 3.8 27B vs Nanbeige 4.3 33B on 4xR9700s: Real World TPS and jobs/hour on my workload

这是 r/LocalLLaMA 的一篇社区帖子，作者此前发布过用 127 美元二手 EPYC 搭建 4 卡 R9700 机器的方案，本次在同一套硬件上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B。他以自己公司维护枪械相关商家信息（营业时间、价格、设施等）的实际工作为负载，让两套配置各跑同样的 2,484 个案例，以审计员身份输出接受、拒绝或弃权，并统计吞吐、每日经核实的正确任务数、准确率，以及 1/4/8 路并发下的 token 速度。帖子还提到 Qwen 在思考模式下审计自身结果的表现优于 Nanbeige，并在结尾向做编程或创意写作测试的人征询情况。适合关注本地多卡推理部署、按实际业务任务而非纯跑分评估模型的人阅读。

进阶本地模型部署模型服务与算力

查看详情 →

帖子发布 10-28

单块 3090 跑 27B：10 万 token 处仍达 110+ TPS，上下文可达 400k

110+ TPS through 100K tokens with 27b on a single 3090, with 400k ctx

这是一篇 Reddit r/LocalLLaMA 社区帖子，介绍 LlamAmpere v0.6 版本发布内容：TPS 提升约 13%（100–105K token 区间平均 112 TPS）、提示处理提升约 20%（前 10 万 token 平均预填充从约 1080 提升到约 1300 TPS）、推出新的 Ampere Integer+ 文件格式并与 XS、EXL3 作 KLD 与速度对比，以及借助 SJKVaRN 在约 23.5GB 占用下实现超过 400K 总上下文。适合在单块 3090 上运行本地推理、关注量化格式与长上下文性能的人阅读。

进阶模型量化本地模型部署

查看详情 →

帖子发布 10-29

本地 LLM 智能体驱动的物理 KVM 控制器已上市，并有一些有意思的用例

Local LLM Agent-driven physical KVM controllers are now available and have some interesting use cases:

这是 r/LocalLLaMA 的一篇社区帖子，作者在研究本地 LLM 的计算机使用智能体时，发现了一类此前不知道的硬件：支持 AI API 端点与 MCP 集成的 IP KVM 控制器，价格约 80–150 美元。这类设备让视觉能力 LLM 通过截取目标机 HDMI 或 USB-C 视频输出画面，并经 USB 发送鼠标键盘指令来操作目标电脑，且目标机上无需安装任何软件，可用于不允许安装程序的受管企业终端；帖中还将其与数据中心常用的远程 KVM 做了类比。适合对本地 LLM 计算机操作智能体、无侵入式远程控制硬件方案感兴趣的人阅读。

入门电脑与浏览器操作工具调用与协议仅限授权使用

查看详情 →

项目发布 10-29

漫画翻译工具——一起看懂日语吧！

Manga Translator Tool — Let’s understand Japanese!

这是 r/LocalLLaMA 的一篇社区帖子，作者介绍自己开发的开源桌面应用 Manga Translator Tool，用于在本地阅读和翻译日文漫画，灵感来自看字幕版动画时保留原文并附译文的做法。工具整合了漫画阅读器、OCR、译文覆盖层和可就当前页提问的本地 LLM：OCR 用 Qwen3.5 的日语 OCR 微调版本，翻译与对话用 Gemma 4 E2B 的某个变体，推理基于 llama.cpp 并支持 CPU 与 GPU。功能方面提到在不擦除原文字的前提下在文本框内显示译文、把译文存为图片元数据以在原文与译文视图间切换、搜索提取出的文本，以及能识别日文拟声词等；帖中还包含安装过程的演示视频。适合想在本地离线阅读并翻译日文漫画、或用小模型串联 OCR 与翻译流程的人阅读。

进阶文档解析与理解视觉与多模态理解仅限授权使用

查看详情 →

帖子发布 10-29

我用 Qwen 3.8FN IQ3_S 测试了 Strata 的路由优化在编程、数学和指令遵循上的表现

I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following

这是 r/LocalLLaMA 的一篇社区帖子，作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成（约 4.48 倍有效系数），使分数接近时可用缓存中的专家替换原本会选中的专家；STRATA_ROUTE_TAIL_SKIP=7（默认值）则在某些专家不在显存时跳过第 7 至第 10 个专家的计算，从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格，并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。

深入硬件与显存规划混合专家模型

查看详情 →

帖子发布 10-28

我为语音转文字应用微调了一个 LLM，用来清理转写文本

I fine-tuned an LLM to clean up transcriptions for my voice-to-text app

一篇 r/LocalLLaMA 社区帖子，作者为自己开发的语音转文字应用 WhisperNow 微调本地 LLM 做文本清理，去除口头填充词、误起头、自我纠正并格式化列表。帖子介绍了 66,557 行的数据集（合并公开数据与合成听写内容），说明训练中发现的薄弱点及补充样本的做法，并给出 LFM2.5 1.2B/2.6B、Qwen3.5 4B 三个全量微调模型在 GPU 与 CPU 上的耗时对比，以及与若干云端 API 的延迟对照。适合在做本地语音输入或文本后处理模型微调的人阅读。

进阶微调与模型适配语音与音频

查看详情 →

帖子发布 10-28

我从零训练了一个 21B MoE（激活 3.36B），用了 70B token（涌现能力观察）

I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。

深入混合专家模型预训练与数据

查看详情 →

帖子发布 10-29

在做一种让本地 LLM 共享上下文而不必集中化一切的方式

Working on a way for local LLMs to share context without centralizing everything

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者描述多人或多台机器使用本地模型时共享上下文的困难（重复 embeddings 或向量库、手动搬运上下文、引入中心服务），并介绍他们正在试验的一个小型可移植上下文层，让有用的事实或决策能在本地环境之间转移而不必随带整个底层数据集。作者还提到目前仍处早期，正在讨论来源追溯、权限、过期上下文和模型可记忆范围等问题，并向读者询问在跨机器或团队场景下如何处理共享上下文。适合在多台机器或团队中部署本地模型、关心本地上下文共享方案的人阅读。

进阶隐私与风险治理上下文与记忆

查看详情 →

帖子发布 10-28

4B 3D 编码模型更新：一次性生成效果与画面质量明显提升

4B 3D coding model update: much better one-shot results and visual quality

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者发布其 4B 3D 场景编码模型的新版本，包括完整 FP16 权重，并公开了训练数据集 CCORE Three.js 3D Scenes（4146 个场景示例，3933 训练 / 213 验证，含提示、完整思考轨迹、HTML/JavaScript 响应、复杂度等级和可选渲染参考图，MIT 许可）。帖中给出 Q8 的推荐参数（temperature 0.6、top-k 20、top-p 0.95），说明 Q4 已发布但本版未测试，并提醒在 LM Studio 中关闭 MTP、重新下载同名文件。适合用本地小模型生成 Three.js 3D 场景、或想用其数据集训练模型的人阅读。

进阶微调与模型适配创意编程与设计

查看详情 →

帖子发布 10-28

我把 EmbeddingGemma-2（577M）从 MTEB 音频榜（MAEB）第 26 名带到第 1 名，零训练加一个 2.4MB 的 PCA 头，击败 9B 模型

I took EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MTEB Audio leaderboard (MAEB), beating 9B models by adding a 2.4 MB PCA head with zero training

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者在 Google 的 577M 参数、768 维向量模型 embeddinggemma-2 上加入一个 2.37MB 的冻结 PCA 矩阵文件，未训练任何权重，就把 MAEB 音频榜得分从 49.3% 提升到 54.4%，音频榜从第 26 名升至第 1 名（完整 MAEB 从第 16 名升至第 1 名）。帖子解释了原理：从冻结音频编码器较早层提取特征以保留音色、情绪等声学信息，并列出无监督语音/性别聚类、歌曲音频检索、人声情绪分类等任务上的提升数字，权重发布在 Hugging Face。适合在笔记本或边缘设备上做音频/文本嵌入检索、关注小模型与嵌入模型改进的人阅读。

深入语音与音频模型基准与比较

查看详情 →

帖子发布 10-29

Artificial Analysis 的替代选择

Alternatives to Artificial Analysis

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者表示自己认同版内一种看法，即 Artificial Analysis 在有好的开源模型出现或 IPO 临近时改动其指标令人生疑，并向其他人询问有哪些替代的评测榜单。评论中有人提出替代者至少应与 Artificial Analysis 一样公开方法论，也有人讨论其资金来源与 OpenAI 董事会成员的关联，以及 OpenAI 目前排名第三等反驳意见。适合关注模型评测榜单可信度与评测方法论透明度的人阅读。

入门模型基准与比较

查看详情 →

帖子发布 10-29

观点：本地部署会在企业里爆发式增长

Theory: Local is going to explode at enterprises

这是 r/LocalLLaMA 的一篇社区帖子，作者援引一条 X 帖子提出观点：企业希望保守自己的机密，而大型本地模型对多数任务已经足够好，企业所需要的只是一个即插即用的方案。评论区中一位自称从事企业 AI 部署的用户反驳称，目前这远非常态，也不认为一年内会改变：多数“科技”公司缺乏构建、维护和优化自托管部署所需的机器学习与 IT 能力，本地可用的模型并不适合普通员工使用，为各类硬件和用户需求优化环境也很麻烦，多数企业会依靠数据处理协议或企业级服务来保护机密。适合在企业中从事 AI 部署或选型、关注本地部署落地障碍的人阅读。

入门隐私与风险治理本地模型部署

查看详情 →

加载更多精选 ↓