全部资源

全部 AI 精选，可按分级、类型、是否付费、收录时间筛选，按关键词搜索。

排序：最新收录 · 推荐902 条精选

帖子发布 10-29

在波兰语法律数据上对 Qwen9B 做 CPT 后，怎么让它聊天？重点：怎么让它推理？怎么在我的 harness 里做函数调用？先做哪个？[D]

CPT’d Qwen9B on Polish legal data. How to make it chat? IMPORTANTLY: how to make it reason? and function call in my harness? and which to do first? [D]

这是一条 Reddit r/MachineLearning 社区帖子。发帖人基于 Qwen3.5-9B-BASE 训练波兰语法律模型（计划之后扩到更大规模的 qwen），已完成三个连续 CPT 阶段、每阶段约 8000 万 token，依次为复杂法律评注、立法（欧盟与本地）、法院判决，各阶段从上一检查点继续且不混合来源；在一个小型波兰金融法律多选题测验上略优于基座模型且立法检查点最好。发帖人的困惑是如何把领域适应的基座模型变成能推理法律问题的 agentic 聊天助手，如何获得推理能力、在自家 harness 中的工具使用训练，以及 SFT 与 RL 在该流程中的位置和顺序，并列出可获取的数据类型（如 Facebook 法律问答群中的真实杂乱提问）。适合正在做领域继续预训练和后续 SFT/RL 对齐实验的人阅读。

深入微调与模型适配推理与持续学习

查看详情 →

帖子发布 10-29

把鸡尾酒会音频当作反向图灵测试：人类胜过语音模型，但差距不够大 [P]

Cocktail-party audio as a reverse Turing test: humans beat speech models, but not by enough [P]

一篇 r/MachineLearning 社区帖子，作者用 40 段合成音频（一条目标语句混在多人声背景中）搭建了一个类似音频验证码的小实验，收集 18 场会话共 146 份人工转写，并与 Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR、Parakeet CTC、Gemini 等 8 种模型配置对比词准确率。结论是人类的平均词准确率为 0.71、通过率 77%，明显高于模型，但差距不足以做成可靠的 CAPTCHA；作者还说明指令提示可将 Gemini 从 0.34 提升到 0.54，并列出小样本、单一合成音色等局限。适合关注语音识别评测与音频人机区分方法的人阅读。

进阶模型基准与比较语音与音频

查看详情 →

帖子发布 10-28

能否把 TabbyAPI 配置得像 Strata 那样跑 Qwen 3.8 Flash Next 的 exl3 量化？

Is it possible to configure TabbyAPI to be like Strata for Qwen 3.8 Flash Next exl3?

r/LocalLLaMA 社区帖子，发帖人听说 exl3 量化比 Unsloth 的 UD 量化更精确，并给出 Hugging Face 上 Qwen3.8-Flash-Next exl3 版本的链接。他提到 TabbyAPI 和 Exllamav3 已支持 MoE 的 CPU 专家卸载，自己用 UD Q4 能跑到 70+ t/s，但按 q4 加卸载配置 TabbyAPI 只得到 20 t/s，询问是否只是配置问题、速度能否接近 Strata。补充说明中引用了 TabbyAPI 的 cpu_moe_split_experts 选项（把每层 MoE 的部分路由专家放到 CPU、按冷热动态放置）正是他达到 20 t/s 时用的设置，并猜测 Strata 可能用了别的 gguf 优化。适合在本地部署量化 MoE 模型、折腾 TabbyAPI/Exllama 配置与推理速度的人阅读。

进阶硬件与显存规划本地模型部署

查看详情 →

帖子发布 10-29

制作 TTS“全阵容有声剧”

Making TTS "full-cast audio dramas"

这是一条 Reddit r/LocalLLaMA 社区帖子。作者展示其应用 tts-audiobook-tool 的 demo 输出：旁白加三个说话角色各用不同声音。帖子提到一个可选的预备步骤，用 LLM 识别角色及其对白，再映射到项目中已配置的克隆声音；用 Deepseek Flash 4.1 API 对小说《太阳照常升起》的对白识别准确率超过 99%（作者也承认 LLM 对该小说的既有知识可能有帮助），并认为本地运行的同类模型应当表现不错。所用 TTS 模型为 Breeze 2 TTS，应用还支持一二十种其他模型，作者目前最偏好 Breeze 2 与 MOSS TTS 9B。适合用本地 TTS 与 LLM 做有声书、多角色配音的人阅读。

进阶语音与音频

查看详情 →

博客发布 10-27

developer.nvidia.com

在 NVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法

3 Ways to Boost MoE Inference on NVIDIA DGX Spark

这是 NVIDIA 技术博客的一篇文章，以 1240 亿参数、每 token 激活 51 亿参数的 Ling-3.0-flash 混合专家模型为例，在 NVIDIA DGX Spark、batch size 为 1 的条件下评测三项优化：Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及结合 NEXTN 的 MTP 投机解码。文中给出配置对比数据：基线每输出 token 耗时 27.71 ms、解码吞吐 36.09 tok/s，逐项叠加后分别提升 9.3%、21.7%，三项全开时为 9.72 ms、102.88 tok/s、相对基线提升 185.1%。文中还提到性能剖析显示解码受内存带宽限制，MoE 计算与输出层投影占主要执行时间。

深入模型量化解码与生成加速

查看详情 →

帖子发布 10-28

真的有人在 1–3 bpw 以下使用 deepseekv4.1f 吗？

Is anyone actually using deepseekv4.1f at sub 1-3 bpw?

r/LocalLLaMA 社区帖子，发帖人看到很多关于在低价硬件上以低 bpw 运行 deepseekv4.1 1017 且速度尚可的帖子，想做一次实际使用情况的核实：除了当作新奇玩意，是否真有人在低比特量化下用它做事。他回顾此前用 v4-0731 的 Q2 经验，认为相比完整的 Q8 差距明显，而那个 Q8 本身已等于约 90% 的 QAT 后 Q4，再降两个 bpw 后表现不佳。他征询使用 1–3 bpw v4.1-1017 的人分享体验，最好与 3.8FN 更高量化版本作对比。适合在有限硬件上运行低比特量化大模型、比较不同量化方案实际可用性的人阅读。

进阶模型量化本地模型部署

查看详情 →

项目发布 10-28

JEV 竞技场博客与基准测试

JEV arena blog and benchmark

r/LocalLLaMA 社区帖子，作者做了一个小型 2D 格斗游戏，由语言模型决定每一步动作：模型获得当前血量、距离、对手动作和可选动作，再决定接近、格挡、踢腿或发火球。当前排行榜包含 18 个模型、306 场对局，每对模型交换阵营各打一次；游戏会等待双方回答，因此 API 延迟不影响胜负。用户可自带选手：选模型和角色、写策略与防守指令、取昵称提交，自定义配置有单独排行榜并可观看对局。游戏还有一个 mental_attack 动作：不攻击而是把预设消息注入对手的下一次提示，消耗一次物理动作且有冷却，不能直接改变血量或游戏状态。代码开源，可本地运行并用 JSON 定义选手和可续赛的锦标赛；录好的对局和内置机器人可离线无密钥运行，新的 API 对局需自备密钥。适合关注 LLM 对抗式评测、想比较不同模型决策与提示注入策略的人阅读。

进阶模型基准与比较智能体评测

查看详情 →

帖子发布 10-28

两天调优单块 Tesla P40：35B MoE、完整 262k 上下文，短上下文约 60 t/s、深至 100k 时约 30 t/s，且不使用低于 Q4 的量化

Two days tuning a single Tesla P40: 35B MoE, full 262k context, ~60 t/s short and ~30 t/s at 100k deep. No sub-Q4 quants.

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者记录在单块 24GB Tesla P40（PCIe x1、Windows、自改 llama.cpp）上运行 Ornith 1.5 35B-A3B 模型、保持 Q4_0 权重与 q8_0 KV 的调优过程。文中列出带来提升的做法（关闭 ECC、KV 用 q8_0 而非 q4_0、检查 MTP 头是否训练、为 flash-attention 的 KQ 部分使用 int8 dp4a、限制 MTP 预填充窗口）以及未奏效的尝试（f16 KV、核内反量化 V、官方 Q4_K_M），并给出 llama-bench 测试数据。适合在本机用单卡或旧款显卡跑大模型推理、关注量化与 llama.cpp 调优的人阅读。

深入解码与生成加速长上下文与缓存

查看详情 →

帖子发布 10-29

在 4 块 R9700 上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B：我的工作负载下的实际 TPS 与每小时任务数

Qwen 3.8 27B vs Nanbeige 4.3 33B on 4xR9700s: Real World TPS and jobs/hour on my workload

这是 r/LocalLLaMA 的一篇社区帖子，作者此前发布过用 127 美元二手 EPYC 搭建 4 卡 R9700 机器的方案，本次在同一套硬件上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B。他以自己公司维护枪械相关商家信息（营业时间、价格、设施等）的实际工作为负载，让两套配置各跑同样的 2,484 个案例，以审计员身份输出接受、拒绝或弃权，并统计吞吐、每日经核实的正确任务数、准确率，以及 1/4/8 路并发下的 token 速度。帖子还提到 Qwen 在思考模式下审计自身结果的表现优于 Nanbeige，并在结尾向做编程或创意写作测试的人征询情况。适合关注本地多卡推理部署、按实际业务任务而非纯跑分评估模型的人阅读。

进阶模型服务与算力本地模型部署

查看详情 →

帖子发布 10-29

本地 LLM 智能体驱动的物理 KVM 控制器已上市，并有一些有意思的用例

Local LLM Agent-driven physical KVM controllers are now available and have some interesting use cases:

这是 r/LocalLLaMA 的一篇社区帖子，作者在研究本地 LLM 的计算机使用智能体时，发现了一类此前不知道的硬件：支持 AI API 端点与 MCP 集成的 IP KVM 控制器，价格约 80–150 美元。这类设备让视觉能力 LLM 通过截取目标机 HDMI 或 USB-C 视频输出画面，并经 USB 发送鼠标键盘指令来操作目标电脑，且目标机上无需安装任何软件，可用于不允许安装程序的受管企业终端；帖中还将其与数据中心常用的远程 KVM 做了类比。适合对本地 LLM 计算机操作智能体、无侵入式远程控制硬件方案感兴趣的人阅读。

入门电脑与浏览器操作工具调用与协议仅限授权使用

查看详情 →

项目发布 10-29

漫画翻译工具——一起看懂日语吧！

Manga Translator Tool — Let’s understand Japanese!

这是 r/LocalLLaMA 的一篇社区帖子，作者介绍自己开发的开源桌面应用 Manga Translator Tool，用于在本地阅读和翻译日文漫画，灵感来自看字幕版动画时保留原文并附译文的做法。工具整合了漫画阅读器、OCR、译文覆盖层和可就当前页提问的本地 LLM：OCR 用 Qwen3.5 的日语 OCR 微调版本，翻译与对话用 Gemma 4 E2B 的某个变体，推理基于 llama.cpp 并支持 CPU 与 GPU。功能方面提到在不擦除原文字的前提下在文本框内显示译文、把译文存为图片元数据以在原文与译文视图间切换、搜索提取出的文本，以及能识别日文拟声词等；帖中还包含安装过程的演示视频。适合想在本地离线阅读并翻译日文漫画、或用小模型串联 OCR 与翻译流程的人阅读。

进阶文档解析与理解本地模型部署仅限授权使用

查看详情 →

帖子发布 10-29

我用 Qwen 3.8FN IQ3_S 测试了 Strata 的路由优化在编程、数学和指令遵循上的表现

I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following

这是 r/LocalLLaMA 的一篇社区帖子，作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成（约 4.48 倍有效系数），使分数接近时可用缓存中的专家替换原本会选中的专家；STRATA_ROUTE_TAIL_SKIP=7（默认值）则在某些专家不在显存时跳过第 7 至第 10 个专家的计算，从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格，并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。

深入硬件与显存规划混合专家模型

查看详情 →

加载更多精选 ↓