全部资源

帖子精选。

95 条精选
帖子发布 10-28
Reddit

用 Claude 做 GTD

Claude for GTD

Reddit r/ClaudeAI 社区帖子。作者是多年 GTD 用户,先后用过 Evernote、OneNote、Workflowy、Obsidian,目前用 Claude + Obsidian 搭建系统,觉得可行但仍显笨重和脆弱,于是征询更好的实现方式。帖中详述了一套方案:Obsidian Tasks 插件(每行一个任务,用标签标注状态与情境)、项目/人物独立笔记与保存查询、私有 GitHub 仓库加 Obsidian Git 与 GitSync 同步、收件箱记录与邮件捕获、定时 Claude 任务做澄清、日历排期和逾期提醒、以 git commit 记录所有改动以便查看和撤销,并把任务拆到 Claude Code 后曾出现定时任务失败的问题。适合正在用 Claude 配合笔记软件搭建 GTD 或个人信息管理流程的人阅读。

帖子发布 10-29
Reddit

在波兰语法律数据上对 Qwen9B 做 CPT 后,怎么让它聊天?重点:怎么让它推理?怎么在我的 harness 里做函数调用?先做哪个?[D]

CPT’d Qwen9B on Polish legal data. How to make it chat? IMPORTANTLY: how to make it reason? and function call in my harness? and which to do first? [D]

这是一条 Reddit r/MachineLearning 社区帖子。发帖人基于 Qwen3.5-9B-BASE 训练波兰语法律模型(计划之后扩到更大规模的 qwen),已完成三个连续 CPT 阶段、每阶段约 8000 万 token,依次为复杂法律评注、立法(欧盟与本地)、法院判决,各阶段从上一检查点继续且不混合来源;在一个小型波兰金融法律多选题测验上略优于基座模型且立法检查点最好。发帖人的困惑是如何把领域适应的基座模型变成能推理法律问题的 agentic 聊天助手,如何获得推理能力、在自家 harness 中的工具使用训练,以及 SFT 与 RL 在该流程中的位置和顺序,并列出可获取的数据类型(如 Facebook 法律问答群中的真实杂乱提问)。适合正在做领域继续预训练和后续 SFT/RL 对齐实验的人阅读。

帖子发布 10-29
Reddit

把鸡尾酒会音频当作反向图灵测试:人类胜过语音模型,但差距不够大 [P]

Cocktail-party audio as a reverse Turing test: humans beat speech models, but not by enough [P]

一篇 r/MachineLearning 社区帖子,作者用 40 段合成音频(一条目标语句混在多人声背景中)搭建了一个类似音频验证码的小实验,收集 18 场会话共 146 份人工转写,并与 Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR、Parakeet CTC、Gemini 等 8 种模型配置对比词准确率。结论是人类的平均词准确率为 0.71、通过率 77%,明显高于模型,但差距不足以做成可靠的 CAPTCHA;作者还说明指令提示可将 Gemini 从 0.34 提升到 0.54,并列出小样本、单一合成音色等局限。适合关注语音识别评测与音频人机区分方法的人阅读。

帖子发布 10-28
Reddit

能否把 TabbyAPI 配置得像 Strata 那样跑 Qwen 3.8 Flash Next 的 exl3 量化?

Is it possible to configure TabbyAPI to be like Strata for Qwen 3.8 Flash Next exl3?

r/LocalLLaMA 社区帖子,发帖人听说 exl3 量化比 Unsloth 的 UD 量化更精确,并给出 Hugging Face 上 Qwen3.8-Flash-Next exl3 版本的链接。他提到 TabbyAPI 和 Exllamav3 已支持 MoE 的 CPU 专家卸载,自己用 UD Q4 能跑到 70+ t/s,但按 q4 加卸载配置 TabbyAPI 只得到 20 t/s,询问是否只是配置问题、速度能否接近 Strata。补充说明中引用了 TabbyAPI 的 cpu_moe_split_experts 选项(把每层 MoE 的部分路由专家放到 CPU、按冷热动态放置)正是他达到 20 t/s 时用的设置,并猜测 Strata 可能用了别的 gguf 优化。适合在本地部署量化 MoE 模型、折腾 TabbyAPI/Exllama 配置与推理速度的人阅读。

帖子发布 10-29
Reddit

制作 TTS“全阵容有声剧”

Making TTS "full-cast audio dramas"

这是一条 Reddit r/LocalLLaMA 社区帖子。作者展示其应用 tts-audiobook-tool 的 demo 输出:旁白加三个说话角色各用不同声音。帖子提到一个可选的预备步骤,用 LLM 识别角色及其对白,再映射到项目中已配置的克隆声音;用 Deepseek Flash 4.1 API 对小说《太阳照常升起》的对白识别准确率超过 99%(作者也承认 LLM 对该小说的既有知识可能有帮助),并认为本地运行的同类模型应当表现不错。所用 TTS 模型为 Breeze 2 TTS,应用还支持一二十种其他模型,作者目前最偏好 Breeze 2 与 MOSS TTS 9B。适合用本地 TTS 与 LLM 做有声书、多角色配音的人阅读。

帖子发布 10-28
Reddit

真的有人在 1–3 bpw 以下使用 deepseekv4.1f 吗?

Is anyone actually using deepseekv4.1f at sub 1-3 bpw?

r/LocalLLaMA 社区帖子,发帖人看到很多关于在低价硬件上以低 bpw 运行 deepseekv4.1 1017 且速度尚可的帖子,想做一次实际使用情况的核实:除了当作新奇玩意,是否真有人在低比特量化下用它做事。他回顾此前用 v4-0731 的 Q2 经验,认为相比完整的 Q8 差距明显,而那个 Q8 本身已等于约 90% 的 QAT 后 Q4,再降两个 bpw 后表现不佳。他征询使用 1–3 bpw v4.1-1017 的人分享体验,最好与 3.8FN 更高量化版本作对比。适合在有限硬件上运行低比特量化大模型、比较不同量化方案实际可用性的人阅读。

帖子发布 10-28
Reddit

两天调优单块 Tesla P40:35B MoE、完整 262k 上下文,短上下文约 60 t/s、深至 100k 时约 30 t/s,且不使用低于 Q4 的量化

Two days tuning a single Tesla P40: 35B MoE, full 262k context, ~60 t/s short and ~30 t/s at 100k deep. No sub-Q4 quants.

这是一篇 Reddit r/LocalLLaMA 社区帖子,作者记录在单块 24GB Tesla P40(PCIe x1、Windows、自改 llama.cpp)上运行 Ornith 1.5 35B-A3B 模型、保持 Q4_0 权重与 q8_0 KV 的调优过程。文中列出带来提升的做法(关闭 ECC、KV 用 q8_0 而非 q4_0、检查 MTP 头是否训练、为 flash-attention 的 KQ 部分使用 int8 dp4a、限制 MTP 预填充窗口)以及未奏效的尝试(f16 KV、核内反量化 V、官方 Q4_K_M),并给出 llama-bench 测试数据。适合在本机用单卡或旧款显卡跑大模型推理、关注量化与 llama.cpp 调优的人阅读。

帖子发布 10-29
Reddit

在 4 块 R9700 上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B:我的工作负载下的实际 TPS 与每小时任务数

Qwen 3.8 27B vs Nanbeige 4.3 33B on 4xR9700s: Real World TPS and jobs/hour on my workload

这是 r/LocalLLaMA 的一篇社区帖子,作者此前发布过用 127 美元二手 EPYC 搭建 4 卡 R9700 机器的方案,本次在同一套硬件上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B。他以自己公司维护枪械相关商家信息(营业时间、价格、设施等)的实际工作为负载,让两套配置各跑同样的 2,484 个案例,以审计员身份输出接受、拒绝或弃权,并统计吞吐、每日经核实的正确任务数、准确率,以及 1/4/8 路并发下的 token 速度。帖子还提到 Qwen 在思考模式下审计自身结果的表现优于 Nanbeige,并在结尾向做编程或创意写作测试的人征询情况。适合关注本地多卡推理部署、按实际业务任务而非纯跑分评估模型的人阅读。

帖子发布 10-28
Reddit

单块 3090 跑 27B:10 万 token 处仍达 110+ TPS,上下文可达 400k

110+ TPS through 100K tokens with 27b on a single 3090, with 400k ctx

这是一篇 Reddit r/LocalLLaMA 社区帖子,介绍 LlamAmpere v0.6 版本发布内容:TPS 提升约 13%(100–105K token 区间平均 112 TPS)、提示处理提升约 20%(前 10 万 token 平均预填充从约 1080 提升到约 1300 TPS)、推出新的 Ampere Integer+ 文件格式并与 XS、EXL3 作 KLD 与速度对比,以及借助 SJKVaRN 在约 23.5GB 占用下实现超过 400K 总上下文。适合在单块 3090 上运行本地推理、关注量化格式与长上下文性能的人阅读。

帖子发布 10-29
Reddit

本地 LLM 智能体驱动的物理 KVM 控制器已上市,并有一些有意思的用例

Local LLM Agent-driven physical KVM controllers are now available and have some interesting use cases:

这是 r/LocalLLaMA 的一篇社区帖子,作者在研究本地 LLM 的计算机使用智能体时,发现了一类此前不知道的硬件:支持 AI API 端点与 MCP 集成的 IP KVM 控制器,价格约 80–150 美元。这类设备让视觉能力 LLM 通过截取目标机 HDMI 或 USB-C 视频输出画面,并经 USB 发送鼠标键盘指令来操作目标电脑,且目标机上无需安装任何软件,可用于不允许安装程序的受管企业终端;帖中还将其与数据中心常用的远程 KVM 做了类比。适合对本地 LLM 计算机操作智能体、无侵入式远程控制硬件方案感兴趣的人阅读。

帖子发布 10-29
Reddit

我用 Qwen 3.8FN IQ3_S 测试了 Strata 的路由优化在编程、数学和指令遵循上的表现

I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following

这是 r/LocalLLaMA 的一篇社区帖子,作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成(约 4.48 倍有效系数),使分数接近时可用缓存中的专家替换原本会选中的专家;STRATA_ROUTE_TAIL_SKIP=7(默认值)则在某些专家不在显存时跳过第 7 至第 10 个专家的计算,从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格,并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。

帖子发布 10-28
Reddit

我为语音转文字应用微调了一个 LLM,用来清理转写文本

I fine-tuned an LLM to clean up transcriptions for my voice-to-text app

一篇 r/LocalLLaMA 社区帖子,作者为自己开发的语音转文字应用 WhisperNow 微调本地 LLM 做文本清理,去除口头填充词、误起头、自我纠正并格式化列表。帖子介绍了 66,557 行的数据集(合并公开数据与合成听写内容),说明训练中发现的薄弱点及补充样本的做法,并给出 LFM2.5 1.2B/2.6B、Qwen3.5 4B 三个全量微调模型在 GPU 与 CPU 上的耗时对比,以及与若干云端 API 的延迟对照。适合在做本地语音输入或文本后处理模型微调的人阅读。