我为语音转文字应用微调了一个 LLM，用来清理转写文本
I fine-tuned an LLM to clean up transcriptions for my voice-to-text app
一篇 r/LocalLLaMA 社区帖子，作者为自己开发的语音转文字应用 WhisperNow 微调本地 LLM 做文本清理，去除口头填充词、误起头、自我纠正并格式化列表。帖子介绍了 66,557 行的数据集（合并公开数据与合成听写内容），说明训练中发现的薄弱点及补充样本的做法，并给出 LFM2.5 1.2B/2.6B、Qwen3.5 4B 三个全量微调模型在 GPU 与 CPU 上的耗时对比，以及与若干云端 API 的延迟对照。适合在做本地语音输入或文本后处理模型微调的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
I built a voice-to-text app, WhisperNow . But there are a thousand and one WisprFlow clones out there, so I went further and fine-tuned my own LLMs for the cleanup step. They remove fillers, false starts, self-corrections, and formats lists, all locally.
中文大意
发帖人为自己的语音转文字应用 WhisperNow 微调了专门做“清理”的小模型，本地去除口头语、口误起头、自我更正并格式化列表，以区别于大量 WisprFlow 克隆产品。数据方面：先用 aawaaz、handy、Disfl-QA 等公开数据集加合成听写（邮件、会议记录、菜谱、口述命令）拼成 66,557 行，清洗后的参考答案由 gpt-6.1-sol 用应用发给云模型的同一提示生成。训练中发现薄弱点（长听写、识别错词、被截断的词如 "interf interface"、被字面使用的更正词如 "scratch behind the dog's ears"），据此补数据重训。全量微调了 LFM2.5 1.2B（应用默认，显存 1.6GB，100 词听写 RTX 5070 上 0.18s、Ryzen 9 8945HS 上 2.3s）、LFM2.5 2.6B、Qwen3.5 4B 三个基座。…
讨论区核心观点
依据 8 条评论
- 有人质疑这类工具的用户群本就擅长打字，用处有限。 出处（新标签页打开）
- 反驳上述质疑：目标用户是常边想边说、需整理零散想法的商务人士，场景不限于桌面（如车里用平板/手机），应用面远不止本地模型爱好者。 出处（新标签页打开）
- 有人称赞演示视频的剪辑与配乐，发帖人说明是用 Claude 配合 Remotion、给出一个主提示加十来个微调提示做成，音乐来自 pixabay 并让节拍对齐画面。 出处（新标签页打开）
- 有人把它概括成“在别人发现我脑子多乱之前先修句子的小编辑器”。 出处（新标签页打开）
- 有人表示正想清理语音笔记，没想到小本地模型能在这个任务上胜过更大的云模型，觉得很实用。 出处（新标签页打开）
- 有读者想把这类功能用到 RLF 场景中。 出处（新标签页打开）