# 语音与音频 学习语音识别、合成、音乐生成与实时语音智能体，适合音频应用开发者。 - 所属：[多模态与领域探索]() - 网站：[https://oplearnx.com/topics/speech-audio-agents]() ## 推荐学习顺序 1. [NTU Hung-yi Lee \(李宏毅\)（2026 春）]()（课程 · 入门）：台湾大学李宏毅教授的个人主页，当前页面标注的学期为 2026 春。页面包含他的简介（台大硕士与博士，2012–2013 年在中央研究院资讯科技创新研究中心做博士后，2013–2014 年访问 MIT CSAIL 口语系统组）、研究方向（交互式检索强化学习、风格可控聊天机器人、无监督语音识别、口语内容检索与理解、口语问答）以及办公室、实验室和邮箱等信息。 2. [音乐人自己编写 AI]()（书籍 · 入门）：这是一本由 Taylor & Francis 出版的开放获取图书，作者为 Basica, Constantin 与 Zhu, Julie，出版信息只给到 2026 年。书中结合学术研究与音乐人实际经验，讨论音乐与 AI 的交汇，由新兴的“编程音乐人”作者撰写各自的艺术实践与研究，内容涉及算法作曲、共创系统、神经网络与 AI 伦理，并收录对已将 AI 用于创作的音乐人的访谈。 3. [介绍 OpenAI Presence]()（博客 · 入门）：OpenAI 于 2026 年 7 月 22 日发布的产品公告，介绍 OpenAI Presence：一个面向企业的 AI 智能体平台，帮助组织在客户与内部工作流程中部署可信的语音和聊天智能体。页面说明该产品当日即可用于语音和聊天智能体。 4. [Voxtral 3]()（博客 · 入门）：Mistral 介绍 Voxtral 3 的产品公告，包括语音智能体 SDK 与支持 50 多种语言的语音模型，用于实时多步对话。文中称其结合了准确的语音转写、带情绪适配的自然语音合成以及工具调用集成，可通过 Mistral 的欧盟托管 API 或自部署使用，面向呼叫中心、虚拟助手和免手操作助手等场景，并附有一段预约就医对话的示例演示。 5. [assafkip/claudemy]()（项目 · 入门）：这是一个面向 Claude Code 的开源免费技能，定位为 Udemy、Coursera 的替代方案。用户给出一个主题，它会检索网络资料并生成约 12 节、每节 2 分钟的音频课程，并附上引用来源。技术标签显示其涉及文本转语音（ElevenLabs）、微学习与课程生成等方向。 6. [Leonxlnx/earshot]()（项目 · 进阶）：为编码 Agent 提供“耳朵”的开源工具，让它能听见、评审并生成声音，仅用 CPU 本地运行。以 CLI、Python API 和 MCP 服务器形式提供，功能包括用文字描述文件听感、评估与描述的契合度、定位长录音中的最佳片段、判断声音是否为代码合成、生成逐秒听感转录和评分卡，以及用 earshot forge 以代码造声、用 earshot fit 把录音转成代码。 7. [kanaworksai-hue/audio-studio-mcp]()（项目 · 进阶）：为 Claude Code 及任意 MCP 客户端提供本地 AI 背景音乐与音效生成的 MCP 服务器，基于 Stable Audio 3，在 Apple Silicon 上使用 MLX、在 Windows NVIDIA GPU 上使用 PyTorch，无需云端服务和 API Key。适合需要本地音频生成（如游戏音频）的开发者使用。 8. [分步指南：用 ADK 构建一个从不沉默的语音智能体]()（教程 · 进阶）：Google 开发者博客 2026 年 10 月 19 日的文章，作者为 Stephen Allen 与 Kaz Sato。内容介绍如何用开源 Agent Development Kit（ADK）和 gemini-3.8-live，在 Python 中实现非阻塞工具来构建响应及时的语音智能体，包括用流式工具输出进度更新、用后台执行模式在长时间后端查询期间保持对话流畅，以及配置 WHEN\_IDLE、INTERRUPT、SILENT 等响应调度行为来控制工具结果何时以何种方式进入对话。适合用 ADK 和 Gemini 实时接口开发语音智能体的开发者阅读。 9. [如何构建被用户打断也不会崩掉的语音 agent——Jesse Hall，LiveKit]()（教程 · 进阶）：LiveKit 的 Jesse Hall 讲解如何为金融服务构建听起来自然而非机械的语音 agent。内容包括为何模型排行榜会误导选择（排行榜评分的是组件，而交付的是对话）、应以首段音频和首句话的延迟而非首字节/首 token 衡量、用异步工具调用在慢速后端运行时保持对话流畅，以及音频感知的轮次检测、约 1.5 秒延迟预算（500–600 毫秒才接近真人）和用模拟呼叫者对自己的技术栈做基准测试。视频含酒店预订 agent 演示和分章节时间轴。 10. [C4rohan/Lampline]()（项目 · 进阶）：这是一个开源、可自托管的语音电话智能体（voice agent）项目，可在本机或自有服务器上用一条命令构建、测试和运行，并用 AI 来电者测试每次改动。无 API 密钥时可免费运行，自带密钥时每通电话成本约 0.02–0.17 美元；支持从 Dialogflow CX 和 CX Agent Studio 导入智能体。话题标签涉及 agents-as-code、呼叫中心、IVR、SIP、语音识别与合成、pipecat 等。 11. [在 Mac 上用本地 AI 模型构建应用]()（书籍 · 进阶）：这是 Manning Publications 出版的书，作者 Keiji Kamigusa，出版日期 2026-09-28，296 页，ISBN 9781633433700，主题词为 AI。简介称其以在任意近期 Mac（从基础款 Mac mini 到 Mac Studio）上构建语音聊天机器人为逐步实践项目，串联音频采集、语音转写与语言模型推理三项本地技术，涵盖 Homebrew 配置、下载本地大模型等内容，主题是本地运行 AI 带来的隐私与免订阅优势。适合想在 Mac 上做本地 AI 应用开发的读者阅读。 12. [liyupi/ai-promo-video-maker（AI 产品宣传片制作器）]()（项目 · 进阶）：一个开源仓库，提供由 AI 编程工具（如 Cursor、Claude Code、Codex）驱动的产品宣传片制作流程。用户给出产品名或网址后，工具会调研产品、生成多风格样图、截取 4K 页面、按音乐节拍剪辑、生成并校验 AI 旁白、自动审图，最终输出 4K 视频和网页版。项目基于 Remotion 与 ElevenLabs，采用 MIT 许可。 13. [sitor-ai/frametell]()（项目 · 进阶）：一个借助 AI 导演智能体把想法和素材转化为生动讲解视频的开源项目，主打本地优先、可搭配任意模型。README 说明用户可用一句话或笔记、文档、PDF、幻灯片、图片作为输入，由导演智能体先产出草稿；项目以 Electron 应用形式提供 macOS（Apple Silicon）下载，标签涵盖故事板、文本转视频、TTS 等。 14. [Granite Speech 5.0：更准确、更快速地转写、翻译与说话人归属]()（博客 · 进阶）：IBM 的企业类博客文章，介绍 Granite Speech 系列的三个更新：新模型 granite-speech-5.0-2b，以及 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus 的修订版。文中称三者分别面向高准确率的转写与翻译、边缘端极快转写、以及需要区分说话人与时间信息的录音等企业语音场景；新材料显示新模型在 ASR 准确性和抗噪抗混响方面更强，并支持语言 ID 提示。面向企业语音相关应用者。 15. [NVIDIA Nemotron 3.5 Transcribe 与 Granary v2：可提示、可适配的智能多语言转写]()（博客 · 进阶）：这是 NVIDIA 发布在 Hugging Face 上的博客，介绍开放的 Nemotron 3.5 Transcribe 模型与 Granary v2 数据流程。该模型把多语言转写、说话人区分（diarization）、翻译和音频问答整合在同一个检查点中，可转写 40 种语言，并支持提示词控制；文章同时提供 Granary v2 数据处理流程与微调方案以便适配。适合关注语音模型与开源权重的开发者阅读。 16. [为开放 ASR 排行榜加上防刷分机制]()（博客 · 进阶）：Hugging Face 博客文章，由 Eric Bezzam、Steven、Eustache Le Bihan 及 Appen、DataoceanAI 等作者撰写。文章说明 Appen 与 DataoceanAI 提供了覆盖多种口音、包含脚本与非脚本语音的高质量英语 ASR 数据集，为防止刷榜（benchmaxxing）或测试集污染，这些数据集将保持私有；排行榜默认平均 WER 仍只基于公开数据集计算，用户可通过开关选择是否纳入私有数据集查看其影响。 17. [我为语音转文字应用微调了一个 LLM，用来清理转写文本]()（帖子 · 进阶）：一篇 r/LocalLLaMA 社区帖子，作者为自己开发的语音转文字应用 WhisperNow 微调本地 LLM 做文本清理，去除口头填充词、误起头、自我纠正并格式化列表。帖子介绍了 66,557 行的数据集（合并公开数据与合成听写内容），说明训练中发现的薄弱点及补充样本的做法，并给出 LFM2.5 1.2B/2.6B、Qwen3.5 4B 三个全量微调模型在 GPU 与 CPU 上的耗时对比，以及与若干云端 API 的延迟对照。适合在做本地语音输入或文本后处理模型微调的人阅读。 18. [制作 TTS“全阵容有声剧”]()（帖子 · 进阶）：这是一条 Reddit r/LocalLLaMA 社区帖子。作者展示其应用 tts-audiobook-tool 的 demo 输出：旁白加三个说话角色各用不同声音。帖子提到一个可选的预备步骤，用 LLM 识别角色及其对白，再映射到项目中已配置的克隆声音；用 Deepseek Flash 4.1 API 对小说《太阳照常升起》的对白识别准确率超过 99%（作者也承认 LLM 对该小说的既有知识可能有帮助），并认为本地运行的同类模型应当表现不错。所用 TTS 模型为 Breeze 2 TTS，应用还支持一二十种其他模型，作者目前最偏好 Breeze 2 与 MOSS TTS 9B。适合用本地 TTS 与 LLM 做有声书、多角色配音的人阅读。 19. [把鸡尾酒会音频当作反向图灵测试：人类胜过语音模型，但差距不够大 \[P\]]()（帖子 · 进阶）：一篇 r/MachineLearning 社区帖子，作者用 40 段合成音频（一条目标语句混在多人声背景中）搭建了一个类似音频验证码的小实验，收集 18 场会话共 146 份人工转写，并与 Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR、Parakeet CTC、Gemini 等 8 种模型配置对比词准确率。结论是人类的平均词准确率为 0.71、通过率 77%，明显高于模型，但差距不足以做成可靠的 CAPTCHA；作者还说明指令提示可将 Gemini 从 0.34 提升到 0.54，并列出小样本、单一合成音色等局限。适合关注语音识别评测与音频人机区分方法的人阅读。 20. [Lure-TTS 与 Lure-Turbo：600M 语音模型，运行速度比实时快 4 倍，支持内联标签、指令控制和声音克隆，训练成本低于 200 美元]()（项目 · 深入）：Hugging Face 上的模型页面（Lure-TTS-0.6B），作者介绍其基于 Qwen3-TTS 微调训练，使用了 RLVR、OPD 和多教师 OPD 等方法。流程包括先用分类器标注强度、笑声哭泣等事件、情感和指令等数据来清洗语料，再做 SFT 训练标签能力，随后通过多教师在线蒸馏整合声音克隆、指令理解、文本标签等能力。作者还将 15 次 pass 的 code predictor 缩减为 3 次 pass，使模型可达到比实时语音快 4 倍的速度，Turbo 版本 RTF 为 0.14（对比 0.195）。适合做语音合成、语音助手方向的读者。 21. [我把 EmbeddingGemma-2（577M）从 MTEB 音频榜（MAEB）第 26 名带到第 1 名，零训练加一个 2.4MB 的 PCA 头，击败 9B 模型]()（帖子 · 深入）：这是一篇 Reddit r/LocalLLaMA 社区帖子，作者在 Google 的 577M 参数、768 维向量模型 embeddinggemma-2 上加入一个 2.37MB 的冻结 PCA 矩阵文件，未训练任何权重，就把 MAEB 音频榜得分从 49.3% 提升到 54.4%，音频榜从第 26 名升至第 1 名（完整 MAEB 从第 16 名升至第 1 名）。帖子解释了原理：从冻结音频编码器较早层提取特征以保留音色、情绪等声学信息，并列出无监督语音/性别聚类、歌曲音频检索、人声情绪分类等任务上的提升数字，权重发布在 Hugging Face。适合在笔记本或边缘设备上做音频/文本嵌入检索、关注小模型与嵌入模型改进的人阅读。 22. [\[R\] 用 PCA 降维的 Conformer 中间层填充 256 维零空间，把 EmbeddingGemma-2（577M）在 MAEB 音频榜单上从第 26 名提到第 1（零训练） \[R\]]()（帖子 · 深入）：r/MachineLearning 社区帖子，讲述在 google/embeddinggemma-2（577M）上的实验：仅用 PCA 把中间 Conformer 层投影到最终投影矩阵未被使用的零空间，在 MTEB 榜单的 30 任务音频基准 MAEB 上宏平均分从 49.3% 升到 54.4%（\+5.1 点），MAEB 纯音频排名从第 26 升至第 1，完整 MAEB 从第 16 升至第 1；帖中并分析了文本对齐音频编码器末层过滤掉副语言与声学特征的现象，以及对 12 层 Conformer 逐层探测的结果。适合研究音频/多模态嵌入表示与零训练后处理的人阅读。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）