语音与音频

学习语音识别、合成、音乐生成与实时语音智能体,适合音频应用开发者。

22 条精选 · 入门 5 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 5入门
    项目发布 10-14
    GitHub

    assafkip/claudemy

    这是一个面向 Claude Code 的开源免费技能,定位为 Udemy、Coursera 的替代方案。用户给出一个主题,它会检索网络资料并生成约 12 节、每节 2 分钟的音频课程,并附上引用来源。技术标签显示其涉及文本转语音(ElevenLabs)、微学习与课程生成等方向。

  2. 6进阶
    项目发布 10-15
    GitHub

    Leonxlnx/earshot

    为编码 Agent 提供“耳朵”的开源工具,让它能听见、评审并生成声音,仅用 CPU 本地运行。以 CLI、Python API 和 MCP 服务器形式提供,功能包括用文字描述文件听感、评估与描述的契合度、定位长录音中的最佳片段、判断声音是否为代码合成、生成逐秒听感转录和评分卡,以及用 earshot forge 以代码造声、用 earshot fit 把录音转成代码。

  3. 7进阶
    项目发布 10-18
    GitHub

    kanaworksai-hue/audio-studio-mcp

    为 Claude Code 及任意 MCP 客户端提供本地 AI 背景音乐与音效生成的 MCP 服务器,基于 Stable Audio 3,在 Apple Silicon 上使用 MLX、在 Windows NVIDIA GPU 上使用 PyTorch,无需云端服务和 API Key。适合需要本地音频生成(如游戏音频)的开发者使用。

  4. 10进阶
    项目发布 10-19
    GitHub

    C4rohan/Lampline

    这是一个开源、可自托管的语音电话智能体(voice agent)项目,可在本机或自有服务器上用一条命令构建、测试和运行,并用 AI 来电者测试每次改动。无 API 密钥时可免费运行,自带密钥时每通电话成本约 0.02–0.17 美元;支持从 Dialogflow CX 和 CX Agent Studio 导入智能体。话题标签涉及 agents-as-code、呼叫中心、IVR、SIP、语音识别与合成、pipecat 等。

  5. 12进阶
    项目发布 10-09
    GitHub

    liyupi/ai-promo-video-maker(AI 产品宣传片制作器)

    liyupi/ai-promo-video-maker

    一个开源仓库,提供由 AI 编程工具(如 Cursor、Claude Code、Codex)驱动的产品宣传片制作流程。用户给出产品名或网址后,工具会调研产品、生成多风格样图、截取 4K 页面、按音乐节拍剪辑、生成并校验 AI 旁白、自动审图,最终输出 4K 视频和网页版。项目基于 Remotion 与 ElevenLabs,采用 MIT 许可。

  6. 13进阶
    项目发布 10-10
    GitHub

    sitor-ai/frametell

    一个借助 AI 导演智能体把想法和素材转化为生动讲解视频的开源项目,主打本地优先、可搭配任意模型。README 说明用户可用一句话或笔记、文档、PDF、幻灯片、图片作为输入,由导演智能体先产出草稿;项目以 Electron 应用形式提供 macOS(Apple Silicon)下载,标签涵盖故事板、文本转视频、TTS 等。

  7. 20深入
    项目发布 10-24
    Hugging Face

    Lure-TTS 与 Lure-Turbo:600M 语音模型,运行速度比实时快 4 倍,支持内联标签、指令控制和声音克隆,训练成本低于 200 美元

    Lure-TTS and Lure-Turbo: 600M voice models to run 4x faster than real time, with inline (tags), direction, and voice cloning. Trained for under $200.

    Hugging Face 上的模型页面(Lure-TTS-0.6B),作者介绍其基于 Qwen3-TTS 微调训练,使用了 RLVR、OPD 和多教师 OPD 等方法。流程包括先用分类器标注强度、笑声哭泣等事件、情感和指令等数据来清洗语料,再做 SFT 训练标签能力,随后通过多教师在线蒸馏整合声音克隆、指令理解、文本标签等能力。作者还将 15 次 pass 的 code predictor 缩减为 3 次 pass,使模型可达到比实时语音快 4 倍的速度,Turbo 版本 RTF 为 0.14(对比 0.195)。适合做语音合成、语音助手方向的读者。

多模态与领域探索的其他细分主题