更多帖子
帖子

Qwen 系列大模型正悄然成为现代音频模型的骨干;一张图汇总 100+ 音频模型架构 [R]

Qwen-family LLMs are quietly becoming the backbone of modern audio models; One chart for the architectures of 100+ audio models [R]

AI 导读

r/MachineLearning 社区帖子。作者梳理 audio.cpp 中各个模型共享的构件,发现 Qwen 是其中最常见的语言骨干:32 个音频模型家族使用 Qwen 系列架构,其中 20 个具体使用 Qwen3 大模型;Qwen 系模型已不限于文本转语音,还出现在语音合成、ASR/音频理解、音乐生成、语音到语音乃至音频/视频模型中。帖子另附第二张“任务×技术矩阵”图,展示不同音频任务由哪些构件支撑。适合关注音频模型架构选型与开源语音模型生态的人阅读。

分级
值得看
所属主题
整理中
收录时间
2026-11-02

原帖

Qwen has become by far the most common language backbone in this collection: 32 audio model families use a Qwen-family architecture, and 20 of them use Qwen3 LLM specifically.

Acceptable-Cycle4645 · · 在 Reddit 查看原帖(新标签页打开)

中文大意

发帖人梳理了 audio.cpp 中 100 多个音频模型共享的架构模块,做成图表。他发现 Qwen 是这批模型里最常见的语言骨干:32 个音频模型家族采用 Qwen 系架构,其中 20 个具体用 Qwen3。Qwen 系模型已不限于 TTS,还覆盖语音合成、ASR/音频理解、音乐生成、语音到语音,甚至音频/视频模型;第二张"任务×技术矩阵"图展示不同任务由哪些模块支撑。他在评论里补充还有两张细分架构图和一张 Hugging Face 交互式应用(Audio-Model-Architecture-Atlas)作为学习资源,并说明因子版块不允许评论配图所以贴了原帖链接。适合正在学习音频 AI、想快速了解这些模型如何组合的人阅读。

讨论区核心观点

依据 10 条评论

  • 有人吐槽 LLM 爱用"quietly"这个词,很多事都被说成是悄悄发生的;有人回应说这大概是从博取眼球的网络内容里学来的说法。 出处(新标签页打开)
  • 新 TTS/语音转换趋势是用神经音频编解码器,而它们或多或少依赖 LLM 式架构,所以 Qwen 成为骨干并不意外。 出处(新标签页打开)
  • 音频领域没享受到其他方向的变现红利,因此走更便宜、开源的路线是合理的。 出处(新标签页打开)
  • 发帖人补充还有两张详细拆解 100+ 音频模型架构与模块的图表,因子版块禁止评论放图,需去原帖评论区查看;另有一个 Hugging Face 交互应用可用来探索这些架构。 出处(新标签页打开)
  • 有读者喜欢这张图,但觉得预测模型和编码器模型的颜色很难区分,不过预测模型只有两个,影响不大。 出处(新标签页打开)
  • 有人问有没有 JEV 风格的专用 TTS 模型,被回怼说 JEV 是分类器,语音合成不需要分类器,不该乱堆热词。 出处(新标签页打开)