NVIDIA Nemotron 3.5 Transcribe 与 Granary v2：可提示、可适配的智能多语言转写

中文精读

原文约 4,070 词 · 11 节

1. NVIDIA Nemotron 3.5 Transcribe 与 Granary v2：可提示、可适配的智能多语种转写

   • 第 1、2 节为页面开头、标题与作者信息（Maryam Motamedi、Piotr Żelasko、Kunal Dhawan、Nikolay Karpov、Nune Tadevosyan、Meline Mkrtchyan、Nithin Rao Koluguri、Francesco 等，隶属 NVIDIA），无正文内容。
   • 正文从第 3 节开始，下文各节依次为模型总览、提示控制方式、榜单成绩与 Granary v2 数据管线。

2. 一个开放模型同时完成多语种转写、说话人归属、翻译与音频问答，榜单领先，并配套开放的 Granary v2 数据管线与微调方案

   • 文章指出，一份转写即便记录了所有词，用户仍不知道谁说了什么、如何翻译、专业术语如何书写；多语种通话、快节奏会议、医疗口述各自需要不同输出：翻译、说话人标签或正确拼写的医学术语。
   • NVIDIA Nemotron 3.5 Transcribe 是开放权重、可提示（promptable）的模型，已发布于 Hugging Face 和 ModelScope，把转写、说话人归属（diarization）、翻译、音频问答合并到一个 checkpoint 中。
   • 能力范围：转写 40 种语言，其中 31 种可与英语互译，13 种语言支持说话人归属；可处理最长一小时的录音，最多标注 8 名说话人。开发者可用自然语言引导输出、选择音频处理位置，并适配领域词汇与口音。
   • 榜单成绩：在 Hugging Face Open ASR Leaderboard 英语开放权重模型中排第一，位于 Artificial Analysis 准确率—激活参数前沿；说话人归属在 David AI 21 语种 diarization 榜单上误差率最低，在 VoiceArena 的 14 系统比较中排第一。
   • 可运行在单张 NVIDIA GPU 上，从 DGX Spark 到 Blackwell 数据中心系统均可。
   • Granary v2 的多语种数据（Hugging Face、ModelScope）与可复用数据整理管线，配合 NeMo Speech 微调工具，把提示级控制延伸到训练阶段。医疗案例研究中，微调使留出说话人的词错率（WER）相对最佳提示降低 45.8%。

3. 用自然语言指导转写与分析

   • 同一 checkpoint 可按指令把同一段会议录音变成不同输出。文中展示的视频示例处理了 1940 年喜剧《女友礼拜五》（His Girl Friday）的片段，该片以语速极快、大量重叠的对白著称；模型为该片段生成字幕并标注说话人，包括重叠对话。
   • 对于不熟悉的术语，先尝试上下文提示而非训练。医疗场景示例提示要求以原语言转写、给出可能术语 HbA1c 与 metformin、仅在音频支持时使用这些术语、保留标准医学拼写、数字按常规书面形式书写。
   • 模型卡提供推荐预设，包括音频问答的推理设置，以及完整提示指南和按任务×语言的矩阵：各任务的语言支持不同，音频问答以英语训练。还支持词级时间戳。文章提示如同任何语音模型，需对照录音抽查人名、说话人切换与答案。
   • 用例：实时语音视频平台 Agora 在课堂演示中使用了词级时间戳，把录制的课程转成转写文本与回放并列展示，让学生看到说了什么、何时说的；Agora 的博客介绍了实现过程。

4. 从转写到说话人归属的榜单领先

   • 在开放权重模型中，Transcribe 在“说了什么”上领先，在“谁说的”上直接拿下两个说话人归属基准的第一名。
   • Hugging Face Open ASR Leaderboard：以公开测试集上的词错率衡量转写准确度，分三条赛道。开放权重模型（排除 API 模型）中 Transcribe 以平均 WER 5.33%、RTFx 462.09 排第一；WER 越低错误越少。
   • Artificial Analysis Speech-to-Text 榜：按自有的 AA-WER 指数量化。Transcribe 以 2.8% AA-WER 并列开放权重模型第一，激活参数约 4B，而与之并列的模型为 24B；在占 AA-WER 指数 50% 的留出语音代理集 AA-AgentTalk 上 WER 为 1.8%，次优开放权重模型为 2.3%。
   • 架构上，语音编码器搭配混合 Mamba–Transformer 的专家混合（MoE）语言模型，30B 参数中每个 token 仅约 4B 激活，因此落在 Artificial Analysis 的开放权重准确率—激活参数帕累托前沿上；在包含所有模型的图中，排名高于多个广泛使用的专有语音 API。
   • 说话人归属：Sortformer 的说话人线索与声学特征一同进入语言模型，因此模型可在生成时逐轮标注说话人，而不只依赖事后把说话人挂到词上。
   • David AI DAI-ASR-I18N 榜：在转写+说话人归属联合赛道中，Transcribe 是受评估开放权重模型第一、总体第二；在覆盖 21 种语言的 diarization 赛道中，14 个系统中说话人日志错误率（DER）最低，为 18.26%，略优于 NVIDIA 专门的 Nemotron 3 Diarization（18.38%），其余系统在 22.85%–37.55% 之间。

5. 从转写到说话人归属的榜单领先（续）

   • VoiceArena Diarization-Bench：在英语完整会话基准上，Transcribe 的拼接最小置换词错率（cpWER）在 14 个系统中最低，为 32.4%（次高为 Multitalker Parakeet + Nemotron 3 Diarization 的 34.2%，其余 34.7%–71.9%），面对面与在线两种设置均排第一；
   • 删除词仅占参考词的 8.32%，而中位数约 31%。该基准覆盖英语完整会话、重叠语音和 2–8 名说话人。
   • 其他评测：Ocular AI 的 Converse-STT 评测将其列为最佳开放模型；Josh Talks 的 Voice of India 榜单报告了其在印度语种上的结果。
   • 部署：可在单张 NVIDIA GPU 上运行，从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心 GPU；在单张 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度、30 秒片段高并发测试，不到三分钟处理 100 小时音频。可用 vLLM 部署或用 NeMo-Speech.cpp 本地运行；
   • 面向录制音频而非实时流式。
   • 特殊录音仍可能需要适配领域词汇与转写规范，Granary v2 与 NeMo Speech 微调用于解决这一点。

6. Granary v2：Transcribe 背后的开放数据整理管线

   • 可提示的语音模型需要格式目标明确的训练数据。Granary v2 属于 Hugging Face 与 ModelScope 上的 Nemotron speech 合集，基于 NVIDIA NeMo Curator 构建，其可复用管线准备了 Nemotron 3.5 Transcribe 训练所用的多语种语音数据，产出对齐的转写变体、任务标签和可检查的质量元数据。
   • 公开清单覆盖 48 种语言、16 个来源语料、共 463,062 小时，多于 Granary v1 的 25 种语言；这些数字描述的是数据集发布范围，而非 Transcribe 的完整训练混合或其采样权重。
   • Granary v2 为每段录音生成三种转写形式（表 1）：文本归一化的逐字版（“I paid, uh, twenty-five euros.”）、保留不流畅词的逆向文本归一化版（“I paid, uh, €25.”）、去除不流畅词的逆向文本归一化版（“I paid €25.”），与开发者可用提示向 Transcribe 请求的逐字、干净两种风格一致。
   • 除转写外，管线还产出短音频描述、外来词语码转换还原、语音接地问答对、上下文 ASR 偏置词，以及带自动质量评分的翻译。
   • 管线分为四个可复用阶段：Metadata 用语音活动检测与 diarization 切分音频并识别语言；ASR 用主模型与备用模型转写片段并保留最佳预测；Text 派生 tn_raw、itn_raw、itn_clean 三种转写，以及翻译、描述、语音问答对和上下文 ASR 术语；训练视图将其打包成指令对（如“Transcribe without disfluencies”对应干净转写）。
   • 开发者可用 Ray 与 NVIDIA Dynamo 后端在自己的录音或获授权的公开语料上运行 NeMo Curator 管线，或基于 Granary v2 公开清单构建。清单包含三种转写形式（tn_raw、itn_raw、itn_clean）、上述标签、实体提示、派生指令对、来源信息以及逐条质量标记；源音频需按各语料原始许可单独下载，并遵守发布的条款。

7. 让识别适配真正重要的词表

   • 先从开发集提示词入手，在提示中写明语言、文字系统与转写格式。案例研究里，提示中指明英语和拉丁字母后，全基准 WER（词错误率）从 30.8% 降到 23.8%；对仍存在的领域错误，再用 NeMo Speech 微调流程把有代表性的语音与明确写好的目标文本配对。
   • 案例基于 Eka Care 公开基准，收录印度医生与医学生的录音，共 3,619 条片段，且没有指定的训练集划分。研究用生成的医学文本和公开药品目录构建适配数据，三者合起来构成适配数据：约 153 小时合成语音、29 小时来自 Common Voice 的带口音英语、63 小时来自 MultiMed 的医学录音。
   • 合成生成把书面目标与朗读版本分开：标签是“HbA1c”，送给合成器的是“H B A one C”。多种 TTS 音色扩大音频多样性，真实录音补充口音与录制条件；训练文本按与基准参考的完全匹配及共享八词序列进行过滤。
   • 与 Granary v2 的显式目标一样，训练样本对数字、单位间距、公司名展开、品牌名连字符等做变化，并用指令规定所需约定。部分提示含术语表并配近似干扰项，让模型只在音频支持时才采用某个拼写。最终系统只用一条固定约定提示、一次模型前向，不做检索或转写后处理。
   • 训练方式为训练语音编码器与投影层，并用 LoRA 适配语言模型；两次运行使用不同数据配比，合并适配器后把选定的检查点均匀平均成一个最终模型。检查点按解码后的开发集结果挑选，而非只看训练损失。整个适配过程从文本生成到评估约耗 14 GPU 小时，在单块 NVIDIA GB300 上完成。

8. 让识别适配真正重要的词表（续）

   • 训练方式为训练语音编码器与投影层，并用 LoRA 适配语言模型；两次运行使用不同数据配比，合并适配器后对选定检查点做均匀平均。检查点按解码后的开发集结果挑选，而非只看训练损失。
   • 整个适配过程从文本生成到评估约耗 14 GPU 小时，在单块 NVIDIA GB300 上完成。

9. 在留出说话人上衡量的领域增益

   • 研究按说话人把基准分成 855 条调优片段（用于选提示词与检查点）和 2,764 条留出片段，后者对最终系统只解码一次。
   • 用 Eka Care 的 KARMA 评分流程，微调把留出集 WER 从最佳提示基线的 22.44% 降到 12.17%，相对下降 45.8%，说明增益可泛化到新说话人。
   • 关键词 WER 从 9.2% 降到 6.5%，语义 WER 从 10.0% 降到 7.6%；在同一批留出说话人和评分器上，适配模型 12.17% 优于开源医学专用模型（13.79%）和常用通用 ASR 模型（14.92%）。
   • 通用英语上 LibriSpeech test-clean 的 WER 从 1.54% 略升到 1.69%。医学专用模型在品牌药名与诊断名的精确匹配上仍领先，研究把真实医生念品牌名的录音列为下一步。
   • 对自己的领域，建议至少保留 100 条真实标注片段用于选检查点，并在评估通用语音保持度之外，评估应用所依赖的实体类型。
   • 案例附带可复现各步骤的命令；微调教程覆盖配方、资源需求及训练、导出、评估工具，含新语言与语码转换 ASR。配套的 agent skill 可让编码代理跑完整流程：基线选择、数据检查、训练验证、适配器合并与评估。

10. 在留出说话人上衡量的领域增益（续）

    • ModelScope 也支持通过其 ms-swift 框架微调 Nemotron 3.5 Transcribe，用于专用多模态应用。

11. 上手 Nemotron 3.5 Transcribe 与 Granary v2

    • 可在 Hugging Face demo 或 ModelScope Studios 上试用 Nemotron 3.5 Transcribe，再从 Hugging Face 或 ModelScope 下载检查点，按 vLLM 部署指南自行服务。
    • 不想自托管，可用 Baseten、DeepInfra 或 Simplismart 提供的托管端点。
    • 要做领域适配，从 Hugging Face 或 ModelScope 上的 Granary v2 manifest 和医学 ASR 案例研究入手，或让编码代理通过微调 agent skill 驱动流程。