英伟达开源 Nemotron 3.5 Transcribe：一个模型吃下 40 种语言，转写格式还能用一句话指定

2026年10月29日2 次阅读

先讲结论： 英伟达 10 月 28 日开源了 Nemotron 3.5 Transcribe，一个约 300 亿参数、每次只激活约 43 亿的「语音大模型」。它把以前要拼四五个工具才能做完的事——多语言转写、区分谁在说话、翻译、按指定格式整理文字、按时间戳对齐——塞进同一个模型里，还能用一句自然语言指令告诉它「我要逐字稿」还是「我要整理过的书面稿」。同时放出的还有 Granary v2 数据集，公开清单覆盖 46 万小时、48 种语言。对做会议记录、客服质检、医疗听写、字幕和播客整理的人来说，这是一次「一条流水线换成一个模型」的选项变化。本文基于官方技术页与多家媒体转述整理。

这是什么？

一句话：它是一个「会听、会写、还会按你的规矩写」的语音模型。

传统语音识别（ASR）模型训练时就绑死了一种输出习惯：数字到底写「2026」还是「二零二六」，语气词「嗯、那个」要不要保留，专业术语怎么拼，中英混说时用哪种文字。模型一旦训完，这些规矩就改不了了，想要另一种风格就得再训一个模型，或者在后处理里写一堆规则。

Nemotron 3.5 Transcribe 的思路是：把「怎么记」变成提示词的一部分。你可以先告诉它「这是一段英文的医学讨论，涉及这些术语」，再给它音频，它就会按你给的语境和词表去听；你也可以要求它保留口语原样，或者清掉重复和口癖，或者把数字写成阿拉伯数字，或者给每句话标上说话人。这些都不需要重新训练。

结构上，它是三块拼起来的：

语音编码器：负责把声音变成模型能读的表示
一个冻结的说话人分离模型（Nemotron 3 Diarization）：负责判断「谁在什么时候说话」，把结果注入编码器
Nemotron 3.5 Lightning 30B-A3B 语言模型：混合 Mamba–Transformer 的专家混合（MoE）结构，负责把听到的内容写成文字、做翻译、回答问题

总参数约 300 亿，但每次推理只激活约 43 亿，这是它能在单张显卡上跑起来的关键。

为什么重要？

因为它把「转写」从「听清每个字」推进到了「按用途交付」。

举个普通读者的场景：一场 50 分钟的四人会议录音。过去的流程大概是——先跑一个 ASR 出文字，再跑一个说话人分离模型标出「谁说的」，再写脚本把时间戳对齐，再人工把口语整理成能读的纪要，中间每一步都可能出错，错还会累积。现在这些事在同一个模型里一次完成，而且说话人和词级时间戳是同一次输出的一部分。

官方给出的几个关键数字：

语言：40 种语言可转写，其中 31 种可以双向翻译成英文或从英文翻译过来；13 种语言支持说话人区分，最多能分辨 8 个说话人
时长：单次可处理最长 1 小时的录音
准确率：官方技术页写的是英语 Open ASR Leaderboard 9 个公开测试集平均词错误率（WER）4.71%，多语言榜单 4.62%；The New Stack 引用的是另一个口径「5.33%，开源权重模型第一」。两个数字口径不同，引用时要说清来源
重叠说话：官方称在「多人同时说话」的说话人归属转写上达到当前最好水平，并且是第一个在这项任务上超过「分离模型 + 转写模型」级联方案（cascaded）的语音大模型
术语纠错：给它一份预期出现的专有名词清单，ContextASR-Bench 上的人名/术语错误减少约 6 倍
速度：官方称在单张 RTX PRO 6000 Blackwell 上，用 NVFP4 量化权重加 DFlash2 草稿模型，每秒可转写最多 2,238 秒音频（约 37 分钟音频 / 每秒，属于离线批量吞吐口径，不是实时延迟）
参数效率：在 Artificial Analysis 的基准上 WER 2.81%，与 Voxtral Small 的 2.77% 接近，但激活参数约 43 亿对 240 亿

怎么用？

对开发者，路子有三条：

直接拿权重：Hugging Face 上已放出 BF16、FP8、NVFP4 三个主权重，另有 GGUF 版本给 NeMo-Speech.cpp 用，以及 DFlash2 草稿模型
两套推理栈：服务端用 vLLM 起服务；本地/边缘可以用 NeMo-Speech.cpp 跑 GGUF
微调：官方在 NeMo Speech 里给了微调工具包，并公开了评测时用的提示词写法，方便你照抄

硬件范围官方写得比较宽：从 Jetson AGX Thor、DGX Spark 这类小机器，到 Blackwell 数据中心卡都能跑——当然「能跑」和「跑得快」是两件事，长音频批处理还是得看显存和吞吐。

许可证是 OpenMDW-1.1，属于开放权重许可，可商用但需要按许可条款执行，落地前建议让法务过一眼。

适用场景

会议与访谈转写：多人、有重叠、需要标说话人和时间戳，是它最对口的活
医疗 / 法律听写：先用提示词给术语表，再按科室做小样本微调。官方给的医疗案例里，微调后同一批未见说话人的 WER 从 22.44% 降到 12.17%，相对降幅 45.8%
客服与呼叫中心质检：需要「谁说的 + 说了什么 + 什么时候说」，还要按格式规整数字和金额
字幕与播客整理：可以一次出逐字稿，也可以要求出清理过的书面稿，省掉后处理脚本
多语言内容本地化：40 种语言转写 + 31 种语言翻译，适合先转写再翻译的流水线
音频问答：可以直接对一段录音提问（该能力官方说明是英语训练）

不适用场景

实时字幕 / live 会议：官方明确说它面向「已录好的音频」，不支持流式实时输入。需要边说边出字，得看它家 6 亿参数的 Nemotron 3.5 ASR Streaming 小模型，或者别的实时方案
超长音频一次搞定：上限是 1 小时，超过要切段，切段就要自己处理边界和说话人编号接续
想要极致低延迟的端侧唤醒词/指令词：300 亿参数的模型不是干这个的，端侧小模型更合适
非英语的音频问答：训练数据以英语为主，别指望它在中文、日语录音上做问答
只想「听清字」的极简需求：如果你的场景就是干净单人录音、只要文字，用 300 亿 MoE 是明显的浪费

避坑与常见问题

别把「每秒 2,238 秒音频」当成实时倍速宣传：这是离线批处理下的吞吐，靠的是投机解码和量化，跟交互式延迟不是一回事
榜单数字会打架：官方技术页 4.71%，媒体报道 5.33%，还有 Artificial Analysis 的 2.81%，三个数分别对应不同测试集和不同评测方，横向比较前先确认口径
说话人区分只覆盖 13 种语言：40 种语言能转写，不代表都能标说话人，做多语种项目要按语言逐个确认
提示词不是万能的：官方也承认，提示词能降低错误率，但真正难的专业场景（浓重口音、专有名词密集）还是要微调；医疗案例里微调前后差了一倍
微调要算 GPU 时间：官方给的参考是单个任务通常 0.5–2.3 GPU 小时，医疗案例的完整适配流程约 14 GPU 小时（单张 GB300）。准备数据的时间通常比训练长得多
格式自由度带来一致性风险：同一批音频如果每次提示词写法不同，输出风格会不一致；生产环境要把提示词当配置管起来，固定版本

成本与时间

模型本身：开放权重，免费下载；成本主要是推理硬件
推理：单卡可跑（官方举了 RTX PRO 6000 Blackwell 和 DGX Spark），但 1 小时音频、40 语言、说话人归属全开时，显存和吞吐要实测
微调：单任务 0.5–2.3 GPU 小时起步，垂直领域完整适配按十几 GPU 小时估算
接入时间：会用 vLLM 的团队，跑通 demo 大概半天；要做到生产可用（切段、并发、失败重试、提示词版本管理），按一到两周估

数据集也一起放出来了

同一天发布的 Granary v2 是一个开放语音数据集和配套的数据清洗流水线，公开清单覆盖 463,062 小时、48 种语言（据 Unite.AI 报道）。这件事的意义不比模型小：开源语音模型长期卡在「数据不透明」上，你没法复现别人的效果，也没法判断训练数据里有没有你关心的语种和场景。清单公开之后，至少能对着看「我的语言在不在里面、占多少」。

行动建议

第一步：如果你手上正好有一批多人会议录音，先拿 3–5 段跑一次，重点看说话人归属和术语准确率，而不是只看整体 WER
第二步：整理一份你所在领域的术语表，用「上下文提示」的方式再跑一次，比较前后差异——这是成本最低、收益最直接的一招
第三步：确认你的场景是不是必须实时。如果必须，直接放弃这条路，去看流式小模型
第四步：要落地就固定提示词版本，并把「转写格式」写进验收标准，否则同一个模型在不同人手里会出不同风格的稿子

参考来源

NVIDIA Research：Nemotron 3.5 Transcribe 技术页（Published: October 28, 2026）

https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Transcribe/

Hugging Face：nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B（权重，2026-10-28 更新）

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B

Hugging Face：nvidia/Granary-v2（数据集，2026-10-28 更新）

https://huggingface.co/datasets/nvidia/Granary-v2

The New Stack：Nvidia launches a promptable transcription model（2026-10-28）

https://thenewstack.io/nvidia-nemotron-promptable-transcription/

Unite.AI：NVIDIA Launches Open-Weight Speech Model and 463,062-Hour Audio Dataset（2026-10-28）

https://www.unite.ai/nvidia-launches-open-weight-speech-model-and-463-062-hour-audio-dataset/