语音模型

会插话、会叹气的语音模型，第一次能下载了：32B 全双工权重 Apache-2.0 放出，一张 80GB 卡带 16 路

2026年11月9日2 次阅读
会插话、会叹气的语音模型，第一次能下载了：32B 全双工权重 Apache-2.0 放出，一张 80GB 卡带 16 路

音频模型动态 · 2026-11-08 · 分类：语音模型

全双工语音Apache-2.0 权重32B单卡 16 路

3分钟看懂：它不是「语音助手」，是把「什么时候该说话」写进了模型

11 月 8 日，Adventists AI 在 GitHub 发布了 Sophon-Realtime v1，一套开源的全双工语音模型家族，代码和权重都是 Apache-2.0。

先说清楚「全双工」这件事为什么值得单独讲。你现在用的语音助手，绝大多数是半双工——像对讲机，你说话的时候它闭嘴，它说话的时候你插不进去。所谓全双工，是两边可以同时出声：你说话时它一直在听、在打草稿；你一停，它立刻接；你一打断，它当场闭嘴换话题；你只是「嗯」一声表示在听，它不会误以为轮到自己了。

这个能力此前基本只在闭源产品里有：Boson AI 的 Higgs Realtime Duplex（45B，API 还没开）、OpenAI 的 GPT-Realtime、Google 的 Gemini Live。Sophon-Realtime v1 是第一批把这一档能力连权重一起放出来的，而且尺寸是实打实的 32B，不是「小而美」的玩具版。

本文基于官方 GitHub Release、Hugging Face 模型卡与项目主页内容，并结合第三方媒体转述整理。所有性能数字除特别注明外均为厂商自测。

一个大脑，三种嗓子

这套模型最值得注意的设计是：三个构建共用同一个 32B「大脑」，区别只在「怎么把回答变成声音」。

那个 32B 大脑（DuplexJev-32B-Para v1.5，FP8，带视觉塔）负责听、判断你有没有说完、以及写出回答内容。它写出的不只是文字，还带「怎么念」的标记——哪里该笑、哪里该叹气、哪个词该重读。然后由不同的「嗓子」把这些标记演出来，而且不会把标记本身念出来。

三个构建的差别摊开是这样：

  • Tag（官方推荐）：用一套表现力强的语音模型（tag-tts，基于 Fun-CosyVoice3-0.5B，4 步蒸馏流匹配 + HiFT）来演。首个音频约 0.6 秒，一张 80GB 卡带 16 路并发。适合陪伴类、角色类、Demo。
  • Flash：同样的回答，换更轻更快的嗓子，每 80 毫秒一帧一次前向。首个音频 0.31 秒，一张卡带 40 路。适合客服、车机这种要省钱要并发的场景。
  • E2E（研究预览）：干脆不要独立语音模型，让 32B 内部直接吐连续语音向量，再解码成声音。首个音频约 1 秒，要 2 张卡，只带 4~5 路。官方说新构建还在测试。

三者接口一致，所以可以先上 Flash 跑量，需要表现力时换成 Tag，代码不用改。

它到底强在哪：把「语气」做成了双向指标

大部分语音模型的评测只测「听清了吗」（识别准确率）和「像不像人」（音质）。这套模型把语气拆成了两个方向，都给了数字：

听得懂语气。用 LISTEN（4 项）+ StressTest + MSPB 三组公开基准合并打分，Sophon 的「耳朵」DuplexJev 拿到 48.6，官方对比 Gemini 3.8 Flash 的 46.9、Qwen3-Omni 的 44.6。测的是情绪、讽刺、重音、语调这些「转写成文字就丢掉」的东西。

说得出语气。NVV-SuperBench 测的是「该出现的笑声、叹气、咳嗽、换气，音频里到底有没有」，用官方脚本和指标、每类 50 条、Gemini 3 Flash 当裁判。Tag 构建中文 0.86 / 英文 0.80，Flash 0.77 / 0.63，E2E 0.77 / 0.60。

另外两组数字：

  • VoiceBench 82.8，在开源全双工模型里排第一，和 GPT-4o-mini-Audio 打平（GPT-4o-Audio 是 86.8）。
  • Big Bench Audio 81.8%（1000 道口语推理题，按模型实际说出来的话判分），开源全双工第一，GPT-Live-1 是 90%。
  • Full-Duplex-Bench v3 工具调用 Pass@1 48%，高于 Grok 的 43%，低于 GPT-Realtime 的 60%、Gemini Live 3.1 的 54%，但「该响应时响应」是 100%。

另一个工程上很实用的细节：它的历史里存的是双方真实音频，不是转写文本；你打断它时，只保留你实际听到的那一段。对需要留审计记录的客服、医疗场景，这比「一份可能出错的转写」靠谱得多。

但有三件事必须说清楚

第一，这些分数是厂商自测的。 模型卡里写得很直白：「Self-run unless noted」。VoiceBench 用了官方评测器和 gpt-4o-mini 当裁判，Big Bench Audio 用 GPT-4.1 判转写，但整体没有第三方复现。上面那些「第一」，准确说法是「在官方自测口径下的开源第一」。

第二，只会中文和英文。 模型卡的语言标签就这两个。想做日语、韩语、粤语的，现在还不能直接上。

第三，32B 不轻。 Tag 权重约 42GB，第一次启动要下十几分钟，服务起来要 15~20 分钟。想在自己笔记本上跑的，这套不合适。

怎么用：一条命令，或者换个 URL

最省事的方式：

pip install sophon-realtime
sophon-realtime serve

第一次跑会自动下 Tag 权重（~42GB），然后在 8000 端口起服务。底层是 vLLM-Omni，两个接口：ws://HOST:8000/v1/realtime（全双工：轮次判断、打断、附和）和 POST /v1/chat/completions（音频进，文本+音频出）。

如果你已经在用 OpenAI 的 GPT-Live 协议，仓库里有个 live/ 网关，客户端只改 URL 和 key 就能切过来。这个网关还支持接一个更大的后端模型：需要查资料或执行动作时，它先说一句「我看一下」，把任务丢给后端，再用自己的话把结果说出来。官方给的数据是：后端换成 DeepSeek V4 Pro，Big Bench Audio 从 81.2 升到约 83。

想改人设、口音、领域知识，用 ms-swift 对 32B 主干做 LoRA 微调就行，音频编码器和嗓子保持原样，轮次判断也不受影响。一张 80GB 卡够用。

成本账：这是这套模型最实在的部分

自托管没有「每分钟多少钱」的价目表，得自己算。核心变量是一张 80GB 卡能带几路：

  • Tag：16 路 / 卡。按一张 H100 80GB 云上租用约 2 美元/小时估算，摊到每路约 0.125 美元/小时。
  • Flash：40 路 / 卡，摊到每路约 0.05 美元/小时。

对比一下就更清楚：Adventists 自己在定价页上算过一笔账，9 小时语音对话用 OpenAI gpt-realtime 约 762 美元；同样的时长他们按设备授权卖 0.99 美元。这里不是要替谁站台——而是说明自托管之后，语音 Agent 的成本从「按分钟计价」变成了「按卡摊薄」，并发越高越便宜。

不过要把隐性成本算进去：42GB 权重的存储和分发、冷启动 15 分钟、运维一张 80GB 卡的人、以及模型更新时的重新部署。

适合谁，不适合谁

适合：

  • 要做陪伴类、角色类语音产品的团队——语气是核心体验，Tag 构建的笑声叹气是现成的。
  • 客服/车机这种要并发、要低首音延迟的——Flash 构建 0.31 秒首音、40 路并发。
  • 已经在用 GPT-Live 协议、想降本或想数据不出内网的团队——改个 URL 就能切。
  • 需要留存真实通话音频做审计的行业。

不适合：

  • 只要单语种 TTS 朗读的——这套是「对话模型」，杀鸡用牛刀，还占一张卡。
  • 要做日韩粤等非中英语种的——现在不支持。
  • 手上只有消费级显卡或 Mac 的——42GB 权重 + 80GB 显存门槛。
  • 需要第三方权威榜单背书才能立项的——目前还没有独立复现。

避坑

  • 别把 E2E 当生产版。官方自己标的是 research preview，新构建还在测试，2 张卡只带 4~5 路。
  • 注意 Tag 的嗓子来源。tag-tts 基于 Fun-CosyVoice3-0.5B（阿里 FunAudioLLM 系），模型卡明确写了「第三方组件保留各自许可证，见 NOTICE」。「Apache-2.0」覆盖的是他们自己的代码和权重，商用前值得把 NOTICE 读一遍。
  • 并发数字是「10 秒内陆续到达」的测试条件。真实场景里如果用户同时涌入，实际并发会打折。
  • 工具调用不是它的强项。48% 的 Pass@1 比 GPT-Realtime 的 60% 差一截，复杂多步任务建议走 live 模式接后端大模型。
  • 别只看「SOTA」标题。它的「第一」限定在「开源全双工」这个小池子里，池子目前很小——Moshi 29.5、PersonaPlex 30.6 都还在榜上。

行动建议

  1. 先验证耳朵，再验证嗓子。去 ModelScope Studio 直接对话 5 分钟，重点测三件事：你说到一半停顿时它抢不抢话、你说「嗯」它接不接、你打断它停不停。这三件才是全双工的价值所在。
  2. 算清自己的并发。低于 5 路并发的产品，租 API 大概率更划算；超过 20 路，自托管开始有意义。
  3. 要落地就先用 Flash 跑通链路，把首音延迟和稳定性压住，再按场景换 Tag。两者接口一样，切换成本接近零。
  4. 微调前先跑回归。仓库里带了 regression check，改 LoRA 之后轮次判断容易退化，这个必须测。

参考来源

以下为本文核验所用的一手与第三方来源，按发布时间在近 72 小时窗口内。

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...