语音模型

能听出你话说半截、还能点歌开唱：腾讯混元 Hy Realtime 先上了元宝，API 还得等

2026年11月14日4 次阅读
能听出你话说半截、还能点歌开唱：腾讯混元 Hy Realtime 先上了元宝，API 还得等

音频模型动态 · 2026-11-13

腾讯混元Hy Realtime实时语音端到端唱歌元宝API 未开

3分钟看懂

本文基于多家媒体转述整理：腾讯混元的官方介绍由 IT之家、语音之家全文转载，第一财经、每日经济新闻、财经网同日跟进，官方评测图由 NewToken 逐格复核。

一句话：这不是又一个「语音转文字」或「文字转语音」的模型，而是一个边听、边想、边说、还能自己决定要不要上网查的端到端语音模型。

三件新东西：

  • 听得懂「话说半截」：你口齿含糊、说一半停下、中途改口纠正自己，它能结合上下文把意图补回来。
  • 会自己判断要不要搜：把「要不要联网、搜什么、怎么答」压成一次决策，而不是先转文字再交给另一个模型。
  • 会唱歌：和腾讯音乐 TME 灵音 AI 团队一起做的，可以按歌手、专辑、曲风、语种、发行年份、热度组合点歌，还能接着前文改口。

一句冷水：腾讯说它在「多个公开 benchmark 上综合客观表现处于领先水平」，但官方自己贴出的四项公开成绩里，它只拿了一项第一。这一点后面细说。

它到底是什么：不是「识别 + 大模型 + 合成」三段拼起来

过去做语音助手，主流做法是级联：先 ASR 把声音转成文字，再把文字交给大模型想，最后用 TTS 把答案念出来。这条路有三个天然毛病——语气、情绪、背景音在转文字那一步就丢了；三个模块各自出错会累积；三段串起来延迟叠加，用户能明显感觉到「它要想一下」。

Hy Realtime 走的是端到端路线。几个关键技术点，来自官方介绍：

  • 感知维度扩了：不只是「语音→文本」的语义转写，还覆盖情感、语调、环境音这些副语言特征。官方说法是「不仅能听清字面内容，还能捕捉语气中的情绪与言外之意」。
  • 数据规模：CT 预训练阶段从海量多源语音里筛出高质量数据，任务形态从单一 ASR 扩到音频理解、音乐理解、语音翻译，达到千万小时级；配套 51 套纯文本集与 50+ 套语音评测集。
  • 一个关键数字：SFT 阶段把「高质量文本数据向语音任务的有效迁移保留率」从 21% 提升到 69%。翻译成人话——以前把文字模型的本事搬到语音上，十成本事只剩两成；现在能留住近七成。这是端到端语音模型最难的「不掉智商」问题。
  • 双教师蒸馏（MOPD）：一个教师是混元文本模型，负责知识、推理、指令遵循、多轮；另一个是混元语音 Agent 教师，负责多轮对话、实时联网、工具调用。两个教师按受控配比指导同一个学生模型。
  • 强化学习：双轨奖励——自研通用偏好奖励模型给平滑的全局信号，规则清单给确定性的逐项约束；再加一层覆盖安全、格式、风格、逻辑的「底线门控」，一票否决。在智能体场景里，奖励目标从「答案对不对」扩到「工具调用全过程对不对」，冗余检索会被阶梯式降权。
  • 低延迟生成：文本与语音协同序列建模，边生成文本边合成语音，不等整段文字写完再开口。训练分三阶段：文本预训练打语言底子 → 大规模语音数据预训练学时序、韵律、对齐 → 精品发音人微调收敛音色与情感。

为什么值得注意

对做语音 Agent 的团队来说，这次变化最实在的地方不是「分数涨了多少」，而是决策链路被压短了。

级联方案里，「要不要查一下」这个判断发生在文字层，需要额外加一个路由逻辑，还要处理「查完了怎么把结果念回去」的衔接。Hy Realtime 把搜索决策、工具调用、口头回答放进同一个流程，官方原话是「统一搜索决策、调用工具与生成回答」。

唱歌能力则是差异化。它把自然语言点歌接进了对话：你说「来首 2010 年到 2020 年之间的英文民谣」，模型要同时理解年份区间、语种、曲风三个约束，还要能承接下一轮「换一首更慢的」。这类多约束组合指令，恰好是语音模型最容易露怯的地方。

官方评测：赢在哪、输在哪

腾讯在官方介绍里附了三张评测图，对手是 Gemini 3.8 Flash、Qwen3.8-Omni-Flash、Seed2.0-Lite、GPT-Realtime-2.1。IT之家转载了这三张图，NewToken 逐格读了一遍并给出以下数字：

  • Big Bench Audio：Hy Realtime 98.60，最高对手 Qwen3.8-Omni-Flash 99.10
  • VoiceBench：92.20，Gemini 3.8 Flash 92.26
  • Open Audio Bench：85.84，Gemini 3.8 Flash 86.85
  • Wild Speech Bench：75.35，第一，Seed2.0-Lite 74.80
  • 自建基础智商测试：39.33，第三，Gemini 3.8 Flash 61.01
  • 产品专家评测综合分：2.52，豆包应用 2.56
  • 可用率：40.63，与豆包并列

读法是：四项公开测试里三项排第二，落后 0.06 到 1.01 分；自建考卷落后二十多分；专家评测略低于豆包。所以「综合客观表现处于领先水平」这句话，严格说站不住——它是第一梯队，但不是第一。

真正值得看的是和自家上一代的对比。同一张图里画着 Hy2-O：自建测试从 19.54 到 39.33（翻倍），Big Bench Audio 从 84.10 到 98.60，专家评测可用率从 25.78 到 40.63。这一代的进步是真的，只是参照物是它自己。

怎么用：现在三条路，两条半是死的

第一条，马上能用。 下载最新版元宝 App，进语音通话，选「初语」音色。这是目前唯一完整可用的入口。

第二条，能试一半。 网页 Demo：https://rtcube.cloud.tencent.com/component/hunyuan/index.html。腾讯自己写的是「可体验部分能力」，进去需要登录（页面引了腾讯的图形验证码）。

第三条，还没开。 腾讯云 API。官方口径是「近期也将上线腾讯云，对外提供 API 服务」。没有文档、没有价格、没有 SLA、没有并发说明。英文科技媒体 TPS 的稿子也确认了这一点：API pricing has not yet been disclosed。

所以如果你的 Q4 排期里写着「接腾讯混元实时语音」，现在应该改成「等文档」。

适用场景：谁该现在就盯

  • 中文语音客服、外呼、回访：这是最直接的受益场景。用户打断、改口、背景嘈杂是常态，端到端模型在这三点上的结构性优势最大。
  • 口语陪练、老年陪伴、儿童故事机：这类产品里「听起来像人」比「字字准确」更重要，情绪和韵律的权重高于 WER。
  • 车载、家居的免手操作：需要模型自己判断「这句话要不要查一下」，不适合每次都走检索。
  • 内容与娱乐侧：点歌、有声互动、角色扮演，唱歌能力是现成的钩子。

不适用场景：别拿它硬套

  • 多语种是硬需求的：公开榜上它并不占优，英文和小语种场景建议先看专攻那一块的模型。
  • 要硬推理的：官方自建智商测试排第三，和 Gemini 3.8 Flash 差二十多分。复杂 agent 编排、数学、多步规划不是它的战场。
  • 要开源自部署的：没有权重，没有本地部署路径，也没有量化版本。这一条和站内写过的 Sophon-Realtime、Zonos3-Mini 那类开源模型是两条完全不同的路。
  • 要现在上生产的：API 没开，别把 demo 体验当产能评估。

避坑：三件必须说清的事

第一，「领先」是厂商口径。 官方说「多个公开 benchmark 上综合客观表现处于领先水平」，自己贴的四项里只赢一项。看到「领先」「第一梯队」这类词，去翻图，不要只读文案。

第二，图注里有前提条件。 官方图注写着 Gemini 3.8 Flash 开的是低档思考，其余模型都关了思考。这条余地对 Qwen 不成立——Big Bench Audio 上压过它的 Qwen3.8-Omni-Flash 同样关着思考。

第三，主打卖点没有对应分数。 官方介绍最用力的一句是「话说半截、中途改口时能还原意图，理解准确率显著提升」，但三张评测图里没有一格专门测这件事。公开的尺子是有的——台大与英伟达研究者 2026 年 4 月的 Full-Duplex-Bench-v3 用 100 段真人录音考语音智能体调用工具，其中 21 个场景专考中途改口；但那套测试里没有腾讯的模型，录音也是英语，不能直接拿来打分。

成本和时间：现在只能算「不知道」

  • API 单价：官方未公布。 IT之家、第一财经、财经网、TPS、NewToken 五家口径一致，都只写「近期上线腾讯云」，没有任何价格数字。任何现在给出「每千token多少钱」的说法都是猜的。
  • 可参照的计费方式：同类实时语音 API 普遍按音频时长计费（分钟或小时），而不是按 token。等腾讯云文档出来后，要把「音频时长单价」和「并发/路数」分开对账。
  • 迭代计划：官方说下一步重点在双工交互、长期个性化记忆、前后台 Agent 交互。也就是说现在的版本还不是它想要的最终形态。
  • 试错成本：元宝 App 免费，Demo 免费（需登录），所以「先自己听一遍」这件事零成本。真正的时间成本在自建评测集——50 条真实业务录音的标注，比读十篇评测稿有用。

行动建议

第一步，先自己听。 打开元宝 App，选「初语」音色，专门试三件事：说到一半停住、说到一半改口、在嘈杂环境（开电视/放音乐）里说话。这三项决定它对你的业务有没有用。

第二步，用你自己的录音做小测。 从真实业务里抽 50 条：带背景噪音的、被打断的、带方言口音的。人工标注「意图是否被正确还原」，这比任何公开 benchmark 都贴近你的场景。

第三步，等文档再谈钱。 腾讯云 API 文档、价格页、并发限制出来之前，不要按 demo 体验定预算，也不要在方案里写「按 XX 元/小时估算」。看到文档后重点核三件事：是否按音频时长计费、是否区分输入输出、工具调用（联网搜索）是否单独收费。

如果你现在就要上线：把它放进观察名单，主力仍用已经稳定供货的方案；等 API 开放且有定价后，用它替换「中文为主、需要打断和改口」的那条链路。

参考来源

以下为本文核验所用的一手与第三方来源，按发布时间在近 72 小时窗口内。

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...