它不等你说完就接话:蚂蚁系开源「音视频全双工」模型,8 张卡跑一圈 330 毫秒,但「听懂了没有」只有 73.3%
3分钟看懂
一句话结论:11 月 13 日,蚂蚁集团旗下的 inclusionAI 把一套叫 Duo v1 的「全双工音视频世界模型」连权重带代码放了出来。它不是「给一句话、等半分钟、吐一段视频」的那种视频模型,而是边看摄像头、边听你说话、边决定「这轮我该开口还是先等着」,然后当场把带声音的画面接上去。
三个数字决定了它值不值得关注:
- 一个块 17 帧,约 0.71 秒。模型的思考、生成、播放都以这个节奏推进,所以你话还没说完它就能插话。
- 一轮算完 330 到 650 毫秒(论文里 8 张 GPU 的配置)。但要注意,这是「算完一轮」的时间,第一个画面真正出现在屏幕上,还要再等采样窗关闭,最坏再加约 708 毫秒。
- 自测 180 项检查过了 168 项,93.3%。听着很高,可拆开看,「内容是否真的回应了你说的和给你看的东西」这一项只有 73.3%(22/30),是六项里最低的。
这三条来自官方 GitHub 发布说明、arXiv 论文和 Hugging Face 权重仓;发布时间、延迟、通过率等细节,则基于多家媒体转述整理(SLOP TV、alfw.ai、CCTest、KI Fachblatt),核心口径一致,但跑分与延迟都是作者自测,目前没有第三方复现。
这是什么:把「要不要说话」也交给模型
过去的视频生成模型是「点播式」的:你写好提示词,它渲染完,你再看。Duo v1 换了个思路,团队把它叫「互惠世界模型」(Reciprocal World Model),把一次交互拆成两半:
- Intent(意图):一个视觉语言模型,负责看画面、听转写文本、判断这一轮是「说」还是「等」。它输出的是一个决策加一句要说的话。
- Realization(实现):一个扩散模型,负责把这句话变成嘴型、表情、手势和声音,音视频一起出。
两块在一条时间线上对齐,用因果注意力掩码保证「当前这一块看不到未来」——这正是直播能成立的前提。训练上他们用了「双 rollout 蒸馏」,让学生在训练时就习惯「拿自己生成的画面当历史」,而不是拿真实录像当历史,减少上线后的漂移。
工程侧一共放了四组权重:1.0 的 causal 基座(50 步采样)、1.0 的蒸馏版(4 步)、1.0 的量化蒸馏版,以及质量更好的 1.2 causal 基座(1.2 的蒸馏版还没出)。另外给了两条加速管线:vLLM-Omni 和 SGLang-Omni,官方推荐前者。
为什么重要
第一,它把「打断」当成了功能,不是 bug。 现在的语音助手大多还是回合制:你说完、它才动。Duo v1 的 Intent 每 0.71 秒做一次判断,可以主动开口,也可以被抢话。这件事在数字人、直播、陪伴类产品里是硬需求。
第二,它开源的是「一整套」,不是一段 demo 视频。 权重、离线推理代码、两条流式部署管线、技术报告一起给。你要复现,路径是清楚的。
第三,它也给「开源=随便商用」泼了盆冷水。 代码是 Apache-2.0,但权重是继承 MiniMax H3 的社区许可:授权地域明确排除欧盟、英国、韩国和美国;年收入超过 2000 万美元的商业产品还要单独书面申请,并且要在界面上标注 MiniMax H3。这条对做出海产品的团队是决定性的。
怎么用
- 想快速看效果:克隆
inclusionAI/Duo,按 README 建两个 Python 环境(模型环境 + 语音环境,因为 Qwen-ASR 钉死了自己的 transformers 版本),下Duo-1.2-causal-base一个包即可跑离线 demo,浏览器打开127.0.0.1:4173/video/index.html,录一段或传一个 MP4/WebM,就能看到它的回应。 - 想跑得快:切到
inference/vllm-omni-duo或inference/sglang-omni-duo分支,那是实时流式管线;离线主线只用于研究。 - 想省显存:先下 1.0 causal 基座,再把 1.0 distill(4 步)或 distill-quant 覆盖进去,用
hf download指到同一个目录即可。 - 只看不跑:项目页 duo-v1.github.io 有 30 秒片子,还有实时与离线两种模式的对照演示,以及分享场景、日常对话等训练数据片段。
适用场景
- 实时数字人/虚拟主播:需要「边听边应」而不是「听完再答」。
- 陪伴与客服类对话:能被打断、能主动追问,体验更接近真人。
- 研究与复现:想研究全双工、流式音视频联合生成、Intent/Realization 解耦这套架构的团队。
- 论文描述的方向:分享桌上实物、改虚拟场景、玩音视频小游戏——但这些属于研究设想,当前 preview 只支持「基础音视频对话」,视觉交互要等 v2。
不适用场景
- 想要成片级画质:论文里的交互分辨率是 1536×576 与 1152×768 两档,24fps,17 帧一块。这不是给影视交付用的。
- 想直接调 API 上线:官方明确这是 preview,只放权重和代码,没有托管端点、没有定价、没有消费者 App。要上线得自己搭 8 卡。
- 在美/英/欧盟/韩国做商用:权重许可把这些地区划出授权范围,得先找 MiniMax 谈。
- 想让它「看懂你在暗示什么」:这是当前最弱的一环,见下面的数字。
避坑
- 别把 93.3% 当成「它很懂你」。 拆开是:语言一致性、语音清晰度、身份稳定性三项满分(90/90 全过),音画情绪一致 96.7%,口型对齐 90.0%,但内容响应只有 73.3%。论文自己举了例子:用户在家里说自己刚解锁共享单车就下雨了——这明显是抱怨,模型却当成求建议,回答「那先别骑」。
- 别把 330 毫秒当成「端到端延迟」。 论文写的是 intent 推理 + 生成 + 约 40ms 其它开销的合计;首个可见画面还要叠加初始解码和等待采样窗,最多再加约 708ms。
- 离线 demo 不等于实时。 主分支是离线管线,实时要靠 vLLM-Omni / SGLang-Omni 分支。
- 别忽略两套环境。 模型环境和语音环境必须分开建,否则 Qwen-ASR 的依赖会打架。
- preview 就是 preview。 README 写明当前只支持「基础音视频对话」,视觉交互(直接把用户音视频喂给 Realization)要等 v2。
成本和时间
- 软件本身免费:代码 Apache-2.0,权重免费下载但受限许可。
- 硬件门槛:论文的实时演示是单机 8 卡;离线最小配置官方写的是 2 张 CUDA 卡(一张跑 Intent/编解码,一张跑 Realization),显存要够装下所选检查点。
- 下载体积:1.0 与 1.2 的 causal 基座各约 153GB(含语音识别与强制对齐模型),蒸馏版 2.8GB,量化版 47GB。也就是说「先下基座再叠蒸馏」这条路,磁盘要按 150GB 级别准备。
- 官方没有公布任何价格或 API 费用,别按别家的每秒单价去折算。
行动建议
第一步,先看项目页的 30 秒片子和分场景对比,确认「0.71 秒一块」的节奏是不是你要的那种实时感。
第二步,如果你想动手,只下 Duo-1.2-causal-base 跑离线 demo,别一上来就折腾流式管线;跑通再决定要不要上 vLLM-Omni。
第三步,商用前先看许可:确认你的目标市场不在排除地区内,年收入是否触发 2000 万美元的单独授权条款,界面是否需要标注 MiniMax H3。
第四步,把它当「交互层」而不是「画质层」评估——如果你的场景对画质要求高于对反应速度的要求,这一版不适合你。
参考来源
- https://github.com/inclusionAI/Duo
- https://arxiv.org/abs/2611.15131
- https://duo-v1.github.io/
- https://huggingface.co/inclusionAI/Duo-1.0-causal-base
- https://huggingface.co/inclusionAI/Duo-1.0-distill
- https://sloptvnews.com/inclusionai-duo-v1-full-duplex-audiovisual-world-model/
- https://alfw.ai/article/inclusionai-duo-v1-eight-gpu-latency/
- https://kifachblatt.de/duo-v1-weltmodell-analyse
- https://cctest.ai/en/articles/duo-v1-puts-intent-and-action-inside-a-reciprocal-world-model