Pika 开源 H3 Flex：15 秒带声成片最快 7 秒，还能把配乐、对白、音效拆成五条轨
3分钟看懂：H3 Flex 是什么
一句话结论：Pika 在 10 月 29 日发布了 Pika H3 Flex，一个能同时生成画面和声音、并且把模型权重公开出来的视频模型。 它在 MiniMax 的 H3 基础上做二次训练，主打的是"快"和"改得动"。
它跟你在网页上点一下"生成视频"的体验不太一样，有三个明显的差别：
- 出片快过播放：一段 15 秒、768p、自带立体声的片段，Transformer 计算部分最快只要约 7 秒。也就是说，你想看结果的时间，比看完这段片子还短。
- 能喂一堆参考：一次最多塞 12 个参考文件，图片、视频、音频可以混着来。人物从一张图来、场景从另一张图来、动作从一段视频来。
- 声音是分层的：它生成的不是一条混好的音轨，而是可以拆成对白、配乐、音效、拟音、环境五条独立音轨。
本文依据 Pika 官方发布博客（2026 年 10 月 29 日）与技术博客整理，权重与代码同日上线 Hugging Face 和 GitHub。
为什么重要：开源视频模型第一次"能直接用"
过去一年开源视频模型的处境有点尴尬：能跑，但慢；有声，但混在一起没法改；画质能看，但一改就崩。H3 Flex 想同时解决这三件事，而且是在开源的前提下。
它真正的分水岭是两件事：
- 速度进了"可用"区间。Pika 把原来 50 步的去噪过程压到 6 步，又叠了一轮推理优化（融合算子、缓存时序调制、FlashAttention-4、块稀疏注意力）。官方给的数字是：5 秒 768p 的完整推理从 3.409 秒降到 2.129 秒，快了 1.6 倍。在 768p 上平均比 Fal 托管的 H3 Max 快约 1.8 倍。
- 后期流程被考虑进去了。五条可分离音轨这件事，意味着生成完不是终点——你可以只把音乐调小、单独换掉音效，对白不受影响。这是第一次有视频模型把"混音台"当成交付物的一部分。
发布时它在 DesignArena 的文生视频榜上排开源第一、总榜第七（官方口径，发布当时快照）。
四项关键能力，拆开看
一、6 步出片。 技术路径是三段：先在自家筛过的音视频数据上做监督微调，再用 Projected Distribution Matching Distillation 把 50 步压到 6 步，最后用 ReFL 和 DPO 各训一个 LoRA 适配器并合并，专门修美学、清晰度、指令遵循和真实感。合并后的适配器不增加推理步数。
二、12 个参考位。 图片、视频、音频可以混着当参考。官方演示里有几个典型用法：五个手绘关键帧 + 两张摄影参考，做出混合媒介的走钢丝镜头；一段舞蹈视频当动作参考，把角色和场景整个换掉；一张产品图直接撑起一支多镜头口红广告。
三、五条音轨。 模型本身是联合生成对白、音乐、音效、环境声的一条同步音轨，Pika 再用提示式音源分离把它拆成 Dialogue / Score / SFX / Foley / Ambience 五条。好处是不需要拿"分轨标注过的视频"去训练，生成目标不变。
四、4K 靠上采样。 原生只出 480p 和 768p，1080p、2K、4K 由 Pika 自家一个 10 亿参数的单步上采样器完成，直接在像素空间做，第一帧 1080p 只要 0.17 秒。官方说这个上采样器之后也会开源。
怎么用：四条路
- API：Pika API Club 已经可以调，文生视频、首尾帧、多模态参考生视频都支持，输出带同步音频的 480p/768p。
- ComfyUI：官方文档已出教程页，社区也同步放了 LoRA 适配器。
- Diffusers：权重按 diffusers 格式发布，能直接接现有管线。
- 本地跑：权重在 Hugging Face（Pika-Labs/Pika-H3-Flex），推理代码在 GitHub（Pika-Labs/Pika-H3-Flex），发布当天就建好了仓库。
另外，H3 Flex 会在 11 月 2 日进 Pika 的创作产品。
适用场景：谁真的用得上
- 广告与产品片：一张产品图 + 多镜头脚本，直接出 15 秒分镜级成品。官方演示里口红和耳机两支片子都是这个套路，连镜头语言（俯冲、微距环绕、whip pan、硬切）都能在提示词里点名。
- 分镜预演：手绘关键帧当参考，先看一遍运镜和节奏，再决定要不要实拍。
- 动作/舞蹈迁移：拿一段参考视频定动作和时间点，角色和场景全新生成。
- 局部改片：整段保留表演和机位，只换服装、道具或环境。风格迁移、角色替换、定向编辑都在支持列表里。
- 需要后期混音的团队：五条音轨直接进剪辑软件，省掉"生成完还得重新配音"的那一步。
不适用场景：别指望它现在全都能干
官方自己在技术博客里列了短板，这几条最该记住：
- 物理不是强项。官方明确写了：其他系统在物理、多场景叙事、光照与材质、以及动作密集或控制视频类参考任务上更受偏好。
- 多场景一致性仍是待改进项。结论段落原话是 "Physics, multi-scene consistency, and complex reference control remain areas for further improvement"。
- "7 秒"是 Transformer 计算时间，不是端到端。官方在脚注里写清楚了：7 秒测的是 15 秒 768p 片段的 DiT 计算，不含参考输入、高分辨率收尾、音轨分离、硬件和服务开销。
- 4K 和拆轨是托管功能。本地跑只有 480p/768p 的原生生成；上采样器、音轨分离、提示词增强、加速服务栈都是 Pika 云端提供。
- 许可证不是 Apache。Hugging Face 上标的是
minimax-h3-community-license-agreement，商用前必须逐条读，别按"开源=随便用"处理。
避坑与注意事项
- 别把"7 秒"当成"7 秒拿到成片"。它只是去噪计算部分，参考图加载、4K 上采样、音轨分离都要另算。
- 本地部署和云端不是一回事。开源的是生成器适配器 + 推理代码（480p/768p、带同步音频），拆轨和 4K 收尾是 Pika 托管能力。
- 参考不是越多越好。12 个是上限不是建议值，官方演示里有效案例通常只用了 2–7 个参考，且每个都明确指定"贡献什么"。
- 许可证是社区许可，不是 Apache 2.0。分发权重、做衍生模型、商用前都该读一遍原文。
- 想靠它一次出成片会失望。官方定位就是"professional iteration"——反复试、反复改，而不是一遍过。
成本 / 时间门槛
- 按秒计费：文生视频/图生视频起步价 $0.01 / 输出秒，参考生视频 $0.03 / 秒。作为对照，官方对比表里 MiniMax H3 是 $0.08、Seedance 2.5 是 $0.103、Gemini Omni 1.1 Flash 是 $0.101。
- 纯 API 成本：一条 15 秒片子按 $0.01/秒算约 $0.15 起，具体看分辨率和是否走参考。
- 本地成本：看你的显卡。官方延迟数据是在 8 张 B300 上测的，消费级卡上跑 6 步也不会是 7 秒。
- 时间成本：真正要花时间的是写提示词——官方演示的提示词里逐秒标了镜头、声音、禁止项，这种写法比一句描述有效得多。
行动建议
- 第一步：去官方技术博客把 Fig.4 那张人类偏好图看一遍。它老老实实标了哪些类别领先、哪些类别落后，比任何营销页都准。
- 第二步：如果你是 ComfyUI 用户，先按官方文档把工作流跑通，再决定要不要接进生产。
- 第三步：做广告和电商的，先拿自己一张产品图，试着复刻官方那支口红的五镜头结构——这是最容易判断"能不能替代现有流程"的测试。
- 第四步：要商用就先把 community license 读完，特别是权重分发和衍生模型的条款。
- 第五步：等 11 月 2 日进 Pika 创作产品后，用它做"快速试错"，把 4K 收尾留给真正定稿的那一版。
参考来源
- https://pika.art/blog/pika-h3-flex
- https://pika.art/blog/pika-h3-flex-research
- https://huggingface.co/Pika-Labs/Pika-H3-Flex
- https://github.com/Pika-Labs/Pika-H3-Flex
- https://docs.comfy.org/tutorials/video/pika/pika-h3-flex