视频模型

鼠标能把人从画面里拎起来换个位置:Pika 做了个「边生成边导戏」的实时环境,但只开给企业谈

2026年11月19日2 次阅读Read in English
鼠标能把人从画面里拎起来换个位置:Pika 做了个「边生成边导戏」的实时环境,但只开给企业谈

一句话先说结论:Pika 在 11 月 18 日放出了 Pika Enact 的研究预览——一个建立在 Pika H3 Flex 之上的实时流式视频环境。它把视频生成拆成亚秒级的小块往外吐,所以你能在画面还在播的时候,用鼠标把演员搬个位置、开口跟演员说戏、或者推着虚拟镜头绕着走。代价写在官网最后一段:research preview,不对消费者开放,想用得发邮件到 [email protected]。

3分钟看懂:它改的不是画质,是「改一次要等一次」

用过视频模型的人都知道那个循环:写提示词 → 等十几秒到几十秒 → 看结果 → 不满意 → 改提示词 → 再等。

这套流程的问题不在画得好不好,而在反馈太慢。你在片场改一个走位不需要等,说一句「往左半步」立刻就到位;而在提示词框里,你只能写「稍微靠左一点」,然后祈祷。

Pika Enact 想干的事,就是把这个循环压到「说一句、画面当场就变」。它在官方博客里把自己定位成「模仿在片场导戏的体验」,一共给了三种交互方式:

  • Live Staging(现场摆位):鼠标拖动画面里的演员或物体,位置直接改;
  • Live Actor Direction(现场说戏):打字或说话给演员提要求,他们照做,还会记住你上次说过什么;
  • Live Camera Control(现场控机位):鼠标推、拉、绕,镜头在持续生成的画面里实时移动。

它到底怎么做到的:三条线,各自的数字

一、拖一下就能搬人:单机 1.8 倍播放速度

这不是「先暂停再重画」。官方写得很明确:视频在播,你在拖,模型同时在生成。在单台服务器上,它的生成速度是播放速度的 1.8 倍;在低延迟设置下,包含解码在内,画面响应时间在 H100 上低于 0.4 秒。

难点不在「跟随鼠标」,在于拖动前后必须严格一致——人挪走了,原来的位置不能留个洞,光影要跟着变,姿势要有重量感。真实的视频素材给不了这种成对数据,所以 Pika 自己造了一个物理驱动的合成数据引擎:从一段原始视频出发,让一个 3D 替身沿着拖动路径做动画,模拟自然的重量和惯性,再用视频模型渲染出照片级的目标片段,同时自动记录鼠标位置和按键状态。这样得到的是「零标注、只改了被拖主体」的训练对。

工程上它把生成切成小块流式输出:标准模式每块 0.7 秒,低延迟模式每块 0.17 秒,配一个滑动的 KV 缓存(保留提示词、源视频、第一块和最近四块),位置编码做重基,官方称这样可以「无限时长、成本恒定」。为了不掉帧,采样步数用自强制分布匹配蒸馏从 20 步压到几步。

二、跟演员说戏:1.75 倍播放速度,排完再「Action」

第二种模式更像真的在导戏。你给一句备注,比如「靠近她一点」「告诉他你为什么难过」「把这里改成夜里的厨房」,画面里的演员就演出来,而且会用角色的声音回你话。官方给的数字是:音画生成速度是播放速度的 1.75 倍。

背后的结构是「一个会想、一个会演」:脚本语言模型读你的备注、开场帧和会话记忆,通过工具调用把导演意图翻译成结构化的 beats——动作、台词、情绪、视线、灯光;实时视频模型负责把这些 beats 演出来。没有新指令排队时,场景不会僵住,会有轻微的呼吸和眨眼。

有个细节值得注意:因为开场锚点帧会把空闲场景往初始状态拉,所以每个 beat 都要显式指定演员视线,同时「实时导演」会周期性悄悄插入保持性 beat,把灯光和走位的变化保住。

排演阶段演员会看镜头、跟你对话,每一句台词都逐字记录。等你喊 Action,脚本模型会把这段交流重写成一条无缝的表演,从第一帧重新拍一条干净的。这是它和「一直录着」最大的区别:排演不污染成片。

三、推着镜头走:8 张 B300,640×480,1.5 倍实时

第三种模式不需要你手上已经有一段视频——它是从零生成音画。用一张外观图锚定演员和场景,用一个轻量的 3D 运动代理(比如没贴图的 Blender 视口)来引导机位路径。

官方给的硬件和数字很具体:8 张 NVIDIA B300 的节点,640×480、24 fps,首帧 0.51 秒,之后每块以 1.5 倍实时速度生成;稳态下每 0.708 秒的内容只要 0.473 秒算出来。为了做到这一点,静态的外观前缀被跨块缓存复用,latent 走流式解码器。

数据同样是合成的:一条自动化的 Blender→视频流水线,同时记录多角度机位轨迹、无贴图 3D 运动参考、目标 RGB 画面和空间音频。

底座是 Pika H3 Flex,但 Enact 本身不开放

需要分清两件事:

  • Pika H3 Flex 是 10 月 29 日发布的产品化模型,在 MiniMax H3 上做后训练,支持最多 12 个参考、5 条独立音轨、最高 4K、15 秒、6 步去噪(对比教师模型的 50 步),并且开放权重;
  • Pika Enact 是建在它上面的实验性实时环境,博客里三次强调是 research preview、不对消费者开放,没有权重、没有 API、没有价格。

换句话说:想自己跑 H3 Flex 是可以的;想要「边播边导」这套交互,目前只能走商务。

对谁有用

  • 做分镜和预演的团队:这是最直接的受益者。以前改一个走位要重生成,现在拖动就行,一小时能试的版本数完全不是一个量级。
  • 广告和短片的前期沟通:客户说「人再往右一点」,你可以当场拖给他看,而不是回去改提示词再发一版。
  • 虚拟拍摄/预可视化的从业者:用 3D 代理控机位这条路径,和传统 Previz 的工作习惯是接得上的。
  • 想拿它做产品的人:现在不行,先记下企业邮箱。

不适合谁

  • 要交付片的:640×480、24 fps,是预演规格,不是成片规格。H3 Flex 那条线能到 4K,但那是另一个产品。
  • 要自己部署的:Enact 没有权重。想复现需要 8 张 B300 级别的机器,还要那套合成数据引擎。
  • 预算敏感的个人创作者:没有公开价格,等于现在无法评估。

避坑:四个容易读错的地方

  • 「1.8 倍」和「1.75 倍」不是一回事:前者是 Live Staging 在单服务器上的生成/播放比,后者是 Live Actor Direction 的音画生成/播放比,别混着引用。
  • 「<0.4 秒」有条件:H100、低延迟设置、含解码。不是「任何机器上都 0.4 秒」。
  • 机位模式的分辨率是固定的:官方只给了 640×480 @ 24 fps 这一组数字,别默认它能出高清。
  • 研究预览 ≠ 可用产品:博客原文写的是 "unavailable for consumer use",这句话决定了它现在只能当技术方向看。

成本与时间

  • 钱:官方没有公布任何价格。想试要发邮件到 [email protected] 谈集成,等于按企业定制报价。
  • 硬件(如果想理解它的量级):机位模式跑在 8×B300 节点上;摆位模式单台服务器 1.8 倍实时,响应测试用的是 H100。这不是消费级显卡的量级。
  • 时间:对你来说,现在能花的时间只有「读一遍博客 + 判断这条路和你的工作流有没有关系」,大约 10 分钟。真要用,取决于商务回复。

怎么用:现在只有一条路

官方给的使用路径只有一句:联系 [email protected] 谈试用或集成。没有网页入口、没有 API key、没有文档站。所以实际操作步骤是这样的:

  1. 写清楚你要做的场景(预演?广告分镜?虚拟拍摄?),因为三种模式的硬件门槛完全不同;
  2. 说明你需要哪一种模式——摆位、说戏、控机位是三条独立能力,不是一套打包;
  3. 问清交付形式:是给你一个网页工作台,还是给你接口你自己接;
  4. 如果要接进自己的流水线,重点问清楚输出规格(分辨率、帧率、单次时长)和并发限制。

如果你只是想先感受一下,博客里的演示视频是免费且不需要申请的部分,先把那几段看完再决定要不要发邮件。

行动建议

  • 第一步,先看三段演示再判断。博客里每个模式都配了带鼠标红点/白环的录屏,这是判断「实时感」到底够不够的唯一办法,参数表看不出来。
  • 第二步,把它和「后期修」区分开。Enact 的机位模式是从零生成、不是改已有素材;如果你要的是「改现有片子」,那是另一类工具(比如换背景、重打光那条线)。
  • 第三步,如果这条路对你有用,现在就发那封邮件。研究预览阶段的接入通常伴随联合测试,早谈比等公开发布便宜。

参考来源

  • Pika 官方博客《Research Preview: Pika Enact》(2026-11-18):https://pika.art/blog/pika-enact
  • Pika 官方博客《Introducing Pika H3 Flex》(2026-10-29):https://pika.art/blog/pika-h3-flex
  • Pika 官方博客《Pika H3 Flex Technical Deep Dive》(2026-10-29):https://pika.art/blog/pika-h3-flex-research

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...