视频模型

苹果把视频生成压到 36 毫秒一帧:1.3B 单卡就能跑,14B 要八张 B200,权重只许做研究

2026年11月18日2 次阅读Read in English
苹果把视频生成压到 36 毫秒一帧:1.3B 单卡就能跑,14B 要八张 B200,权重只许做研究

一句话先说结论:苹果在 Hugging Face 放出了 FastFrames-S(1.3B)和 FastFrames-L(14B)两个自回归视频模型,把"生成一段 480p 视频"的每一步压到 36 毫秒和 45 毫秒——比实时播放还快 7 倍左右。代价是画质只做到"追平现有最好水平",分辨率锁在 480p,而且许可证写明只能做研究,不能进产品。

3分钟看懂:它解决的不是"画得更好",是"等得太久"

现在的视频生成模型,你写一段提示词,等十几秒到几十秒,拿回一段 5 秒的视频。这套流程能出片,但没法"玩"——你想转个镜头、往前推一步,得重新排队。

苹果这次做的 FastFrames,目标是让视频生成像游戏一样:你按一下方向键,画面立刻跟着变。为此它选了一条不同的路——自回归。不是一次生成整段视频,而是一帧一帧往后推,每推一步只要几十毫秒。

论文里那句话很实在:现有模型"至少要慢一个数量级",才谈得上流畅交互。FastFrames 就是把这一个数量级补上。

它到底改了什么:把"实现细节"当成瓶颈来拆

这篇论文最有意思的部分不是模型结构,而是它的诊断思路。

作者去拆了现有自回归视频模型的推理流水线,发现有两块东西——VAE 解码和 KV 缓存更新——长期被当作"固定的实现细节",没人动。但实测下来,这两块加起来占了端到端延迟的一半以上。

于是他们做了两件事:

  • 把重的 VAE 解码换成一个轻量的像素解码器(pixel decoder),单次 0.9 毫秒;
  • 把 KV 缓存更新换成一个小的KV 精修网络(kv refiner),单次 2.2 毫秒。

剩下的扩散主干只跑两步。以 FastFrames-S 在单张 B200、480p、满 KV 缓存的条件为例,一次生成单元的四段耗时是这样的:

  • DiT 第一步(t=1000):16.1 ms
  • DiT 第二步(t=833):16.2 ms
  • KV 精修:2.2 ms
  • 像素解码:0.9 ms
  • 合计 35.4 ms(论文写的是 36 ms)

这里有个容易读错的单位:一个"生成单元"是一帧 latent,对应 4 帧 RGB 画面。所以 36 毫秒出的是 4 帧图,折算下来是每秒 28 次响应(官方口径 28 RPS)。

数字对照:它比谁快、快多少

官方项目页给了同条件(480p、B200)下的横向对比,都是单卡:

  • Causal Forcing++(CF++):272 ms
  • FastFrames-S(1.3B):36 ms
  • Krea-Realtime(14B 级):1,675 ms
  • FastFrames-L(14B):158 ms(单卡)

也就是说,1.3B 的 FastFrames-S 比同类 1.3B 的 CF++ 快约 7.5 倍;14B 的 FastFrames-L 单卡 158 ms,仍不够"交互级",必须上八卡。八卡之后:S 降到 14 ms,L 降到 45 ms——两个都进了 50 毫秒这条"交互线"。

八卡不是凑数:官方文档明确写了八卡跑需要单节点 NVSwitch(NVLink multicast),普通多机拼不起来。

画质真相:追平了,但没有碾压

这类"加速"论文最怕只报速度。FastFrames 把 VBench 全表放出来了(同一套评分器、同一批提示词、八张 B200、固定随机种子):

  • CausVid:总分 83.18 / 画质 84.15 / 语义 79.31
  • Self-Forcing:84.10 / 84.84 / 81.13
  • Causal Forcing++:84.11 / 85.09 / 80.20
  • FastFrames-S:84.23 / 85.30 / 79.92
  • FastFrames-L:84.44 / 85.48 / 80.29

看总分,两个都小幅领先。但拆开看有个诚实点值得说:FastFrames-S 的语义分 79.92,比它加速的那位 CF++ 的 80.20 还低一点。换句话说,1.3B 这一档是"画质略升、语义略降",用 0.28 分的语义换 7.5 倍速度。14B 那一档才是全面小幅领先。

分辨率也锁死了:输出固定 832×480、81 帧、16 fps,也就是约 5 秒。这个规格做交互 demo 够用,做交付片不够。

怎么用:四步跑起来,但门槛不在命令上

官方仓库是 apple-aiml-research/ml-fastframes,11 月 17 日 21:30 UTC 建仓,唯一一条 commit 就叫「Public release」。跑通的基本路径是这样:

  1. 确认硬件。要求 Linux x86-64 + NVIDIA GPU + CUDA 12.8 兼容驱动。注意:没有 MLX 路径,也没有 Apple Silicon 路径——苹果发的模型,Mac 上跑不了。
  2. 装环境。仓库根目录 uv sync,会拉 Python 3.10 和锁定的 PyTorch 2.9.1 / CUDA 12.8。
  3. 下三份权重。FastFrames 自己的网络 + 对应的 Wan 快照 + (1.3B 还需要)Causal Forcing++ 的两步生成器。命令在 docs/installation.md。
  4. 生成一段看看。uv run python scripts/generate.py --model ff-s --prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4。想测延迟就跑 evaluation/latency/benchmark.py ff-s。

真正的门槛是显存和文件体积:

  • FastFrames-S 新增的权重很小:kv_refiner 692 MB + pixel_decoder 255 MB,合计约 0.95 GB。但它的生成主干是别人的——Causal Forcing++ 的 framewise-2step.pt,单个文件 5.68 GB(Apache 2.0),外加 Wan2.1-T2V-1.3B 的文本编码器和 VAE。
  • FastFrames-L 就重了:dit.safetensors 单文件 28.6 GB(bf16),加 kv_refiner 1.78 GB、pixel_decoder 0.29 GB,三件套约 30.6 GB,还要另下 Wan2.1-14B。
  • 整个 L 仓库连训练中间产物一共 173.5 GB。官方把因果教师、一致性蒸馏、DMD 三个中间检查点都放出来了——想自己接着训的人有福,只想推理的人别整仓拉。

适用场景:谁该看这个

  • 做交互式视频产品原型的人:36 ms 一帧意味着"按键→画面变"的闭环第一次在 480p 上成立。这是唯一一类能立刻用上的场景。
  • 做世界模型 / 具身仿真研究的人:仓库里带了一个 LingBot-World v2 1.3B 的加速版,官方说比原版快 16 倍,还支持镜头条件控制。真机前先在仿真里试,这条链路是通的。
  • 研究"推理流水线优化"的人:论文把"VAE 解码和 KV 更新占一半延迟"这个观察摆出来了,这套拆解方法可以搬到别的自回归模型上。
  • 想找便宜视频生成方案的人:这里没有便宜方案,只有快。

不适用场景:这些现在别碰

  • 要 720p / 1080p 成片的:模型只出 832×480。别指望"放大一下就行",重绘一遍画质会变。
  • 想商用或集成进产品:权重走 apple-amlr 协议,原文写得很直白——只授权"非商业科学研究与学术开发",明确排除"任何商业利用、产品开发或商业产品/服务中的使用"。代码那层是苹果自有软件许可(允许改和分发),但权重不是 Apache/MIT。这两层要分开看。
  • 在 Mac 上跑:官方只给 Linux + CUDA 路线。
  • 单卡跑 14B:单卡 158 ms,已经掉出交互区间,而且显存要求远超消费卡。
  • 要长视频:81 帧、约 5 秒,靠自回归往后接是能做,但这次发布没给长视频方案。

避坑:四个容易踩的点

  1. "开源"要打折。代码开源、权重可下,但许可证是研究用途。看到"Apple open-sources FastFrames"这种说法,先回 HF 的 LICENSE 文件看一眼。
  2. 1.3B 的语义分是负的。总分领先不代表每一项都赢,做提示词跟随类任务时这 0.28 分是真的会感觉到。
  3. 八卡那句别忽略。14B 的 45 ms 是八张 B200 + NVSwitch 的成绩,不是八张随便什么卡。
  4. 论文还没挂 arXiv。项目页和模型卡都写着「Paper coming soon」,引用信息只有一个待发布的 bibtex。现在能核的只有代码、文档和项目页——这三个是一手的,够了。

成本与时间

  • 硬件成本:S 至少一张 B200 级别卡(官方全部数据都在 B200 上测的,没给消费卡数字);L 要八卡节点。
  • 下载时间:S 的必需件约 7 GB(含 CF++ 和 Wan);L 必需件约 30.6 GB,整仓 173.5 GB。
  • 训练成本(如果想自己训):官方 recipe 表写得很清楚——14B 的因果教师阶段用了 256 张 GPU,一致性蒸馏和 DMD 各 128 张,解码器重建 64 张。这不是个人能复现的量级。
  • 上手时间:环境加下载顺利的话半小时到一小时;第一次跑会触发编译和 autotune,官方提示要等几分钟。

行动建议:今天能做的三件事

  • 第一步,先看项目页的对照 demo。apple-aiml-research.github.io/ml-fastframes/ 上有左右分屏:左边原版、右边加 FastFrames,同一输入同一时刻。这一分钟比读参数表有用,能直接判断"36 ms 的流畅感"是不是你要的。
  • 第二步,如果只想要速度不想要 14B,直接上 FastFrames-S:新增权重不到 1 GB,叠在 Apache 2.0 的 CF++ 上,许可上最干净的一层就是它。
  • 第三步,商用需求先别动手。等许可证变化,或者去看同一天发布的其它选项——这一轮里苹果给的是研究工具,不是产品件。

参考来源

  • FastFrames-L 模型卡(Hugging Face):https://huggingface.co/apple/FastFrames-L
  • FastFrames-S 模型卡(Hugging Face):https://huggingface.co/apple/FastFrames-S
  • 官方项目页(Apple + Cornell):https://apple-aiml-research.github.io/ml-fastframes/
  • 官方代码仓库:https://github.com/apple-aiml-research/ml-fastframes
  • 推理与延迟测量文档:https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/inference.md
  • 安装与检查点文档:https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/installation.md
  • TPS Report 报道:https://tpsreport.news/news/apple-fastframes-l-14b-interactive-video-generation
  • AI速報(日文)报道:https://aisoku.org/articles/s6ybrbs8/
  • TLDR 收录:https://tldr.tech/story/e04826c5-d84b-4b92-bbfc-b4e9fe615efe

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...