生图平面类

不要 VAE 也能出图:AMD 开源 679M 的 Nitro-P,512px 一步 90 张/秒,但「代码已放出」这句现在还查不到

2026年11月22日1 次阅读Read in English
不要 VAE 也能出图:AMD 开源 679M 的 Nitro-P,512px 一步 90 张/秒,但「代码已放出」这句现在还查不到

先讲结论:AMD 在 11 月 20 日放出了一个叫 Nitro-P 的文生图模型,6.79 亿参数,走的是「像素空间」路线——把几乎所有主流生图模型都离不开的 VAE 解码器整段删掉,直接在 RGB 像素上去噪。官方给出的数字是:512×512 分辨率下,全量模型每秒 10.26 张;一步蒸馏版每秒 90.02 张。权重已经在 Hugging Face 上能下。

但有三件事官方没说清,而且是这次发布里最该先知道的:博客里写的「代码和权重都已放出」,代码仓库现在打开是 404;Hugging Face 上的仓库没有说明文档、没有许可证标签;官方自己的对照表承认,采样步数一多,它反而比上一代慢。

这篇是基于 AMD 官方博客、官方模型仓库和多家媒体转述整理。

它到底改了什么

要理解 Nitro-P,先要知道现在的文生图是怎么出图的。

主流做法是两段式:先由一个扩散模型在一个被压缩过的「潜空间」里一步步去噪,最后再交给一个叫 VAE 的解码器,把压缩表示还原成我们能看的 RGB 图像。这样做的好处是算得快——在压缩空间里处理的像素少得多;代价是 VAE 学到的东西成了天花板:压缩时没保留下来的细节,后面的去噪过程再也补不回来,而且 VAE 和扩散模型是分开训练的,目标并不完全一致。

像素空间路线就是把这层中间商去掉,直接在原始像素上去噪。难点很直白:一张 1024×1024 的图有三百多万个像素,如果每个像素都当一个 token 喂给 Transformer,序列会长到自注意力根本算不动。

Nitro-P 的解法是把活儿拆成两层。上层是一个叫 E-MMDiT 的 Transformer,把图切成 16×16 的像素块,只负责在 1/16 分辨率上生成「粗颗粒的语义图」——物体是什么、在哪、什么颜色。下层是一个轻量 U-Net,拿着这张语义图,在原分辨率上把整张图的 RGB 值重建出来,靠多尺度卷积和跳连保证块与块之间不出现接缝。

中间那个「语义图怎么传给 U-Net」是关键设计。AMD 试了两种:直接把特征拼起来,或者把语义图投影成一组随位置变化的缩放和平移参数,去调制 U-Net 瓶颈层的归一化激活。第二种赢了——官方对比里,直接拼接的版本经常把颜色搞错、物体数量数错、布局散掉。

数字:哪些是真的快,哪些是误读

官方表格里的关键行:

  • 512×512,全量 20 步:10.26 张/秒,GenEval 0.88
  • 512×512,一步蒸馏:90.02 张/秒,GenEval 0.85
  • 1024×1024,全量:2.44 张/秒,GenEval 0.87
  • 1024×1024,一步蒸馏:26.00 张/秒,GenEval 0.83
  • 主干网络 0.74 TFLOPs、25M 训练图对、679M 总参数

对比同类的像素空间模型:512px 下 PixelDiT 是 5.54 张/秒(GenEval 0.78),DeCo 6.13 张/秒(0.86),MiniT2I-L 2.4 张/秒(0.88)。1024px 下 PixelDiT 是 2.05 张/秒、GenEval 0.74,Nitro-P 是 2.44 张/秒、0.87。

两个必须纠正的读法:

第一,「90 FPS」不是帧率。 这是 batch size 32、单张 MI300X 上的 samples/s。折成单张确实是 11 毫秒左右,但那是满 batch 的吞吐,不是「你发一句提示词 11 毫秒后拿到图」的单流延迟。媒体标题里写 90 FPS 的,基本都省掉了 batch 这个前提。

第二,它只在少步数时快。 官方自己的对照表写得很清楚:同样的 MI300X、同样的 batch,512px 一步时 Nitro-P 是 90.02、前代 Nitro-E 是 44.13;两步 64.83 对 41.39;五步 33.76 对 34.35——已经打平;到 20 步,Nitro-P 掉到 10.26,Nitro-E 是 18.83,反过来了。原因是步数一多,去噪主干本身成了瓶颈,而潜空间每一步都比像素空间便宜。1024px 是同样的曲线:一步 26.00 对 11.00,20 步 2.44 对 4.66。

换句话说,Nitro-P 的定位不是「全面更快」,而是「专门为 1~2 步的高吞吐服务」。AMD 自己在摘要里也是这么写的:最适合低 NFE(函数评估次数)的高吞吐场景。

避坑:三个必须写出来的坑

坑一:代码仓 404。 博客「Additional Resources」一节给的代码地址是 github.com/AMD-AGI/Nitro-P,我用 GitHub API 和浏览器各查了一次,都是 404(同一组织下的前代 AMD-AGI/Nitro-E 正常可访问,仓库 ID 都对得上)。也就是说,在写这篇的时候,「训练代码已完整放出」这句话无法验证。想复现训练流程的人,现在只能等。

坑二:权重没有说明书,也没有许可证。 amd/Nitro-P 仓库里只有四个 safetensors 和一份 .gitattributes,README 请求返回「Entry not found」,模型的 tags 里只有 region:us,没有 license。四个文件分别是 512px、512px 蒸馏、1024px、1024px 蒸馏,每个 2,717,604,284 字节。我把 512px 那份的 safetensors 头解开数了一遍:824 个张量,合计 679.4M 参数,全部是 F32。这意味着单个 checkpoint 就是 2.7GB 实打实的磁盘和显存占用,没有 bf16/fp16 版本。商用之前,许可证是必须先问清楚的那件事。

坑三:质量分不是人类投票。 GenEval 考的是「提示词里的东西有没有画对」(物体、数量、颜色、位置),ImageReward 和 HPSv2.1 都是训练出来的奖励模型打分。Nitro-P 在这三项上确实是同表最高(IR 0.98、HPS 30.04,对比 DeCo 0.48 / 27.75),但奖励模型分高不等于人看着更舒服——这类分数对「风格讨喜」和「细节耐看」几乎无感。要看真实偏好,得等它在人类盲测榜上出现。

怎么用:现实路径

权重是标准的 safetensors,但仓库没给推理脚本,也没有 diffusers 的 model_index.json,所以别指望一句 from_pretrained 就能跑。现实的做法是:

  1. 用 huggingface-cli download amd/Nitro-P Nitro-P-512px.safetensors 先把 2.7GB 拉下来(别下 dist 版,除非你确定只跑一步)。
  2. 自己写加载逻辑:读 safetensors 头 → 按 824 个张量名重建 E-MMDiT 主干和 U-Net 解码器 → 文本侧接 Qwen3-1.7B 的编码器输出。张量名是标准的 adaln_single.*、blocks.* 这类 DiT 命名,能对照官方博客里的架构图逐个对。
  3. 真正省事的做法是等官方代码仓恢复,或者等 diffusers / ComfyUI 社区先做适配节点。以这类模型的惯例,社区适配通常比官方脚本晚几天到两周。

硬件上,官方所有数字都是在 MI300X(192GB HBM3)上跑出来的,batch 32。消费级卡不是不能跑——679M 参数、0.74 TFLOPs 主干,一张 24GB 卡装全量 F32 是够的——但官方没有给过任何消费卡数据,别拿 MI300X 的吞吐去推 4090 上的表现。

适用场景:谁该看这个模型

  • 做高并发出图服务的团队:如果你的业务是「一个提示词批量出几十张候选图、用户只挑一张」,一步蒸馏版 90 张/秒的吞吐很有意义,省的是 GPU 秒数。
  • 研究像素空间扩散的人:这篇把「patch 级语义建模 + 全图卷积解码」这条路线讲得很细,调制注入和直接拼接的对照实验、patch 伪影的消融都有,是可复现的 baseline(前提是代码仓恢复)。
  • 想在 AMD 卡上跑生图的人:整套是 ROCm 训的、ROCm 测的,是目前少数明确以 MI300X 为第一目标硬件的开源 T2I 模型。
  • 在意「免 VAE」这条技术线的人:站内之前写过的 vivo BluePixel、腾讯 L2P、HiDream-O1 都是同一族思路,Nitro-P 是这条线上目前参数最小、吞吐最高的一个。

不适用场景:现在别碰的情况

  • 要出商用成品的:没有许可证标签,等于默认版权状态不明,商用前必须拿到 AMD 的书面口径。
  • 要高步数高质量的:20 步时它比上一代慢一倍,质量也没换来对应提升,这种场景没有任何理由选它。
  • 要文字排版的:像素空间模型在长文本渲染上普遍偏弱,官方给的示例里也没有一张是排版类需求。要写字,还是 Ideogram、Qwen-Image 这类。
  • 要开箱即用的:没有 README、没有推理脚本、没有 diffusers 配置、没有 ComfyUI 节点,现在装它的时间成本远高于它的收益。

成本:算一笔现实的账

官方没有公布任何价格,因为这个模型是开源的,成本全在你自己这边:

  • 存储:四个 checkpoint 加起来 10.87GB,只留 512px 全量 + 蒸馏也要 5.4GB。
  • 显存:F32 权重 2.7GB,加上激活值和文本编码器,24GB 卡跑 512px 宽松,跑 1024px 建议 40GB 以上。
  • 算力:如果按 MI300X 云租用(市场价大约每小时 2 美元上下)算,一步版 90 张/秒意味着满负载一小时理论上能出三十多万张,摊到单张的成本低到可以忽略;但这只在你的批处理真能塞满 batch 32 时成立。真实业务里提示词长短不一、后处理要时间,实际利用率通常只有标称的一到三成。
  • 反向对照:如果你只是偶尔出图,用现成的按张计费 API 更划算——这个模型的价值在吞吐密度,不在单价。

第一步:今天就能做的三件事

第一步,把 512px 的 safetensors 头拉下来看结构(只要 200KB 的前缀,不用下完 2.7GB),确认张量命名和官方博客的架构图对得上——这一步能帮你在官方代码放出前就判断移植难度。

第二步,拿同一批提示词,在任意一个现成模型(FLUX、Qwen-Image 都行)和 Nitro-P 之间做一次 20 张的并排对比,重点看「颜色对不对」「物体数量对不对」「块状伪影有没有」这三项,而不是看整体好不好看。

第三步,如果你的场景确实是高并发候选图,先按「一步蒸馏 + 512px」估算你的日请求量能吃到多少吞吐,再决定值不值得为它改 pipeline。

参考来源

  • AMD ROCm Blogs 官方发布文(2026-11-20):https://rocm.blogs.amd.com/artificial-intelligence/nitro-p/README.html
  • 官方模型权重(2026-11-21 创建):https://huggingface.co/amd/Nitro-P
  • Data Phoenix 报道(2026-11-20):https://dataphoenix.info/news/amd-nitro-p-framework
  • Emergent 报道(2026-11-21):https://emergent.sh/news/amd-nitro-p-vae-free-text-image-diffusion-90
  • 前代 Nitro-E 官方博客(2025-10-24,用于吞吐对照):https://rocm.blogs.amd.com/artificial-intelligence/nitro-e/README.html
  • 前代代码仓库(可正常访问,作为新仓库 404 的对照):https://github.com/AMD-AGI/Nitro-E

本文基于 AMD 官方博客与多家媒体转述整理;代码仓库状态与权重参数为本文自行核验。

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...