生图平面类

微信把「出图 + 改图」塞进了一个模型：WeLM-Image 单卡 H20 五秒出一张，但权重还没放出来

2026年11月6日2 次阅读
微信把「出图 + 改图」塞进了一个模型：WeLM-Image 单卡 H20 五秒出一张，但权重还没放出来

3分钟看懂

11 月 5 日，arXiv 上出现了一份 30 多页的技术报告：WeLM-Image，署名单位写得很直接——「WeChat Vision, Tencent Inc.」，微信视觉团队。

它做的事不新鲜，但组合方式值得看：一个模型同时干文生图、按指令改图、拿多张参考图合成新画面，还顺带保留了看图理解的能力。报告里给的定位也很清楚：不是冲榜单的实验室项目，而是奔着「单张 GPU 就能扛住消费级应用的请求量」去设计的。

一句话结论：这是一份把「统一图像模型怎么才算能上线」算清楚了的工程报告——但报告里没有权重、没有代码、没有 API 价格，现在能拿到的只有数字。

这次到底改了什么

过去做图像应用，常见拼法是：一个文生图模型出图，一个编辑模型改图，多参考图再上第三个模型（或者干脆手工拼 LoRA）。每个模型一套采样参数、一套显存预算，链路一长，延迟和成本都不可控。

WeLM-Image 的思路是把这些任务摊平成同一种序列：文本、参考图、要生成的目标 latent，全部塞进一条交错序列里，模型不需要为每个任务换一套接口。

支撑这个做法的是两层结构：

  • MoT（Mixture-of-Transformers）：理解路径和生成路径各有一套独立参数，但共享注意力。好处是「看图」和「画图」不会互相打架——报告里把这个问题叫做优化干扰。
  • MoE（混合专家）：两条路径上都挂了稀疏专家。结果是总存储 31.7B 参数（含 ViT、不含 VAE），但每生成一个目标 latent token 只激活约 5.4B 生成参数。

换句话说，它的「大」是放在硬盘和显存里的，不是每一步计算都要付一遍。这对单卡部署是决定性的。

另外两个细节值得单独拎出来：

  • 原生 1.5K（1536）分辨率，不是先出 1K 再放大。
  • 中英双语标注。报告里专门提到，海报、招牌、行程地图这类「把密集中英文排版直接画进图里」的样例，是他们的重点场景之一。

数字到底什么水平

先看文生图和文字渲染（表 5，分数越高越好）：

  • WeLM-Image：GenEval 0.851、PRISM 7.555、Qwen-Image-Bench 54.155、LongText 0.931
  • GPT-Image-2（闭源对照）：0.886、8.039、63.165、0.972
  • Qwen-Image-3.0（闭源对照）：0.857、7.685、61.692、0.980

再看编辑（表 14）：

  • WeLM-Image：GEdit 8.381、ImgEdit 4.581、UnicBench 8.992、WeGenEditBench 4.005
  • GPT-Image-2：8.580、4.665、9.079、4.104

怎么读这些数字？

第一，它全面落后于 GPT-Image-2 和 Qwen-Image-3.0，但差距不算大——GenEval 差 0.035，UnicBench 差 0.087。放在「开源可自建」这个前提下，这个差距是可以接受的。

第二，报告里「开源第一」的说法有明确口径：原文是 ranks first among the evaluated open-source models，指的是和它同台比较的那批开源基线里排第一（PRISM-Bench、Qwen-Image-Bench、UnicBench 三项），闭源模型被排除在排名高亮之外。这句话不等于「它自己开源了」。

第三，也是最容易被标题带跑的一点：报告里没有给权重下载地址。我按名字查了 Hugging Face 的 WeLM-Image、welm-image，也翻了 Tencent 和 Tencent-Hunyuan 两个组织下的仓库，GitHub 上搜同名项目同样没有结果——截至 11 月 6 日凌晨，能找到的只有这篇论文。

所以现在准确的表述是：微信公开了一套方法和一个能打的分数，但没有公开可运行的模型。

速度账才是这份报告的重点

如果只看榜单，这是一篇普通的模型报告。真正有意思的是表 4 的延迟数据——全部在单张 NVIDIA H20 上测，输出统一 1024×1024：

  • 标准版（50 步）：1024×576 要 32.89 秒，1024×768 要 43.26 秒，1024×1024 要 56.99 秒
  • Turbo 版（8 步，无引导采样）：2.90 / 3.80 / 4.98 秒

编辑更说明问题，因为输入图越多，视觉上下文越长：

  • 标准版单图编辑 67.71 秒 → 四图参考 100.18 秒
  • Turbo 版：6.78 秒 → 13.17 秒

对比一下同表里的 Qwen-Image-Edit-2511（40 步）：单图 133.04 秒，四图 510.64 秒。四图这一档差了将近 39 倍，而且对方是 40 步、WeLM-Image-Turbo 是 8 步无引导——这本来就是蒸馏换来的，不是同一个算法在比。但对做产品的人来说，这就是「能不能上」和「只能排队跑」的区别。

Turbo 是怎么来的：MeanFlow 的平均速度形式做少步蒸馏，再加上 DMD 风格的在线轨迹对齐，最后用「局部轨迹锚定」压住少步采样常见的结构漂移和纹理丢失。报告里特别提到，他们保住了文字渲染和语义理解——这两项恰好是少步蒸馏最容易崩的地方。

适用场景：对谁有用

  • 要做图像功能的团队：一套权重覆盖出图、改图、多参考合成，意味着不用维护三条推理链路、三套采样参数。工程复杂度直接降一档。
  • 中文场景的产品：双语标注 + 密集中英文字渲染，是电商海报、活动物料这类需求的核心痛点，海外模型在这块一直不稳。
  • 要私有化部署的：单卡 H20 跑 1024×1024，四图参考 13 秒。这个口径是可以直接拿去算服务器预算的，不是「8 卡 A100 跑个 demo」。
  • 研究统一架构的人：MoT + MoE 分离理解与生成参数、又共享注意力的做法，加上「生成和编辑分别做 RL、再用 on-policy 蒸馏合回一个 checkpoint」的训练路径，是可复现的思路（虽然代码没给）。

不适用场景

  • 现在就想用：不行。没有权重、没有 API、没有 playground。
  • 需要极致画质：GenEval、PRISM、Qwen-Image-Bench 三项都落后于闭源第一梯队，冲着「最好看」去的话，它不是答案。
  • 想靠它省掉精修：4.98 秒出的是一张能用的图，不是一张能直接交付的图。文字渲染分数（LongText 0.931 vs 0.972）说明复杂排版仍然会出错。
  • 只有消费级显卡：31.7B 总参数，虽然每 token 只激活 5.4B，但权重得放得下。报告给的基线是 H20，不是 4090。

常见错误与注意事项

  1. 把「开源第一」读成「已开源」。这是本次最容易被二次传播放大的误读。论文的原句限定在「参评的开源模型」，而且明确说闭源模型不参与排名高亮。
  2. 把 4.98 秒当成默认速度。那是 Turbo、8 步、无引导采样、1024×1024、H20 的结果。同模型 50 步是 56.99 秒，差 11 倍。
  3. 忽略输入图数量对延迟的影响。四图参考的延迟是单图的 1.9 倍（Turbo），这条曲线是线性涨的，不是常数。
  4. 拿它和 4 步 Lightning LoRA 直接对比。表里 Qwen 系用的是官方 4 步 Lightning，WeLM-Image-Turbo 是 8 步无引导，两者的每步计算量不同（无引导每步只跑一次前向，带 CFG 要跑两次），直接比秒数会失真。
  5. 以为 Turbo 只是加速。报告里 Turbo 在 Qwen-Image-Bench 上是 55.992，反而比标准版的 54.155 高——少步蒸馏在这里不是单纯掉质量的取舍。

成本与时间

  • 自建成本：单卡 H20 的口径，1024×1024 标准版 57 秒 / Turbo 5 秒。按这个算 QPS 和卡数，比按「A100 八卡」估要靠谱得多。
  • 迁移成本：如果现有链路是「出图模型 + 编辑模型」两套，换成统一模型要重做的是调用层和参数调优，模型侧反而简化。
  • 现在的时间成本：等权重。这是唯一真正的阻塞项——在权重或 API 出现之前，所有评估都只能停在纸面。

怎么用：现在能做的三件事

权重没放出来，不代表这份报告没用。实操上是三条路：

  1. 当架构参考。MoT 把理解和生成拆成两套参数、共享注意力的做法，可以直接搬到自己的图像生成或图像编辑模型上；MoT 之外挂 MoE 来换稀疏容量，也是当前少有的、在图像任务上给出完整消融的写法。
  2. 当评测模板。它把「生成」和「编辑」分开评：生成看 GenEval / PRISM / Qwen-Image-Bench / LongText，编辑看 GEdit / ImgEdit / UnicBench。如果你要选型，照这个组合跑一遍，比只看一张图好看不好看靠谱。
  3. 当延迟预算表。表 4 是少见的、同硬件同软件栈（PyTorch 2.9.1 + Diffusers 0.39.0）下的端到端对比，还标了「排除模型加载」「三次取均值」「一次预热」。这种口径可以直接拿去做服务器选型估算。

如果你只是想「用起来」——那答案是等。可以盯 arXiv 页面更新和 Tencent 的 GitHub 组织，权重通常会在这两处落地。

行动建议

第一步，先明确你要的是「可运行」还是「可参考」。要跑起来，这份报告暂时帮不上；要设计自己的统一图像模型，第 2 节（架构）、第 4 节（训练）、第 5 节（效率）是能直接抄作业的部分。

第二步，如果你在做中文图像产品，把「密集中英文字渲染」列成单独一项评测指标，别混在整体画质里。这份报告里文字渲染是被单独拆出来做 reward 的，说明它确实需要单独优化。

第三步，留意权重动向。真放出来的话，第一件事不是跑 benchmark，而是拿你自己的 20 张真实素材跑一遍编辑，看主体保持和文字有没有崩——这两项是统一模型最容易在真实数据上翻车的地方。

参考来源

  • WeLM-Image 技术报告（arXiv:2611.07392，2026-11-05 提交，WeChat Vision, Tencent Inc.，CC BY 4.0）：https://arxiv.org/abs/2611.07392
  • 论文 HTML 全文（含表 4 延迟、表 5 文生图、表 14 编辑）：https://arxiv.org/html/2611.07392v1
  • AI 热报对该论文的转述（11-06，标注 11 个信源在谈）：https://airebao.com/item/54477
  • ReadSearch 论文索引页：https://readsearch.ai/paper/arxiv/2611.07392v1

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...