AI硬件设备

GPU 只负责读题、Cerebras 只负责答题:他们把推理拆成两半跑进生产,每兆瓦多出 5 倍 token

2026年11月18日2 次阅读Read in English
GPU 只负责读题、Cerebras 只负责答题:他们把推理拆成两半跑进生产,每兆瓦多出 5 倍 token

⚙️ GPU 只负责读题、Cerebras 只负责答题:他们把推理拆成两半跑进生产,每兆瓦多出 5 倍 token

一台机器里同时插着两种完全不同的芯片:AMD 的 Instinct GPU 负责把长提示词读完,Cerebras 的晶圆级 CS-3 只负责一个 token 一个 token 地往外吐字。Cerebras 在 11 月 17 日说,这套「拆开跑」的推理已经在生产环境上线,同样的电、同样的机位,每兆瓦吐出的 token 是原来只堆 CS-3 时的 5 倍,而出字速度一点没降。

📅 2026 年 11 月 17 日 · 🧠 Cerebras 解耦推理(AMD Instinct GPU 做 prefill + CS-3 做 decode)· ⚡ 生产实测每兆瓦吞吐 5×、出字速度无损 · 📊 基于 Cerebras 官方博客与 Unite.AI 独立报道整理,5× 为单一端点单次测量
芯片与电路板特写

3分钟看懂:先说结论

  • 这不是一颗新芯片,而是一台机器怎么用法的改变:把推理的两个阶段分别放到最擅长的硬件上。
  • 结果很具体:5 倍的「每兆瓦 token 吞吐」,不是 5 倍的单用户速度。
  • 数据来自一次真实生产测量:11 月 14 日,Cerebras 推理云上一个共享的 GPT-OSS-120B 端点,拆开前后各测一遍。
  • 已经有客户在用了:AWS、Fireworks AI、Gimlet Labs、General Compute 是早期接入伙伴。
  • 但「数百兆瓦」是 2027 年底的部署目标,不是现在已经在跑的规模。

为什么现在要拆

写一句回答,硬件其实要干两件完全不同的活。

第一件叫 prefill:把你的问题、文档、代码整段读进去,算出中间状态。这一步是算力密集的——一次要处理成百上千个 token,能大规模并行。

第二件叫 decode:根据算好的状态,一个词一个词往外蹦。这一步是内存带宽密集的——每吐一个新 token,都要把模型权重重新读一遍。权重有多大,每个 token 就要搬多大一坨数据。

Cerebras 官方的说法很直白:写文档、写代码这类智能体应用正在快速扩张,用户要的是「立刻有反应」,但机房和电力是硬天花板。既然电买不到更多,就只能让每一兆瓦吐出更多 token。

为什么是这两种芯片

Cerebras 的整片晶圆把模型权重放在片上 SRAM 里,而不是外挂 HBM。官方给的对比是:数十 GB 片上 SRAM、数十 PB/s 片上带宽,相当于典型 GB300 GPU 的 350 倍 SRAM 容量和 5,400 倍内存带宽。

这在 decode 阶段是决定性优势——权重就在计算单元旁边,不用每次从显存搬过来。所以 Cerebras 把自己定位成「只做 decode 的那一半」,把 prefill 这种纯算力活交给 GPU。

这也解释了为什么合作方是 AMD:官方博客写明,生产环境里用的是 AMD Instinct GPU 处理提示词,CS-3 生成回答。

生产实测到底测了什么

官方给的测试条件是清楚的,这点值得记下来:

  • 模型:GPT-OSS-120B,一个共享端点
  • 时间:2026 年 11 月 14 日
  • 方法:同一个端点在「拆开」前后各测吞吐,把「只堆 CS-3」的配置归一化成 1×
  • 结果:拆开后每兆瓦吞吐 5×,且 token 生成速度无损

换句话说,5 倍不是把机器跑快了,而是同样一兆瓦电力服务了 5 倍的并发请求量,每个用户的出字速度还保持不变。

这跟 10 月 1 日那篇技术长文不是一个东西。那次讲的是原理和早期结果(同样数量的 Cerebras 系统、早期测试 5×),这次给的是生产环境的实测数据和一套能让别人照着搭的方案。

伙伴怎么接:两条路

对想自己搭的基础设施伙伴,Cerebras 给了参考架构和两套软件路径。

路径一:端到端,图快

整套由 Cerebras 提供,包括:

  • 解耦推理框架:在 prefill 池和 decode 池之间路由请求,管副本容量和健康状态
  • prefill 引擎:可以直接跑 vLLM 或 SGLang 这类开源推理引擎
  • decode 引擎:在 Cerebras 系统上生成回答
  • KV Portal:通过 RDMA 在两边搬运中间状态,包括 KV cache

这条路适合想尽快上线、不想自己拼装软件的团队。

路径二:只买 decode,图控制权

伙伴保留自己的推理框架和 prefill 引擎,只接 Cerebras 的 decode 引擎和 KV Portal。SDK 里还带一个模拟的 decode 副本和一份对接开源解耦框架的参考实现,方便先在没硬件的情况下调通。

这条路适合已经有成熟推理栈、只想换掉 decode 那一段的云厂商。

时间线:三个节点别搞混

时间发生了什么性质
2026-10-01官方长文解释解耦推理原理,给早期 5× 结果技术解释
2026-11-14生产端点前后对比测量数据采集
2026-11-17宣布进入生产 + 开放伙伴方案对外发布
2027 年底(目标)自有云与伙伴部署扩展到数百兆瓦未发生

怎么用:如果你在选推理方案

第一步,先算清楚自己的请求结构。如果你的业务是长提示词、短回答(比如文档问答、代码补全、检索后总结),prefill 占比会很高,解耦的收益就明显;如果你的业务是长输出(比如整篇报告生成),decode 占比高,收益结构会不一样。

第二步,确认你的模型有没有被支持。官方这次给的是 GPT-OSS-120B 这一个模型的生产数据,别的模型要单独问。

第三步,算一下机位和网络的账。这条路要多一套硬件、多一层网络传输,KV cache 要在两个池之间走 RDMA,机房内的东西向带宽必须够。

成本与时间预估

官方没有公布任何价格,也没有给伙伴的授权费用结构。能确认的只有两件事:一是它按「每兆瓦 token 数」来算经济账,说明目标客户是电力受限的机房;二是公司自己规划了 700MW 的数据中心容量,解耦推理是这套容量规划的一部分。

时间上,现在能接的是早期伙伴;2027 年底是官方给的规模化时间点。个人开发者或小团队短期内用不上这套东西——它是给机房级客户准备的。

适用场景:谁该认真看

  • 云厂商和推理服务商:电力配额固定、想在同样机位上卖更多 token
  • 已经有一批 AMD GPU、但 decode 速度不够的机房
  • 做实时交互类应用的团队:代码补全、实时问答、语音对话这类要求「立刻出字」的场景
  • 需要把存量 GPU 资产盘活的运营方:GPU 继续干 prefill,decode 换成专用硬件

不适用场景:这些现在别碰

  • 单机、单卡的小规模部署:解耦的前提是有池子,一台机器拆不出两个池
  • 模型还没验证过的团队:官方只给了一个模型的生产数据
  • 想要「更快单用户速度」的人:这套方案的卖点是吞吐/成本,官方明确说速度是「保持不变」
  • 网络条件差的机房:KV cache 跨池传输走 RDMA,网络是新的瓶颈点

避坑:四个容易读错的地方

  • 5× 是每兆瓦吞吐,不是每用户速度。 官方原话是「no loss in token generation speed」——速度没变,变的是同样电力能服务多少人。
  • 单端点、单模型、单次测量。 官方的 5× 来自一个共享的 GPT-OSS-120B 端点,11 月 14 日一次前后对比。跨模型、跨规模能不能复现,官方没给曲线。独立媒体 Unite.AI 也把这一点列为「关键的规模化疑问」。
  • 「数百兆瓦」是目标不是现状。 官方写的是「by the end of 2027」,别读成现在已经在数百兆瓦上跑。
  • 两套硬件=两套运维。 多一类芯片就多一套驱动、监控、故障域;KV 传输失败时的降级策略要提前设计。

一句话总结

这次发布的真正价值不在「5 倍」这个数字,而在于它把「推理可以拆开卖」变成了可交付的产品形态:GPU 厂商和晶圆级芯片厂商第一次在生产环境里分工干同一件事。对读者来说,判断标准很简单——如果你在为电费和机位发愁,这条路线值得关注;如果你只是想让自己那台机器快一点,它跟你没关系。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...