GPU 只负责读题、Cerebras 只负责答题:他们把推理拆成两半跑进生产,每兆瓦多出 5 倍 token
⚙️ GPU 只负责读题、Cerebras 只负责答题:他们把推理拆成两半跑进生产,每兆瓦多出 5 倍 token
一台机器里同时插着两种完全不同的芯片:AMD 的 Instinct GPU 负责把长提示词读完,Cerebras 的晶圆级 CS-3 只负责一个 token 一个 token 地往外吐字。Cerebras 在 11 月 17 日说,这套「拆开跑」的推理已经在生产环境上线,同样的电、同样的机位,每兆瓦吐出的 token 是原来只堆 CS-3 时的 5 倍,而出字速度一点没降。
3分钟看懂:先说结论
- 这不是一颗新芯片,而是一台机器怎么用法的改变:把推理的两个阶段分别放到最擅长的硬件上。
- 结果很具体:5 倍的「每兆瓦 token 吞吐」,不是 5 倍的单用户速度。
- 数据来自一次真实生产测量:11 月 14 日,Cerebras 推理云上一个共享的 GPT-OSS-120B 端点,拆开前后各测一遍。
- 已经有客户在用了:AWS、Fireworks AI、Gimlet Labs、General Compute 是早期接入伙伴。
- 但「数百兆瓦」是 2027 年底的部署目标,不是现在已经在跑的规模。
为什么现在要拆
写一句回答,硬件其实要干两件完全不同的活。
第一件叫 prefill:把你的问题、文档、代码整段读进去,算出中间状态。这一步是算力密集的——一次要处理成百上千个 token,能大规模并行。
第二件叫 decode:根据算好的状态,一个词一个词往外蹦。这一步是内存带宽密集的——每吐一个新 token,都要把模型权重重新读一遍。权重有多大,每个 token 就要搬多大一坨数据。
Cerebras 官方的说法很直白:写文档、写代码这类智能体应用正在快速扩张,用户要的是「立刻有反应」,但机房和电力是硬天花板。既然电买不到更多,就只能让每一兆瓦吐出更多 token。
为什么是这两种芯片
Cerebras 的整片晶圆把模型权重放在片上 SRAM 里,而不是外挂 HBM。官方给的对比是:数十 GB 片上 SRAM、数十 PB/s 片上带宽,相当于典型 GB300 GPU 的 350 倍 SRAM 容量和 5,400 倍内存带宽。
这在 decode 阶段是决定性优势——权重就在计算单元旁边,不用每次从显存搬过来。所以 Cerebras 把自己定位成「只做 decode 的那一半」,把 prefill 这种纯算力活交给 GPU。
这也解释了为什么合作方是 AMD:官方博客写明,生产环境里用的是 AMD Instinct GPU 处理提示词,CS-3 生成回答。
生产实测到底测了什么
官方给的测试条件是清楚的,这点值得记下来:
- 模型:GPT-OSS-120B,一个共享端点
- 时间:2026 年 11 月 14 日
- 方法:同一个端点在「拆开」前后各测吞吐,把「只堆 CS-3」的配置归一化成 1×
- 结果:拆开后每兆瓦吞吐 5×,且 token 生成速度无损
换句话说,5 倍不是把机器跑快了,而是同样一兆瓦电力服务了 5 倍的并发请求量,每个用户的出字速度还保持不变。
这跟 10 月 1 日那篇技术长文不是一个东西。那次讲的是原理和早期结果(同样数量的 Cerebras 系统、早期测试 5×),这次给的是生产环境的实测数据和一套能让别人照着搭的方案。
伙伴怎么接:两条路
对想自己搭的基础设施伙伴,Cerebras 给了参考架构和两套软件路径。
路径一:端到端,图快
整套由 Cerebras 提供,包括:
- 解耦推理框架:在 prefill 池和 decode 池之间路由请求,管副本容量和健康状态
- prefill 引擎:可以直接跑 vLLM 或 SGLang 这类开源推理引擎
- decode 引擎:在 Cerebras 系统上生成回答
- KV Portal:通过 RDMA 在两边搬运中间状态,包括 KV cache
这条路适合想尽快上线、不想自己拼装软件的团队。
路径二:只买 decode,图控制权
伙伴保留自己的推理框架和 prefill 引擎,只接 Cerebras 的 decode 引擎和 KV Portal。SDK 里还带一个模拟的 decode 副本和一份对接开源解耦框架的参考实现,方便先在没硬件的情况下调通。
这条路适合已经有成熟推理栈、只想换掉 decode 那一段的云厂商。
时间线:三个节点别搞混
| 时间 | 发生了什么 | 性质 |
|---|---|---|
| 2026-10-01 | 官方长文解释解耦推理原理,给早期 5× 结果 | 技术解释 |
| 2026-11-14 | 生产端点前后对比测量 | 数据采集 |
| 2026-11-17 | 宣布进入生产 + 开放伙伴方案 | 对外发布 |
| 2027 年底(目标) | 自有云与伙伴部署扩展到数百兆瓦 | 未发生 |
怎么用:如果你在选推理方案
第一步,先算清楚自己的请求结构。如果你的业务是长提示词、短回答(比如文档问答、代码补全、检索后总结),prefill 占比会很高,解耦的收益就明显;如果你的业务是长输出(比如整篇报告生成),decode 占比高,收益结构会不一样。
第二步,确认你的模型有没有被支持。官方这次给的是 GPT-OSS-120B 这一个模型的生产数据,别的模型要单独问。
第三步,算一下机位和网络的账。这条路要多一套硬件、多一层网络传输,KV cache 要在两个池之间走 RDMA,机房内的东西向带宽必须够。
成本与时间预估
官方没有公布任何价格,也没有给伙伴的授权费用结构。能确认的只有两件事:一是它按「每兆瓦 token 数」来算经济账,说明目标客户是电力受限的机房;二是公司自己规划了 700MW 的数据中心容量,解耦推理是这套容量规划的一部分。
时间上,现在能接的是早期伙伴;2027 年底是官方给的规模化时间点。个人开发者或小团队短期内用不上这套东西——它是给机房级客户准备的。
适用场景:谁该认真看
- 云厂商和推理服务商:电力配额固定、想在同样机位上卖更多 token
- 已经有一批 AMD GPU、但 decode 速度不够的机房
- 做实时交互类应用的团队:代码补全、实时问答、语音对话这类要求「立刻出字」的场景
- 需要把存量 GPU 资产盘活的运营方:GPU 继续干 prefill,decode 换成专用硬件
不适用场景:这些现在别碰
- 单机、单卡的小规模部署:解耦的前提是有池子,一台机器拆不出两个池
- 模型还没验证过的团队:官方只给了一个模型的生产数据
- 想要「更快单用户速度」的人:这套方案的卖点是吞吐/成本,官方明确说速度是「保持不变」
- 网络条件差的机房:KV cache 跨池传输走 RDMA,网络是新的瓶颈点
避坑:四个容易读错的地方
- 5× 是每兆瓦吞吐,不是每用户速度。 官方原话是「no loss in token generation speed」——速度没变,变的是同样电力能服务多少人。
- 单端点、单模型、单次测量。 官方的 5× 来自一个共享的 GPT-OSS-120B 端点,11 月 14 日一次前后对比。跨模型、跨规模能不能复现,官方没给曲线。独立媒体 Unite.AI 也把这一点列为「关键的规模化疑问」。
- 「数百兆瓦」是目标不是现状。 官方写的是「by the end of 2027」,别读成现在已经在数百兆瓦上跑。
- 两套硬件=两套运维。 多一类芯片就多一套驱动、监控、故障域;KV 传输失败时的降级策略要提前设计。
一句话总结
这次发布的真正价值不在「5 倍」这个数字,而在于它把「推理可以拆开卖」变成了可交付的产品形态:GPU 厂商和晶圆级芯片厂商第一次在生产环境里分工干同一件事。对读者来说,判断标准很简单——如果你在为电费和机位发愁,这条路线值得关注;如果你只是想让自己那台机器快一点,它跟你没关系。
参考来源
- Cerebras 官方博客《Cerebras Launches Disaggregated Inference》
https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference - Cerebras 官方博客《Disaggregated Inference From the Ground Up》(10-01 技术长文,用于对照时间线)
https://www.cerebras.ai/blog/disaggregated-inference-from-the-ground-up - Unite.AI《Cerebras Puts Disaggregated Inference Into Production With GPUs》
https://www.unite.ai/cerebras-puts-disaggregated-inference-into-production-with-gpus/ - TLDR 科技摘要(第三方交叉印证)
https://tldr.tech/story/421042e0-11ca-45bf-9c51-360cfe5999e7