把 HBM 搬到机架外、用光纤接回 GPU:第一台「光子内存柜」发布了,但要等到 2027 下半年
⚙️ 把 HBM 搬到机架外、用光纤接回 GPU:第一台「光子内存柜」发布了,但要等到 2027 下半年
一家公司把「显存不够」这件事,从芯片封装里搬到了机架上:内存做成独立的一柜子,GPU 通过光纤访问它,像访问自己的显存一样。官方给的目标是整机 57.6 Tbps 带宽、每台 16TB DDR5 加 576GB HBM3E。但它 2027 年下半年才开始给客户送样,现在没有价格,也没有第三方实测。
3分钟看懂:它到底是什么
Penguin Solutions 和 Marvell 在 SC26(美国芝加哥的超算大会)上联合发布了一台叫 MemoryAI Photonic Appliance 的设备,两家都发了官方新闻稿,时间是 2026 年 11 月 16 日。
用一句话说:它是一台专门装内存的机柜,通过光纤接到 GPU 服务器上,让 GPU 把机柜里的内存当成自己的显存来用。
为什么这件事值得单独说?因为过去十年,AI 硬件的瓶颈一直在搬:先是算力不够,后来是显存带宽不够,现在轮到了显存容量。而 HBM 这条技术路线的死结是物理位置——HBM 必须放在离 GPU 只有几毫米的地方,容量就被封装尺寸和芯片的 I/O 数量锁死了。你想给一张卡加显存,只能等下一代封装。
这条新闻的做法是绕开这个死结:既然 HBM 不能离 GPU 远,那就把「HBM 级性能的内存」做成独立设备,放在几米之外,用光而不是铜线连回来。
为什么现在需要它:推理的账变了
训练是「把模型塞进去」,推理是「把上下文装进去」。
一个长上下文请求进来,模型要为每一层、每一个 token 缓存 Key 和 Value(也就是 KV cache)。上下文从 32K 涨到 128K 再到 1M,KV cache 的体积是线性甚至更快地涨。一台 8 卡服务器上,模型权重占掉一大半显存,剩下的要装 KV cache,很快就满了。
满了以后只有两个选择:把请求排队,或者把 KV cache 挪到更慢的地方去(内存、SSD),然后每次生成都重新读一遍。前者掉吞吐,后者掉延迟,两个都在烧钱。
Penguin 和 Marvell 在官方稿里把话说得很直:随着负载从训练转向大规模推理和 Agent,内存的容量、带宽、延迟正在变成「token 经济学」的硬约束,单节点的内存需求正从几百 GB 走向 TB 级。
所以这台设备想解决的,不是「算得更快」,而是「同样的电、同样的卡,能不能多吐出 token」。
它由三层组成
理解这台机器,拆成三层最清楚。
第一层:光子内存模组
底层是 Marvell 的 Photonic Fabric 技术——用硅光子把内存控制器和外部世界连起来。Penguin 说他们做的 MemoryAI Photonic Memory Module 是「世界第一个硅光内存模组」,目标是做到 HBM 级性能。
铜线的物理极限很实在:机架内做 scale-up 没问题,一旦超过两米,信号衰减和功耗就顶不住了。而现在的推理 pod 恰恰是多机架的——一个机架做 prefill,一个机架做 decode,一个机架管存储,机架之间要频繁交换 KV cache。HPCwire 的报道里,Marvell 光子系统事业部总经理 Preet Virk 的原话是:「计算的单位是 pod,不是机架。」
第二层:整机
整机就是那台「内存柜」。官方给的目标参数:
- 整机总带宽目标 57.6 Tbps
- 每台最高 16TB DDR5 RDIMM 内存 + 576GB HBM3E
- 通过 CXL 连 CPU,通过光子网络连 GPU,CPU 和 GPU 共享同一个内存池
HPCwire 拿到的工程细节比官方稿更具体:第一代最多支持 16 台设备组网;每台实际配置是 1TB HBM 加 16TB 或 32TB DDR;组网后每台服务器看到的是一块约 32–33TB 的连续地址空间。Virk 的说法是:一张习惯了自己只有 300GB HBM 的 GPU,突然看到 32TB 低延迟内存挂在面前,能做很多以前做不了的事。
注意这里官方稿和媒体采访的数字不一致(576GB vs 1TB HBM、16TB vs 16/32TB DDR),后面「避坑」一节会单独讲。
第三层:两种接入形态
同一套内存,配了两种「接口卡」给客户选:
- PCIe 卡:走标准 PCIe 总线,可插拔光模块,带宽受限于 PCIe,大约 2 Tbps
- chiplet:支持近封装光学(NPO)或共封装光学(CPO),单向最高 7.2 Tbps,延迟约为 PCIe 卡的一半
这条产品设计逻辑很清楚:不想动硬件的客户先用 PCIe 卡试水,愿意激进上光子的客户直接上 chiplet。
怎么用:三种内存模式,选错就白花钱
官方给了三种内存池访问模式,这直接决定了你拿到的是「大」还是「快」:
HBM Direct Mode(HBM 直连模式):只用设备里的 HBM,延迟最低、容量最小。适合延迟敏感、上下文不太长的在线服务。
HBM-DDR5 Cached Mode(缓存模式):HBM 当 DDR5 的写透缓存,GPU 以为自己一直在跟 HBM 说话,实际数据主要落在 DDR5 上。用 HBM 的速度,拿 DDR5 的容量。这是三种模式里最有意思的一种,也是它跟「纯 CXL 扩容卡」的本质区别。
DDR5 Direct Mode(DDR5 直连):纯容量优先,延迟最高。适合离线批处理、长上下文预填充这类「吞吐比延迟重要」的场景。
适用场景:谁现在就该关注
- 长上下文推理服务:上下文 128K 以上、KV cache 撑爆单机显存的
- Agent / 多轮对话产品:会话要保持「热」,缓存不能反复驱逐重建
- 多机架推理 pod:已经在做 prefill/decode 分离,机架间传 KV cache 传得很痛苦的
- 推理集群的容量规划者:正在算「加卡还是加内存」这笔账的
具体的第一步动作:先量一下你现在的 KV cache 峰值占用(不是模型权重),再算「如果上下文翻倍会变成多少」。如果这个数字已经超过单机显存的 50%,这台设备的设计目标就是冲着你来的。
不适用场景:这些情况现在别碰
- 单机小模型推理:7B–30B 级别、上下文 8K 以内,一张卡就够,加这套东西是纯浪费
- 延迟极度敏感的实时推理:光子内存约 190ns,比 HBM 直连的约 90ns 慢一倍多,高频小 batch 场景不划算
- 今年就得上线的项目:2027 下半年才送样,任何 2026 年的排期都不该把它算进去
- 只想省钱、不想改架构的团队:它要求你在网络、CXL、内存管理软件上都动刀
避坑:三处口径打架,一处必须自己验
这是这篇最该看的部分。官方稿和媒体采访稿在几个关键数字上不一致:
第一处,每台的 HBM 容量。 Penguin 官方稿写的是「每台最高 576GB HBM3E」,HPCwire 引 Virk 的原话是「每台 1TB HBM」。差了将近一倍。可能是「最大配置」和「首代展示配置」的区别,也可能是官方稿写的是可用容量、采访说的是物理容量。采购谈判时必须以书面规格为准,别拿新闻稿当合同附件。
第二处,DDR 容量。 官方稿写「最高 16TB DDR5 RDIMM」,HPCwire 写「16TB 或 32TB,取决于配置」。同样的处理方式。
第三处,CXL 版本。 官方稿写 CXL 3.0,HPCwire 写 CXL 3.1。这个差异对兼容性有实际影响,落地前要跟厂商确认。
必须自己验的一处:那 2–5 倍的 token 增益。 这个数字来自 Marvell 自己 AI 团队的白皮书测算,不是第三方实测,也不是客户现场数据。它的前提是「同样的功耗预算下,把受限的显存容量换成大池子」。如果你的负载本来就不受显存容量限制,这个倍数对你一文不值。在看到自己负载的实测数据前,不要把这个倍数写进任何商业计划。
成本与时间:现在一个都答不上
- 价格:官方没有公布,一个字都没有。
- 时间:官方写「计划 2027 年下半年向选定客户送样」。送样不是量产,量产不是可采购。
- 规模上限:第一代最多 16 台设备组网,也就是「几十 TB 到几百 TB」级别的池子,不是无限扩展。
所以这台设备当前的真实状态是:技术路线已明确、整机形态已展出、商业条款全空白。
行动建议
第一步,算你自己的 KV cache 账。 拿现在线上流量跑一遍,量出 P95 上下文的 KV cache 占用峰值,再按「上下文翻倍」推一次。这个数字决定你要不要继续往下看。
第二步,分清「扩容」和「池化」两件事。 同一场发布里,Marvell 和 Penguin 其实给了两条路:一条是用 Structera X 控制器把退役服务器上的 DDR4 内存回收,插进 SMART CXL 卡做直连扩容(PCIe 5.0 / CXL 2.0,今天就能谈);另一条才是这台光子整机(2027 年)。如果你现在就要解决容量问题,第一条是能落地的;第二条是路线图。
第三步,把「延迟预算」写进评估表。 光子内存 190ns 对比 HBM 直连 90ns 的差距,在小 batch、高频调用的服务里会被放大。评估时不要只看容量和带宽,要拿真实请求链路跑一遍端到端。
第四步,盯 2027 年上半年的流片与送样节点。 这类设备的真实成熟度,看两个信号:有没有独立第三方(比如 MLPerf 或客户公开案例)的实测,以及首代 16 台组网的规模有没有被突破。
一句话总结
这条新闻的价值不在参数,在于它承认了一件事:HBM 贴着 GPU 放的时代,容量已经到顶了,接下来的竞争是把内存搬出去、把光连进来。 至于这台机器本身,2026 年它还只是一台展台上的样机。
参考来源
- Penguin Solutions 官方新闻稿(2026-11-16,BusinessWire 发布)
https://ir.penguinsolutions.com/news/news-details/2026/Penguin-Solutions-Unveils-Industrys-First-Photonics-Based-HBM-Class-Memory-Appliance-to-Break-the-GPU-Memory-Wall-for-Agentic-AI/default.aspx - Marvell 官方新闻稿(2026-11-16,Santa Clara)
https://www.marvell.com/company/newsroom/marvell-penguin-solutions-data-center-ai-memory-inference.html - HPCwire 报道(2026-11-16,Alex Woodie 署名,含 Preet Virk 采访)
https://www.hpcwire.com/2026/11/16/marvell-and-penguin-launch-photonics-memory-appliance/ - Pause Hardware 报道(2026-11-16,法语)
https://pausehardware.com/memoryai-penguin-memoire-gpu-photonique-hbm/ - Investing.com 报道(2026-11-16)
https://uk.investing.com/news/stock-market-news/penguin-solutions-unveils-photonicsbased-memory-appliance-93CH