国产LPU首秀：寒序科技发布uHBM/uLPU推理架构，权重不搬家，片内带宽冲到24TB/s
大模型推理芯片赛道杀出一个新名字。据多家媒体近日报道，北大孵化的芯片公司寒序科技公布了一套名为 uHBM 和 uLPU 的推理计算架构：把模型权重"钉"在芯片内部，取消每生成一个字都要搬运一遍权重的环节，片内权重读出带宽的设计值高达 24TB/s。这家公司定位为"国产 LPU"，验证芯片 SpinPU-ED01 已经回片并通过测试。本文基于多家媒体转述整理，非官方白皮书解读，具体参数以官方后续披露为准。
老问题：推理的速度卡在"搬权重"上
先解释一下背景，这事才好懂。大模型生成分两段：Prefill（读你的输入）和 Decode（一个字一个字往外吐）。Decode 阶段每吐一个 token，芯片都要把整套模型的权重从显存里搬进计算单元走一遍——不是搬一部分，是整套。模型越大、生成越长，这个搬运就做得越频繁。
所以推理速度的瓶颈往往不在算力，而在"搬运的路有多宽"，也就是显存带宽。这也是为什么 GPU 厂商拼命堆 HBM（高带宽显存），为什么 HBM 一缺货、一涨价，整个行业都跟着紧张——前段时间站内也写过 HBM 把消费级显卡产能都虹吸走的事。
过去十年的主流思路是"把路修宽"：DDR、HBM2、HBM3E……路越修越宽，也越修越贵。寒序提出了另一个方向的问题：如果权重根本不用反复搬运呢？
寒序的答案：权重常驻片上，24TB/s 从"路宽"变成"布线问题"
寒序科技 2023 年 8 月成立，由北京大学应用磁学中心孵化，是国内最早做 MRAM 磁计算的一批团队。他们公布的 uHBM 架构，核心是把 Persistent MRAM（一种断电后数据不丢失的磁性存储器）和矩阵-向量计算单元做在同一颗芯片里。
具体来说：模型加载一次之后，权重就长期驻留在计算单元旁边。每轮 Decode 只需要把低维的激活向量"流"进芯片，权重读取、乘法、归约全在同一片硅上完成。这样一来，"带宽"这个指标就从芯片之间的总线问题，变成了芯片内部的布线问题——首代 uHBM 给出的片内权重读出带宽设计值是 24TB/s，这个量级在片外总线上短期是看不到的。
SpinPU-ED01 已回片：验证芯片跑出了什么
架构之外，寒序也给出了已落地的实证：验证芯片 SpinPU-ED01 已经完成流片并回片测试。公开材料给出的参数包括 120 个 MRAM Bank，实测片内访存带宽密度 0.105TB/(mm²·s)，通过了第三方检测，并完成了 24 小时连续稳定运行。
注意这里的层次：验证芯片的带宽密度是实测值，而 24TB/s 和后面说的 2000 Tokens/s 都是架构设计值，要等首代完整工程产品回片才能验证。这个区别在国产芯片的报道里经常被抹平，本文特意把两者分开写。
uLPU 的布局：端侧盯机器人，云端靠堆叠扩容量
基于 uHBM，寒序推出 uLPU 及其扩展形态，端到云两条线：
- 端侧（uLPU Edge）：面向 4B 参数规模的多模态主干模型，Decode 阶段目标超过 2000 Tokens/s，与 NPU 协同工作，瞄准机器人和具身智能场景——对实时交互的机器人来说，思考延迟直接决定动作是否自然。
- 云端（uLPU Cloud）：单颗芯片装不下的模型，靠 UCIe 芯片间互连和 112G/224G SerDes 把多颗芯片连起来，用堆叠换容量，最终组成机架级推理系统。产品路线从 uHBM-Die、uLPU-Chip、Module 一直铺到 2U Tray 和整机 Rack。
为什么是 4B 这个数字？权重常驻片上的前提是片上装得下。粗算一下，4B 参数按 INT8 存放约 4GB，已经接近当前工艺下单颗芯片能塞进的量级。所以这条路线天然先指向端侧和小模型，这是它的边界，也是它的清醒之处。
冷静看待：设计值和量产之间还有距离
给想跟进的读者三个判断坐标：
- 设计值≠实测值。24TB/s 和 2000 Tokens/s 目前都是架构设计值。历史上从设计值到量产实测，折扣从三成到七成的例子都有，答案要等首代产品回片。
- 每一步都要重新解工程题。片间扩展的每一级都要解决互连损耗和散热，这是所有存算一体路线的共同考验。
- 时机确实是好的。HBM 产能被几家大厂锁死、国内厂商拿货困难，绕开 HBM 做推理是明确的需求。Groq 用 SRAM 换掉 HBM 走通过一次，代价是单卡容量小、要靠大量组卡。MRAM 的密度比 SRAM 高，理论上单片能装更多权重——这是寒序和 Groq 路线的分野所在。
对普通读者来说，这件事的意义不在"又一家国产芯片发布"，而在于：当 HBM 成为全球 AI 扩张的卡脖子环节时，确实有团队在用完全不同的架构思路绕开它。这条路线能不能兑现，接下来两年看量产和客户验证就知道了。
---
*本文基于多家媒体转述整理，参考来源：CocoLoop、AIGC.BAR（均转引寒序科技公开技术材料、科创板日报、快科技）。关键参数中，片内带宽与 Decode 吞吐为架构设计值，SpinPU-ED01 带宽密度为实测值。*