把 DRAM 直接叠到计算单元上:深圳迈特芯的端侧协处理器点亮了,5 瓦跑 Qwen3-8B 约 80 tok/s,但量产要等到 2027 年第一季度
过去两年,端侧跑大模型的叙事一直卡在一个很朴素的问题上:模型放得下,但出词太慢。原因不在算力,而在数据搬得太远——模型权重存在内存里,每生成一个词元都要把几十亿个参数重新读一遍,内存和计算单元之间那条通道就成了瓶颈。业内管这叫"内存墙"。
深圳一家叫迈特芯(MetaChip)的公司给出的方案是:别再把内存放在板子另一头,直接把它叠到计算单元上面。11 月 18 日,在 ICCAD-Expo 2026 开幕前夕,迈特芯在北京亦庄办了 MEGA188 芯片点亮发布会——所谓"点亮",是指流片回来的芯片第一次上电跑通。这颗芯片是 3D DRAM 加分布式 TPU 的堆叠结构,官方标称峰值内存带宽 600GB/s,功耗在 5 瓦级,跑 Qwen3-8B 大约 80 tok/s。
需要先说清楚一件事:以上性能数字全部来自厂商公布,包括发布会现场和官网材料,目前没有第三方独立实测。本文基于官方发布及多家媒体转述整理(迈特芯官网、智东西/芯东西深度报道、AI123 转述 IT 之家)。
3分钟看懂:先讲结论
- 它是什么:一颗端侧大模型协处理器,不是 GPU,也不是传统 NPU。它不自带主控,通过 M.2 或 PCIe 挂到设备已有的主控上,专门负责大模型推理和权重驻留。
- 它赌的技术路线:3D 堆叠 + 混合键合(Hybrid Bonding)+ TSV,把 DRAM 垂直叠在逻辑芯片上,把"内存到计算"的距离从板级缩短到芯片内部。
- 官方给的带宽和功耗:600GB/s 峰值带宽,5 瓦级功耗模式;官方另称全芯片功耗约 10W,无风扇被动散热即可稳定运行。
- 官方给的性能:Qwen3-8B 接近 80 tok/s,首字延迟低于 200 毫秒;面壁智能 MiniCPM5-2B 约 293 tok/s。
- 工艺:国产 28 纳米,芯片面积约 100 平方毫米。这条路线刻意绕开了先进制程和 HBM。
- 什么时候能买到:官方规划 2027 年第一季度量产。现在处于样品交付和工程验证阶段。
端侧真正的瓶颈不是算力,是带宽
先把"内存墙"讲明白。大模型生成文字是一个词元一个词元往外吐的,每吐一个,都要把当前层用到的权重从内存里读进来算一遍。计算单元再快,如果数据送不过来,也只能干等。所以决定出词速度的,是"每秒能把多少模型数据送到计算单元",而不是"每秒能做多少次乘加"。
迈特芯在发布会上给了一个换算口径:要让 GB 级参数量的模型在端侧跑到约 100 tok/s,需要大约 600GB/s 的带宽。这个数字大致相当于桌面级独立显卡的显存带宽水平,而在笔记本、AI Box、机器人这类设备上,功耗和散热预算根本容不下那样一张卡。
传统 2D 方案靠封装接口把逻辑芯片和内存连起来,要提高带宽就得加接口数量和外围电路,功耗和成本跟着涨。3D 堆叠换了个思路:把内存直接叠在逻辑芯片上,用 TSV 打穿、用混合键合把两层金属直接对接,数据传输不用再出芯片。
代价是工程难度。迈特芯创始人余浩在接受智东西采访时提到,混合键合和 TSV 都会占用芯片面积,还会影响逻辑电路的布局布线,物理设计问题需要多轮调整才能收敛。MEGA188 把芯片面积控制在约 100 平方毫米、平均功耗 5—10W,散热、翘曲和良率的压力相对可控——这也是它敢用 28 纳米的原因:不追先进制程,用架构换性能。
计算侧怎么配合:分布式张量脉动阵列
只有高带宽不够,还得让计算阵列吃得下这些带宽。MEGA188 用的是迈特芯自研的"3D 分布式 TPU"架构:处理单元通过 3D IO 与内存直接互联,形成网格化的分布式访存结构,数据切分后送进不同处理单元并行计算,最后汇总。
计算单元本身是张量脉动阵列,靠数据复用减少重复读取——同一份数据参与多次运算,就不用反复从内存里取。针对 Transformer 里大量存在的矩阵乘和矩阵向量乘,这种数据流能让带宽和算力更匹配。
迈特芯称其分布式张量脉动架构能做到约 80% 的带宽利用率。按 600GB/s 峰值算,有效带宽约 480GB/s。这个换算值得留意:它是理论折算,不是第三方测出来的实际有效带宽。
实测数字,以及这些数字的边界
发布会和官网给出的测试结果如下,全部为厂商口径:
- Qwen3-8B:高性能模式接近 80 tok/s;低功耗模式约 26 tok/s;首字生成延迟低于 200 毫秒。
- MiniCPM5-2B(面壁智能):高性能模式约 293 tok/s;低功耗模式约 92 tok/s。
- Qwen3-VL-2B(视觉语言模型):高性能模式约 290 tok/s;低功耗模式约 32 tok/s。
- Qwen3-30B-A3B(MoE):单卡约 19 tok/s;多卡并联约 80 tok/s。
这些数字的边界要讲清楚:一是没有说明测试用的主控平台、内存配置、batch size 和精度设置,二是没有第三方复现。对比时可以参照的公开事实是,2024 年迈特芯在约 1TOPS 的 FPGA 平台上跑 60 亿参数模型,输出 70—80 tok/s,架构利用率约 80%——这说明 80 tok/s 这个量级不是凭空出现的,但 FPGA 验证和 ASIC 量产是两回事。
值得单独提一句 MoE 那条:30B 级 MoE 单卡只有约 19 tok/s,多卡并联才到约 80 tok/s。这说明"跑通 3B 到 120B 模型"里的"跑通",在大模型那头更多依赖多卡和外部存储,不是单卡硬扛。
它不替代主控,而是插上去
这是 MEGA188 产品定义里最实在的一点。端侧设备已经有成熟的主控——x86 或 ARM,配操作系统和应用生态。迈特芯没打算换掉这套东西,而是让 MEGA188 通过 M.2、PCIe 等标准高速接口接进去:主控负责系统调度和传感器接入,MEGA188 专注大模型推理和权重驻留。
对存量设备,这意味着可以用标准接口加速卡的方式升级,不用重新设计主板;对下一代 PC 和笔记本,可以在板级直接集成一颗或多颗。通过 PCIe Switch,还能从单卡扩到双卡、四卡,算力和带宽随终端档位往上加。
另有一条 SSD 组合方案:主机 SSD 存放完整的 MoE 专家权重,3D DRAM 里只放每层激活的专家;推理时如果所需专家不在 3D DRAM,就从 SSD 读进来再算。3D DRAM 在这里扮演高带宽缓存的角色,SSD 补足模型容量——不用把所有参数都塞进昂贵的片上存储。官方称这套单卡方案已经跑通 30B 级 MoE,面向 120B 及更大模型的多卡和分布式 SSD 方案还在验证。
进度条是真的,但也只到"点亮"
把时间线摊开看,会清楚很多:
- 2026-10-14:芯片回片,当天约半小时内完成 SoC 点亮。
- 2026-10-19:打通 PCIe 链路,主控可正常识别与通信。
- 2026-10 月底:完成 3D DRAM 在已测范围内的读写验证,核心算子功能与数值精度跑通。
- 2026-11-02:MEGA188 获 2026"中国芯"芯火新锐产品奖(背景信息)。
- 2026-11-18:北京亦庄点亮发布会,首次公开模型实测数据;现场与北京博大网通签署战略合作协议。
- 2026-11-19 18:00:官网发布《里程碑进展》稿;同日智东西发出深度采访。
- 2027 年 Q1:官方规划的量产时间点。
请注意"点亮"在半导体行业的准确含义:它证明芯片能上电、能通信、能算、能读写堆叠存储,是流片成功的关键节点,但它不等于量产,也不等于客户能稳定拿到货。中间还隔着可靠性验证、工具链完善、主控适配和良率爬坡。
已知与未知
已经明确的:
- 架构路线(3D DRAM + 分布式张量脉动 TPU)、工艺(国产 28nm)、面积(约 100 平方毫米)、功耗(平均 5—10W,另有"全芯片约 10W"口径)、内存配置(2/4/8GB)、峰值带宽(600GB/s)、算力(10 TOPS,FP16/INT4)。
- 接口形态(M.2 / PCIe,可扩至四卡)、与 SSD 组合的 MoE 方案。
- 已导入场景(厂商口径):具身智能、智慧教育、工业边缘计算、车载电子。
- 客户成本口径:余浩称,整机增加约 1000—2000 元,就能让终端具备运行本地智能体的能力。
还没公布的:
- 具体售价、单卡功耗的最终规格、量产良率。
- 客户名单与出货量。官方只说"首批客户导入",没有一家具名终端厂商确认。
- 第三方实测数据、完整测试条件。
- 软件栈的成熟度:推理引擎要同时适配 LLM、VLM、MoE、VLA,还要支持分布式并行,这部分工作量通常被低估。
对谁有用
- 在做 AI Box / 迷你主机 / NAS 的硬件团队:M.2 或 PCIe 插卡形态意味着不用重做主板,可以先做小批量验证。
- AI PC 与笔记本的产品定义方:如果整机加 1000—2000 元能换来本地跑 8B 级模型的能力,这是一条可算账的差异化卖点。
- 具身智能与工业边缘设备厂商:本地推理、低功耗、无风扇,这三条比峰值算力更重要。
- 关注国产供应链的人:28nm 全国产工艺 + RISC-V 控制核 + 标准接口,是一条明确绕开先进制程和 HBM 的路线,值得作为样本观察。
不适用场景
- 要跑前沿大模型训练:这是推理协处理器,跟训练无关。
- 需要单卡跑 70B 以上稠密模型:8GB 片上存储装不下,得靠多卡和 SSD 方案,而那部分还在验证。
- 要求当下就能批量出货的项目:量产规划在 2027 年 Q1,现在没有货。
- 需要 CUDA 生态的场景:这条路线走的是自研架构加自研工具链,迁移成本要自己评估。
- 对第三方性能背书有硬要求:目前所有性能数字都是厂商自测。
怎么用:如果你在评估这条路
- 第一步:先算带宽账,不要先算算力账。拿你要跑的模型参数量和目标 tok/s,反推需要多少有效带宽。比如 8B 模型想跑到 80 tok/s,粗算需要的带宽量级就在 500GB/s 上下——这决定了 3D 堆叠是不是必要。
- 确认接口和主控兼容性。M.2 的通道数、PCIe 代数和 lane 数直接决定实际能跑出多少带宽,这是最容易在选型阶段踩空的地方。
- 要求厂商提供带测试条件的实测报告。重点问:主控平台是什么、精度是什么、batch 多大、是首 token 还是稳态 tok/s、连续跑 30 分钟会不会降频。
- 把工具链纳入评估。芯片能跑模型不等于你的模型能跑——算子覆盖、量化支持、编译流程,这些决定实际落地周期。
- 小批量先行。样品阶段先拿一两张卡做端到端验证,别直接进量产 BOM。
避坑:六个容易读错的地方
- "点亮"不是"量产"。点亮只证明芯片能跑通,离稳定供货还有可靠性、良率、工具链三道关。
- 80 tok/s 是对 Qwen3-8B 的高性能模式。低功耗模式只有约 26 tok/s,选型时别把两个数字混着用。
- 600GB/s 是峰值带宽,不是有效带宽。按官方 80% 带宽利用率折算约 480GB/s,实际还要再打折。
- "跑通 3B~120B 模型"里的 120B 靠的是多卡和 SSD。单卡 8GB 片上存储装不下,这个区别很关键。
- 5W 和 10W 是两个不同口径。5W 是低功耗模式,另有"全芯片功耗约 10W""平均功耗 5—10W"的说法,做散热设计要按最保守的那个取值。
- 1000—2000 元是"整机增加成本"的客户口径,不是芯片售价。官方没有公布芯片单价。
成本与时间预估
- 时间:量产规划 2027 年 Q1;从点亮到量产通常还要 2—4 个季度做可靠性与良率爬坡,这个区间是行业惯例,不是官方承诺。
- 成本:官方只给了客户端口径——整机增加约 1000—2000 元。按这个反推,一颗协处理器加上外围(供电、散热、PCB 改动)大致落在这个区间内,但芯片单价、样片价格、NRE 费用都未公开。
- 隐性成本:软件适配。推理引擎要覆盖 LLM / VLM / MoE / VLA 并支持分布式并行,如果你的模型有自定义算子,适配周期要单独排。
一句话总结
MEGA188 的价值不在于它比谁快,而在于它示范了一条不依赖先进制程和 HBM 的端侧高带宽路线:用 3D 堆叠把内存搬到计算单元头顶,用 28nm 控制成本,用协处理器形态绕开主控替换。现在它跨过了"能跑"这道门,接下来要跨的是"能量产"和"有人愿意买"这两道门——而这两道门,官方给的时间是 2027 年第一季度。