此芯科技发布AGX X2边缘推理平台:一台盒子本地跑122B大模型,能耗还降一半
> 9月18日,国产芯片公司此芯科技在深圳的客户大会上正式发布了AGXcelerator——AGX X2平台。这是一个专为"边缘推理"打造的AI计算平台:不用云端数据中心,在本地设备上就能跑从70亿到1220亿参数的大模型,而且官方称单Token能耗比行业水平低一半以上。
核心亮点
- 算力:80至300 TOPS端侧峰值算力
- 模型:原生支持7B至122B参数大模型推理
- 内存:64至160GB LPDDR5X统一内存
- 能耗:单Token能耗较行业水平降低50%以上,官方称是国产唯一实现"能耗减半"的方案
这是什么?
简单说,AGX X2是给AI智能体(Agent)准备的"本地大脑"。现在大部分AI应用都要把请求发到云端服务器,等网络往返才有响应。而边缘推理的意思是:把算力放在你身边的设备里——桌面主机、家用服务器、甚至一台AI NAS——让AI直接在本地思考。
此芯科技在9月18日以"智汇芯力 共筑未来"为主题的2026客户大会上发布这套平台,同时联合生态伙伴展示了多款基于其SoC的终端产品和行业方案。
为什么重要?
边缘AI设备过去有三个绕不开的门槛,AGX X2平台针对性给出了系统解法:
| 行业门槛 | AGX X2的解法 |
|---------|-------------|
| 边缘设备跑不动大模型 | 高算力 + 最高160GB大内存,7B到122B参数模型都能原生推理 |
| 内存带宽不足 | 高带宽LPDDR5X统一内存,CPU与NPU共享同一块内存 |
| 功耗散热受限 | 先进制程工艺 + 异构调度,单Token能耗降低50%以上 |
对于想在本地方便地跑大模型的用户来说,这意味着一个现实的选择:不用几万块买顶配GPU,一台基于AGX X2的桌面设备就有机会承载百亿参数级模型的日常推理。
开放生态是另一个卖点
AGX X2把自己定位成"开放AI超级计算平台":兼容多家国产AI加速卡、GPU卡、VPU卡,支持XPU级联拓展算力。也就是说,算力不够时可以插卡扩展,而不是整个平台推倒重来。
软件层面,此芯自研的Agentic OS采用"一套操作系统、两端协同"的模式:服务端与客户端端云协同,通过模型即服务(MaaS)实现Token的统一生产与计量。
都能用在哪?
- 家庭智能体AI中枢:融合计算、存储与全屋智能的家用AI主机
- 个人AI超算/办公智能体主机:三种部署模式覆盖办公与娱乐
- 桌面超算、智能制造、阵列服务器、智能座舱、具身智能等边缘场景
整体思路是"端侧实时推理—边缘聚合算力—云端训练迭代"的协同闭环,为需要本地化、低延迟、隐私合规的场景提供算力服务。
写在最后
在智能体(Agent)应用爆发的当下,"AI算力往边缘走"正在成为明确趋势。此芯科技的AGX X2能不能真正打开市场,还要看后续终端产品的落地速度和生态成熟度,但"国产平台本地跑122B模型、能耗减半"这张参数表,已经足以让行业认真看一眼了。
---
*本文基于多家媒体转述整理,信息以官方发布为准。*
来源:
- 凤凰网科技:此芯科技2026客户大会成功举办 携手合作伙伴共筑智能体开放算力底座 — https://tech.ifeng.com/c/8wZhuoy5djU