大语言模型

145B 的开源模型塞进了笔记本:每步只算 10B 参数,29GB 内存就能跑,但 48GB 词表得从硬盘现读

2026年11月15日1 次阅读
145B 的开源模型塞进了笔记本:每步只算 10B 参数,29GB 内存就能跑,但 48GB 词表得从硬盘现读

3分钟看懂

11 月 12 日,一家叫 Edge0 的公司开源了两个模型:Edge0-145B 和 Edge0-120B,外加一套自己写的推理引擎和部署工具。官方口径是「全球第一个能在个人电脑上跑起来的 1450 亿参数开源模型」。

这句话的分量不在「145B」,而在「笔记本」。过去两年,能在本地跑的开放权重模型基本卡在 10B 以下——7B、8B、14B,顶到 30B 就开始挑机器。145B 这个量级,此前要么上多卡服务器,要么租云。

Edge0 给的关键数字是:峰值内存 29GB、解码 80+ tokens/s、典型功耗约 120W、上下文 128K 到 256K。

但这里有个必须先讲清楚的矛盾:模型权重文件加起来是 40.8GiB(Q3_K)到 47.8GiB(NVFP4),光专家库就 47.6GB,词表更是 51.2GB。29GB 内存怎么装得下 100 多 GB 的东西?答案是它根本不装——大部分权重躺在硬盘上,用到哪块读哪块。

所以这篇要回答的是三件事:它靠什么把参数量推高一个数量级、这些数字的边界在哪、以及你现在能不能用上。

它到底怎么把 145B 塞进笔记本

官方的说法是把架构、训练、加载、调度四层一起改,而不是训练完再压缩。拆开看是四个动作。

第一,让专家共享大矩阵。 这是个 latent 稀疏 MoE:48 层、每层 512 个专家,每个 token 只路由到 10 个专家加 1 个共享专家。关键在于每 64 个专家共用两个大矩阵(降维和升维),每个专家只保留一小份自己的参数。145B 总参数里,每一步真正参与计算的约 10.12B。专家池按 latent 宽度 1792 存,一个专家的记录固定 1,630,720 字节——这个「定长」是后面能流式加载的前提。

第二,三级存储流水线。 常用的「热专家」常驻显存;约 40GB 的专家库放在系统内存,按需调进显存;约 48GB 的词表数据(一个 51.2B 参数的 n-gram 嵌入表,fp8)直接放 SSD,读的时候和计算重叠,不串行等。

第三,CPU 和 GPU 分工。 GPU 算已经缓存的专家,CPU 并行处理剩下的活。

第四,投机解码。 模型自带一个 1.26B 的 draft 头,一次验证多个候选 token,把「读一次权重」的成本摊到更多输出上。

官方说这套组合让参数量从几十 B 涨到一百多 B,内存、功耗、延迟不用等比例涨。这话在它的模型卡上有一个可验证的版本:在 RTX 5090 D 24GB 上跑 NVFP4 版,开启常驻后实际占用 23.25GiB 显存 + 38.27GiB 主机内存,16K 输入预填充 3165.7 tokens/s,agent 解码 98.3 tokens/s。

官方给的硬指标,和它没说的部分

跑分(全部来自 Edge0 内部评测):

  • DeepSWE 1.1:64.6,Qwen3.8-Flash-Next 58.7,DeepSeek-V4-Flash-0731 54.4
  • Terminal-Bench 2.1:86.52,Qwen3.8-Flash-Next 83.3,DeepSeek-V4-Flash-0731 82.7,Claude-Opus-4.6 (Max) 78.2
  • GPQA-Diamond:90.4,Qwen3.8-Flash-Next 91.7,Claude-Opus-4.6 (Max) 91.3
  • IFBench:80.6;AA-LCR:79.3;HLE:35.4
  • 六项基准平均 72.8

内存对比: Edge0-145B 29GB(实测内部峰值),Qwen3.8-Flash-Next 约 70GB,DeepSeek-V4-Flash-0731 约 87GB,Qwen3.8-27B 约 18GB。

看着很漂亮,但有三处必须打星号:

  1. 所有对手的分数和内存都是「引用值」。 官方原话是「Claude、Qwen、DeepSeek 的结果来自 Edge0 内部评测」,对手的内存数字标着「标准 4-bit 部署的估算,尚未实测」。也就是说,这不是一次同机同条件的横评,而是「我们测的自己」对「别人公开的数字」。
  2. 29GB 不等于 29GB 就能跑。 官方自己在 FAQ 里写的是「兼容的笔记本,至少 29GB 内存」,正文里说的是「48GB 笔记本」。权重在 SSD 上按需读,意味着你需要足够的磁盘空间和不错的 SSD 带宽,否则速度会掉。
  3. 「第一个」是厂商自称。 这个说法来自官方博文,没有第三方审计。按目前公开信息,它确实是已发布的开放权重模型里参数最大、且明确以端侧为目标的一个,但排序类表述建议当宣传语看。

怎么用:两条路,都得先编译

目前没有 pip 安装、没有一键包,官方文档写得很直白:所有平台都要从源码构建。

选构建版本:

  • Q3_K:40.81GiB,支持 Apple Silicon 的 Metal,也能跑 NVIDIA(CUDA 13,Linux / Windows x64 或 ARM64)
  • NVFP4:47.79GiB,只支持 CUDA,也就是 NVIDIA 独显路线

步骤:

  1. 克隆仓库 https://github.com/Edge0-AI/Edge0,分别构建引擎 edge0-strata 和推理端 edge0-infer。
  2. 从 Hugging Face 的 Edge0 组织下载模型文件夹(注意:是 Edge0-145B-NVFP4 这种单模型目录,不是装着多个模型的父目录)。
  3. 命令行起服务:edge0-infer serve --model /path/to/Edge0-145B-NVFP4,看到 Listening: http://127.0.0.1:8000 就是加载完了。
  4. 它直接给出 OpenAI 兼容和 Anthropic 兼容端点,所以现成的客户端、Agent 框架基本改个 base_url 就能接。
  5. 内存紧张时加 --mmap-experts(未缓存的专家从 SSD 现读),或用 --resident-budget-gib 20 --expert-profile <路径> 把主机内存里的专家缓存压到 20GiB。

Windows 用户还有一条省事路:GitHub Releases 里有打包好的 Edge0 Chat 桌面应用,选模型文件夹就能跑。

适用场景

  • 数据不能出内网。 模型跑在本机,核心能力离线可用,官方明确说不需要账号、没有用量配额。
  • 长任务的反复试错。 官方演示的 Blender 建城、写无人机飞控、做 PCB 布局,共同点是要几十轮「规划—写代码—跑—看截图—改」。这类活在云上按 token 计费很贵,本地跑只算电费。
  • 想拿它当基座改。 145B 的开放权重 + 可换词表的 LoRA 路线,适合做垂直领域的本地 agent。
  • 手上有 48GB 级别的统一内存 Mac,或 24GB 以上显存的 N 卡。

不适用场景

  • 想在手机上跑。 官方自己也说了:算力太低的设备跑不动 145B,要么换小模型(它家 35B 是给手机的),要么走云。
  • 要最新信息的任务。 官方承认跨设备长期记忆、需要极新信息的搜索仍然要云服务。
  • 要最省心的生产部署。 现在是「从源码编译 + 自己下上百 GB 权重」,不是企业级交付物。
  • 要明确可商用的法务确定性。 见下一节。

避坑:四个容易踩的地方

第一,许可证不是 OSI 意义上的开源。 代码是 Apache-2.0,但权重走的是自定义的「Edge0 Community Model License 1.0」,底座是 Qwen3.8-Flash-Next,还叠着一层 Qwen Community License。官方在 release-scope.json 里写得很老实:Edge0 只授权「自己拥有或有权授权的部分」,不主张整个模型的所有权;商用要单独联系 [email protected],而且「Edge0 的许可不等于 Qwen 的许可」。

第二,底座是别人的。 模型卡的 base_model 明写 Qwen/Qwen3.8-Flash-Next,而 release-scope.json 里有一行关键的 actual_training_base_revision_verified: false——上游许可证是核对过的,但「训练实际用的是哪个 commit」没有验证。做合规评估时这行要单独看。

第三,速度和内存高度依赖配置。 同一张 5090,Q3_K 和 NVFP4 的预填充差了近一倍(3554.9 对 3165.7);16GiB 显存 + 20GiB 内存的受限配置下,解码掉到 36.8 到 44.9 tokens/s。看到「80+ tokens/s」先问一句:什么机器、什么量化、开没开常驻。

第四,评测条件要等技术报告。 官方说「完整评测设置、硬件环境、复现步骤会随技术报告一起放出」。在那之前,所有横向对比都只能算厂商自测。

成本和时间

  • 模型本身: 免费下载。但文件不小——专家 47.6GB、词表 51.2GB、加上 dense 和骨架,实际要下一百多 GB。
  • 硬件: 官方推荐 48GB 内存级别的笔记本(MacBook Pro 这类)或 24GB 以上显存的 N 卡。这是唯一真金白银的支出。
  • 运行成本: 本地推理没有 token 费,主要成本是电。官方给的典型功耗约 120W,连续跑一小时不到 0.15 度电。
  • 时间投入: 编译两个组件 + 下载上百 GB 权重,第一次部署按半天到一天算比较现实。

顺带说一句对照:官方演示里提到「曼哈顿城市场景」如果外包人工做要约 1.2 万到 1.8 万美元、至少一个月,而云端模型跑同样的活也要 150 美元以上的 token 费。这类对比是厂商自述,但它把「本地推理省的是什么钱」讲清楚了。

行动建议

第一步,先别下权重,先看自己的机器。 打开「关于本机」确认统一内存是否到 48GB,或者确认显卡显存是否到 24GB——这是硬门槛,不够就不用往下走。

第二步,用最小成本验证能不能编译。 只克隆仓库、只构建引擎,不下载模型。这一步跑不通,后面都是白费。

第三步,如果只想试试手感,先在 Windows 上装 GitHub Releases 里的 Edge0 Chat,挑 120B 的 Q3_K 版本。 120B 官方标注同样是 29GB 峰值内存,但下载量更小。

第四步,做商用评估时,把 LICENSE、release-scope.json、third-party/Qwen-LICENSE.txt 三个文件一起读,别只看 model card 上那个 license: other。

参考来源

本文基于多家媒体转述整理,核心数字以官方博文与模型卡为准。

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...