百度开源 280B 的「预训练半成品」：ERNIE 5.5 Flash Base 每 token 只激活 14B，但自己跑起来要 288GB 显存

3分钟看懂：一句话结论

11 月 5 日，百度把 ERNIE 5.5 Flash Base 的权重挂上了 Hugging Face。这是一个 280B 总参数、每 token 只激活 14B 的稀疏 MoE 模型，用了 33.5 万亿 token 从零预训练。

但它不是能直接聊天的模型。官方说得很清楚：这次放出来的是「预训练终点的 checkpoint」，没有做过中训练，也没有做过后训练。它更像一块打好的地基——你要盖什么楼，自己接着训。

所以这篇不谈「百度又发了个大模型」，而是讲三件实用的事：这个 Base 权重省在哪、它到底能不能用、以及那份许可证里有哪些容易被忽略的条件。

四个关键数字：

• 280B 总参数 / 14B 激活参数（512 选 10 的专家路由）
• 33.5T tokens 预训练，训练上下文 128K，微调与推理支持 1M
• 288GB（FP8）/ 573GB（BF16）——这是你要下载和装进显存的体积
• 商用分界线：年相关收入 5000 万美元

发生了什么

11 月 5 日，百度文心团队在官方博客发布 ERNIE 5.5 Flash Base，同时在 Hugging Face 上放出 FP8 与 BF16 两版权重，许可证是自订的《ERNIE 5.5 Flash Base Model License Agreement v1.0》，release date 写的也是 2026 年 11 月 5 日。

配套动作还算完整：

• 推理侧，官方说 SGLang 与 vLLM 都能通过 completions API 直接起服务；
• 训练侧，NVIDIA 的 Megatron-Bridge 仓库里已经有 ernie55 的示例目录；
• 技术细节给了不少，注意力、MoE、输出头、预训练数据配比都写了，还附了三篇自家论文（Virtual Head Attention、Multi-View MoE、ECHO）。

这件事值得单独写，是因为它和最近几天的「发模型」不太一样。Kimi K3.1 Pro、混元 Hy4 放出来的都是能直接对话、能打榜的成品；百度这次放的是训练链条中间那一段，而且明确说了「经过后训练的 ERNIE 5.5 Flash 将随后推出」。

行业媒体侧的报道口径基本一致：新华网、第一财经、IT之家都在 11 月 5 日当天发了稿，核心参数（2800 亿总参数、140 亿激活、33.5 万亿 tokens、128K 训练 / 100 万推理上下文）与官方发布页完全对得上。下文的技术判断以官方博客与模型卡为准，媒体部分为交叉印证。

「Base」到底是什么，为什么不能直接拿来用

预训练干的事，是让模型学会「下一个 token 该是什么」。它读完 33.5 万亿 token 之后，确实掌握了大量知识和语言规律，但它没学过「怎么回答问题」。

举个具体差别：

• 你给它一段话，它能非常自然地续写下去——但可能续成另一篇文档，而不是回答你；
• 它不知道什么时候该停，因为没人教过它「答完就结束」；
• 它不会按指令格式输出，也不会拒绝不当请求，因为这些都属于后训练阶段的事。

百度自己在博客里给的定位是：可作为领域适配、指令微调和强化学习研究的共同起点。也就是说，买它的人是「要拿它接着训」的人，不是「要拿它做客服机器人」的人。

还有一个非常具体的坑：模型卡写明 Base 模型要求每条输入以 BOS token 开头，分词时必须保持 add_special_tokens=True。这行字看着不起眼，但漏了它，输出质量会莫名其妙地差，而且报错信息不会告诉你原因。

省在哪：这代架构几乎每一处都在算「激活成本」

官方的设计主线就一个字：效率。拆开看有四个值得说的点。

43 层里只有 6 层看全上下文

模型是 43 层 Transformer，hidden size 4096，64 个注意力头。关键在于注意力不是同构的：

• 每 7 层里只有 1 层做 token 级全上下文访问，这 6 层用 MLA（多头潜在注意力），并且在层内再叠一层稀疏注意力——一个轻量 indexer 给历史位置打分，核心注意力只在 top-k 上算，于是每个 query 的注意力开销不再随上下文线性增长；
• 其余 37 层用 HCA（重度压缩注意力）：每 128 个 token 压成一条缓存条目，只对压缩条目加最近一小段未压缩窗口做稠密注意力。官方说这样只需全上下文层 KV cache 的一小部分，就能保住全局视野。

头维度也按层分配：计算量小的 HCA 层用 512 维宽头（压缩后序列短，宽头几乎不额外花钱），计算量大的 MLA 层用 256 维窄头。这种「按算力配形状」的做法，是长上下文能压到 1M 的直接原因。

512 个专家选 10 个，而且在隐空间里算

除第一层外每层 FFN 都是 MoE：512 个路由专家选 10，外加 1 个共享专家，负载均衡用无辅助损失的 bias 修正。

真正的省法在于「隐空间专家」：token 先由 4096 维投到 2048 维，专家在这个窄空间里算，最后经一次共享上投影投回。官方给的数字是 dispatch/combine 通信量与专家 FLOPs 大约减半。

路由还用了多路由器的做法（Multi-Router，官方对应论文叫 Multi-View MoE）。动机很实在：单路由器打的分和专家实际效用只是弱相关，中深层尤其明显，而被落选的专家拿不到梯度，选错一次就会自我强化。多个独立初始化的 sigmoid 路由器一起打分后，偏好会分化，容错空间变大，而激活专家数与 FLOPs 不变。

输出头用分段温度，替掉 MTP 模块

MultiMax 输出头解决的是一个老矛盾：温度调低，分布变稀疏但会连合理候选一起压掉；温度调高，能保多样性但长尾噪声也上来了。MultiMax 用可学习的分段温度，在 softmax 之前逐元素调制 logits，官方说训练开销可忽略、不增加显存，但预训练 loss 明显下降。

更值得看的是 ECHO 取代了 MTP 模块。常规 MTP 是在主干上外挂一个 Transformer 专门预测未来 token，多步损失主要监督那个外挂模块，主干本身还是只服务下一个 token。ECHO 直接复用主干最后一层做未来预测，多步损失直接作用在「生成下一个 token」的那批参数上，逼主干提前规划后续展开。额外的好处是：这一层可以当投机解码的草稿模型用，只训了一步，多步起草质量却明显优于辅助 MTP。

成绩单：同尺寸 Base 里领先，但四项输了

官方选的对照组是同规模最新开源 Base：DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）。四家都用各自公开的 checkpoint、同一套评测框架、相同 prompt 与 few-shot，主观题用同一个裁判模型。

能看到两个方向：

赢的地方赢得很清楚。 MMLU-Pro 领先第二名 9.2 分，GPQA 领先 4.3 分，LiveCodeBench 领先 6.6 分，RepoQA 91.7 对 81.0。这些恰好是「推理 + 代码 + 仓库级理解」——和它在数据配比上重点建设代码仓库演化数据（commit、issue、PR、CI 验证过的修复）是对得上的。

输的地方也很具体。 中文事实题 ChineseSimpleQA 73.0，低于 DeepSeek 的 75.3；重排 HELMET-Rerank 56.2，低于 DeepSeek 的 60.0；超长上下文 InfiniteBench 46.5，低于 DeepSeek 的 48.0；FullStackBench 54.6，低于 Hy3 的 56.7。也就是说，它在中文细粒度事实、检索重排、极限长度这几块并没有全面碾压，甚至有一项落后同门上一代。

这里要提醒一句：以上全部是厂商自测。优点是把评测条件（同一框架、同一 prompt、同一裁判）交代得比较清楚，比只丢一张分数表可信；但它终究没有第三方复现。

想自己跑：先看看显存和硬盘

Hugging Face 上的实际体积是这样的：

• FP8 权重仓：总参数 286,245,697,882，文件总量约 288GB
• BF16 权重仓：存储体积约 573GB

这意味着什么，直白点说：

• 288GB 装得下 4 张 H200（141GB×4）或 8 张 H100（80GB×8），但这是纯权重，还要给 KV cache 和激活留余量。按体积推算，8 卡 80GB 这一档属于紧巴巴能用，不是宽裕；
• 消费级完全没戏。4 张 RTX 5090 加起来 128GB，连 FP8 权重都放不下；
• 下载本身就是个工程问题。573GB 的 BF16 版本，家里千兆宽带满速也要跑一个多小时，中间断一次就要处理分片续传。

比较现实的三种用法是：租 8 卡 H100/H200 的云实例按小时算；用 FP8 版本在 4 卡 H200 上做微调研究；或者干脆不下载权重，等后训练版 ERNIE 5.5 Flash 出来走 API。

许可证里有三个容易被忽略的条件

这份自订许可证不是 Apache 2.0，也不是纯研究许可，它有明确的分层。读的时候有三处必须看清。

一、5000 万美元是条硬线

• 非商业用途：免费，不需要通知；
• 商业用途且年相关收入 ≤ 5000 万美元：免费，但要满足两条——产品里显示「Powered by ERNIE」，并且在首次商用前发一封一次性使用通知到 [email protected]。通知发出后不必等回复即可开始用；
• 年相关收入 > 5000 万美元：必须事先拿到百度的单独书面授权才能用。收入在使用过程中涨过线，也要在越线前联系，越线后未获授权的部分必须暂停。

「相关收入」的定义很宽：只要产品用了这个模型，整个产品的收入都算进去，不是按调用比例折算。关联公司（直接或间接持股超 50%、或同一控制）要合并计算。

二、授权地域不含欧盟、英国、韩国

许可证的 Territory 定义是「全球除欧盟、英国、韩国以外的所有地区」，并且明确规定：在这些排除地区使用、复制、修改、分发或展示模型、衍生模型及其输出，都不在授权范围内。

对一个国内团队影响不大，但如果产品要上欧洲市场，这条会直接卡住。

三、不能用它的输出去训练别家模型

第 5.5 条写得很直接：不得使用该模型、衍生模型或其输出/结果去改进任何其他 AI 模型或机器学习系统——自己的衍生模型除外。

换句话说，拿它合成数据去喂一个自研小模型，属于违约；拿它的输出继续训它自己或它的衍生模型，是允许的。这条比很多开源许可证严，做数据蒸馏的团队要提前评估。

另外还有一条常规但值得注意的：许可证不附带任何推理服务、算力、训练、部署、技术支持或未来版本的承诺。想要这些，要另签。

怎么用：三条路径，按你的目的选

路径一：只想知道它强不强 —— 不下载，看数据

官方发布页有完整评测表（30 项 benchmark、四大对照组），模型卡有部署代码。判断「值不值得投入」这一步，读文档就够了，不需要动硬盘。

路径二：要接着训 —— 走 BF16 + Megatron-Bridge

`python from transformers import AutoModelForCausalLM, AutoTokenizer import torch

model_name = "baidu/ERNIE-5.5-Flash-Base-BF16" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.bfloat16, device_map="auto" ) inputs = tokenizer(["ERNIE 5.5 Flash 的混合注意力结构"], add_special_tokens=True, return_tensors="pt").to(model.device) print(tokenizer.decode(model.generate(**inputs, max_new_tokens=256)[0], skip_special_tokens=True)) `

微调训练用 NVIDIA-NeMo/Megatron-Bridge 的 examples/models/ernie55 目录，那里有现成的并行配置。

路径三：要起服务 —— vLLM 或 SGLang 都行

官方说两者都能通过 completions API 提供服务：

`bash vllm serve "baidu/ERNIE-5.5-Flash-Base" `

但再强调一次：这是 Base 模型，起服务只能验证「续写能力」和「部署链路通不通」，不能指望它有像样的对话表现。

适用场景

• 做领域继续预训练：手上有大量行业语料（医疗、法律、金融研报），想在通用底座上接着吃数据。33.5T 的预训练打底，比自己从零训便宜几个数量级。
• 做强化学习 / 推理能力研究：权重干净、没经过后训练，正好当 RL 的起点，不会被前面的指令微调污染行为分布。
• 做架构复现与消融：混合注意力、潜空间 MoE、MultiMax、ECHO 这几处都有论文和实现细节，是少见的「结构写得比分数还细」的发布。
• 做代码 Agent 的基座：RepoQA 91.7、LiveCodeBench 40.1 在同尺寸 Base 里领先，仓库级理解是它的强项。
• 教学与基准复现：想验证「同尺寸 Base 到底差多少」，它给了一张能对齐条件的表。

不适用场景

• 想直接做聊天产品或客服机器人：没有 SFT，输出不可控，得先自己做指令微调。
• 单卡或消费级显卡部署：288GB 起步，2 张 4090 想都别想。
• 中文细粒度事实问答：ChineseSimpleQA 落后 DeepSeek V4 Flash Base，这类任务它不是最优选。
• 需要极限长上下文检索重排：HELMET-Rerank 与 InfiniteBench 都输给同尺寸对手，「支持 1M」不等于「1M 上都强」。
• 想拿它合成数据训自家别的模型：许可证第 5.5 条禁止。
• 面向欧盟/英国/韩国市场的商用产品：不在授权地域内。

避坑

1. 把 Base 当成品用。这是最常见的误解。看到「280B、开源、1M 上下文」就以为能对标成品模型，实际第一句话就会暴露——它更可能把你的问题续写成一段新文本。
2. 漏掉 BOS token。分词必须 add_special_tokens=True，否则效果会无缘无故变差，且不报错。
3. 拿厂商自测当独立结论。这张表条件交代得清楚，但仍是一手自测，尤其「同尺寸 SOTA」这类表述要留出复现空间。
4. 按参数量估显存。280B × 1 字节 ≈ 280GB 只是权重，KV cache、激活、框架开销都要另算；按 288GB 卡着买卡一定不够。
5. 以为「开源」= 随便商用。5000 万美元分界线、地域排除、输出禁用于训练他模型，三条都可能踩。
6. 忽略「后训练版随后推出」这句。如果你要做的是应用而非研究，等 ERNIE 5.5 Flash 正式版更划算，现在这批权重适合研究团队。

成本与时间

钱：权重本身免费下载。真正的成本在算力——8 卡 H100/H200 级别的实例按小时计费，跑一轮领域继续预训练的成本取决于数据量，通常远高于推理；如果只是微调，几张卡跑几天是可以预期的量级。商用授权在 5000 万美元线以下免费（需通知 + 标识），越线则需另谈。

时间：下载 FP8 版 288GB，千兆宽带理想情况约 40 分钟，实际受分片与磁盘写入影响会更久；BF16 版 573GB 翻倍。起服务本身几分钟，但加载 288GB 权重到显存需要耐心。真正的时间大头是数据准备和训练调参——这部分官方不会替你完成。

行动建议

1. 先判断你是哪类人：要应用 → 等后训练版；要研究 → 现在就可以动手。
2. 读三份东西再决定：官方发布页的结构章节（看清 HCA/MLA 分配）、模型卡的部署说明、LICENSE 的第 1.7 / 4.2 / 5.3 / 5.5 条。
3. 别急着下全量权重：先用官方评测表判断它在你关心的能力上是否真的领先，用 RepoQA、MMLU-Pro、ChineseSimpleQA 这三项对照你自己的场景。
4. 做一次最小验证：租一台 8 卡机器，用 FP8 版权重 + vLLM 起服务，喂 20 条你真实业务里的输入，看续写质量是否达到「值得继续训」的门槛。这一步花几百美元，能省掉后面几周的弯路。
5. 如果要商用，先把合规动作做完：发使用通知、加「Powered by ERNIE」标识、确认你的市场不在排除地域、检查有没有蒸馏计划。

参考来源

• 百度文心官方发布页：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
• Hugging Face 模型卡（FP8）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
• Hugging Face 模型卡（BF16）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
• 许可证原文：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base/raw/main/LICENSE
• IT之家：https://www.ithome.com/1/022/785.htm
• 第一财经：https://www.yicai.com/news/103428139.html
• 新华网：https://www.news.cn/info/20261105/f3bbdb6854f5441ca9fb34062f213875/c.html
• Megatron-Bridge 示例：https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/ernie55