大语言模型

欧洲第二大云厂商自己训了个 7B 模型:8GB 卡能跑、纯 CPU 50 tok/s,但一个分数都没给

2026年11月18日1 次阅读
欧洲第二大云厂商自己训了个 7B 模型:8GB 卡能跑、纯 CPU 50 tok/s,但一个分数都没给
📅 2026 年 11 月 17 日 · 事件日期 2026 年 11 月 17 日 · 分类:大语言模型
OVHcloudOlala mini 7A1BMoEApache 2.0主权 AIMamba-3

3分钟看懂

11 月 17 日,欧洲第二大云厂商 OVHcloud 发布了自己训的第一个大语言模型 Olala mini 7A1B:7B 总参数、每次请求只激活 1B,官方说它能在 8GB 显存的显卡上跑,甚至不用显卡、纯 CPU 也能跑到 50 tok/s。

但这条新闻最值得看的,不是它能跑多快,而是它一个质量分数都没给。

四个数字先摆着:

  • 7B / 1B:总参数 7 亿级里的十亿级——准确说是 70 亿总参数、10 亿激活,每层 256 个专家。
  • 160 tok/s:官方给的最高速度,测在 RTX A4500 上;纯 CPU 是 50 tok/s。
  • 32K:当前上下文长度,年底的 v1.1 要拉到 128K。
  • 700 万欧元:训练用的机时折算价,跑在欧洲三台公共超算上。
7B / 1B
总参数 / 每 token 激活
160 tok/s
RTX A4500 上的官方速度
32K
当前上下文,年底拉到 128K
0 个分数
当天未公布任何质量评测

这件事到底是什么

先把术语翻译成人话。

Olala mini 是一个混合专家(MoE)大模型。你可以把它想成一家有 256 个专科医生、每层都有 256 个诊室的医院:来一个病人(一次请求),挂号台只叫其中几位相关的医生出来看,其他人继续待着。所以它的「总编制」是 70 亿参数,但真正干活的只有 10 亿——这就是为什么它不像同体量的稠密大模型那样吃显存。

它的注意力层也是混着搭的:一半用 Differential-TPA,一半用 Mamba-3。前者是 Transformer 家族里较新的差分注意力变体,后者是状态空间模型路线,长处是长上下文时不必为每个 token 保存一整套 KV 缓存。两条路线拼起来,目标很明确:用更少的内存换更长的上下文。权重格式是 BF16。

官方给的能力清单是这样:

  • 8GB 显存的 GPU 就能跑;
  • RTX A4500 上 160 tok/s;
  • 没有 GPU 的普通处理器上 50 tok/s;
  • 上下文 32,000 tokens;
  • 以 Apache 2.0 许可发布在 Hugging Face,附带权重、预训练基座模型、技术报告,以及一份 AI Act 合规文档。

「附带 AI Act 合规文档」这句在开源模型里很少见。欧洲企业采购时要交代模型的风险分级、训练数据来源、评测记录,OVHcloud 直接把这份材料打包进发布物——这是把「合规」当成产品的一部分在卖。

为什么重要

一句话:这是一家云厂商在给自己的客户兜底。

OVHcloud 的规模摆在官方稿里:46 个数据中心、170 万客户、140 多个国家,欧洲最大的云服务商。它的客户里有大量政府机构、医院、律所、工业企业——这些人买云的时候,最怕的问题不是「模型够不够聪明」,而是「我的数据会不会进别人的训练集、明年这份 API 会不会涨价或断供」。

CEO Octave Klaba 在官方 X 上说得很直白:模型已经变成战略构件,「我们选择自己造,而不是依赖它」。他还补了一句更扎心的:不能一直指望某些实验室在未来几年继续「慷慨地」开源。

所以 Olala mini 的真正卖点不是跑分,而是三件事同时成立:

  1. 许可干净:Apache 2.0,商用没有额外限制,不像很多「开放权重」模型附带地区或用户规模条款。
  2. 能离线跑:8GB 卡或纯 CPU 就能起,意味着医院内网、工厂车间、政务专网这些不能出网的环境也能用。
  3. 训练发生在欧洲:Jupiter(德国)、MeluXina(卢森堡)、Jean Zay(法国)三台公共超算,GH200 / A100 / H100 混跑,折合 700 万欧元的机时由欧洲公共支持提供。

这三条凑在一起,才是「主权 AI」这四个字在采购文件里真正的含义。放到模型评测的语境里,它要竞争的也不是榜单第一,而是「能不能被允许进场」。

官方说了什么,没说什么

这部分是本文最需要小心的地方。11 月 17 日当天,官方只发了新闻稿和一条 X,权重、技术报告、任何质量分数都要等到 11 月 19 日的 OVHcloud AI Summit。

以下三处矛盾,属于基于多家媒体转述整理与公开规格核对,不是官方口径:

官方说法独立核对后发现的问题
「8GB 显存的 GPU 就能跑」7B 参数按 BF16(每参数 2 字节)算约 14GB,装不进 8GB 卡。合理解释是官方指的是量化版,但新闻稿一个字没提量化
「RTX A4500 上 160 tok/s」A4500 是 20GB 显存的卡(NVIDIA 官方规格),不是 8GB。两个数字放一起容易被读成「8GB 卡跑 160 tok/s」
「纯 CPU 50 tok/s」没说是哪颗 CPU、几个核、什么量化精度。这个数字单独拿出来没有可比性
「Qwant 回复快 20%、成本降到三分之一」Qwant 属 Synfonium,75% 由 Klaba 兄弟(OVHcloud 创始人)持有,25% 归法国存托银行。这是关联方自述,不是第三方基准

这几条不影响「模型发布了」这个事实,但直接影响你怎么读参数表:8GB 说的是量化后,160 tok/s 说的是 20GB 卡,20% 提速说的是自家客户。

它现在能不能用

不能。截至 11 月 17 日上午(太平洋时间),Hugging Face 上还搜不到 OVHcloud / OVHai 组织下的任何权重仓,Olala 关键词命中的都是别人的无关模型。

时间线是清楚的:

  • 11 月 17 日:新闻稿 + 官方 X 预告,给出架构、速度、许可、客户。
  • 11 月 19 日:OVHcloud AI Summit 正式发布,权重、技术报告、AI Act 文档一起上线。
  • 年底前:v1.1,上下文从 32K 拉到 128K,补数学推理。
  • 之后:v2.0,参数超过 100B,往企业 agent、云 DevOps、网络安全三个方向做专精版本。

所以现在能做的判断只有「架构与定位值不值得等」,不能做「它比谁强」的判断。

怎么用:11 月 19 日当天的验证清单

如果你打算第一时间上手,按这个顺序走,十分钟能出结论:

  1. 先确认仓是不是真的开了:在 HF 搜 Olala,看组织名(大概率是 OVHcloud 或 OVHai),看 createdAt 是不是 11-19。没有仓就只有新闻稿,别急着写测评。
  2. 打开 config.json 看三件事:num_experts_per_tok(每 token 激活几个专家)、num_hidden_layers、torch_dtype。这三个字段决定它的真实显存占用,比新闻稿的 8GB 靠谱。
  3. 分清有没有量化版:如果仓里只有 BF16 权重,那 8GB 的说法就要等 GGUF / AWQ 版本;如果官方直接给了 GGUF,说明 8GB 那个数字是按 Q4 算的。
  4. 本地起服务:BF16 用 vLLM(--enable-expert-parallel 对 MoE 更友好),量化版用 llama.cpp 或 Ollama。MoE 模型的坑是「总参数吃内存、激活参数吃算力」,显存不够会直接 OOM 而不是变慢。
  5. 别用单条 prompt 测速度:官方 160 tok/s 是短输出场景。长上下文(32K)下 Mamba-3 分支的优势才显出来,但也有可能因为混合注意力实现不成熟而掉速,两个场景都要测。

适用场景与不适用场景:谁该用,谁别碰

适合的:

  • 数据不能出内网的组织(医院、政务、律所、制造业产线),需要一台工作站级别的机器跑一个「够用」的模型。
  • 要在边缘设备或本地做 agent 的团队:1B 激活意味着工具调用的响应延迟可控,32K 上下文够塞进一份合同或一份工单历史。
  • 需要 Apache 2.0 这种「没有附加条款」许可做二次分发、嵌进自己产品的厂商。
  • 需要向监管交代训练来源与合规材料的欧洲企业——AI Act 文档是现成的。

不适用场景:这些现在别碰。

  • 需要顶尖推理能力的任务(复杂数学、长链代码重构)。它没给任何 benchmark,v1.1 才补数学推理,说明这一项目前是弱项。
  • 需要百万级上下文的场景。32K 就是 32K,128K 要等年底。
  • 需要多模态的:这是一个纯文本大语言模型,没有视觉、没有语音。
  • 想拿它当「便宜的生产力引擎」跑高并发 API 的:8GB 卡能跑不等于能扛并发,MoE 的批处理效率要看实现,官方没给吞吐数据。

成本/时间账

两个成本要分开算。

训练成本:700 万欧元的机时折算,而且不是自己买卡,是用欧洲公共超算的额度。这个数字的意义不是「便宜」,而是说明中等规模模型的训练门槛已经降到「一家云厂商用公共算力就能做」。Klaba 自己说,三年里训练成本降了约 20 倍。

推理成本:官方没给价格,因为它还没上架。可参考的是 Qwant 的口径——相比它之前用的模型,运行成本降到三分之一。但 Qwant 没说是哪个模型,也没给绝对值,所以这个「三分之一」只能当方向,不能当报价。

时间成本:真正的隐性成本在合规。AI Act 文档、技术报告、评测记录,这套材料的工作量往往超过训练本身,尤其对一个 7B 的模型来说。OVHcloud 把它当成卖点打包,本质是替客户省了这部分时间。

避坑

  • 坑一:把「8GB」当默认配置。 那是量化后的数字,BF16 权重约 14GB。买卡或租机器前先看仓库里给的是哪种格式。
  • 坑二:把 160 tok/s 当通用吞吐。 那是 A4500(20GB 卡)上的短输出速度,不是长上下文速度,也不是并发吞吐。
  • 坑三:把 Qwant 的 20% 当独立评测。 关联方自述,且没公布替换掉的基线模型。
  • 坑四:把 11-17 当「已发布」。 权重 11-19 才给。今天所有「实测」类内容都不可能是真的。
  • 坑五:以为 Apache 2.0 就没有任何约束。 许可确实宽松,但 AI Act 的合规责任在部署方——文档给了,责任没转移。

行动建议

第一步,今天先别动手部署,把这条新闻当「预告」记下来:架构是 MoE 7B/1B 激活 + 混合注意力,许可 Apache 2.0,定位本地/离线。

第二步,11 月 19 日 AI Summit 之后按上面那份验证清单走一遍,重点看 config.json 和有没有官方量化版。

第三步,如果你的场景是「数据不能出内网」,可以现在就开始评估替代方案(同量级的开源权重模型不止一个),把 Olala mini 放进候选,等权重落地再比。

第四步,如果你在欧洲做采购,把那份 AI Act 合规文档提前要过来——这是它相对其他开源权重模型最实际的差异点。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...