IFM发布K2 Horizon：史上最大规模开源模型家族，从0.9B到375B全覆盖

🔑 核心亮点

• 六款模型：0.9B / 3.7B / 7B / 32B / 36B-MoVA / 375B-MoE
• 全量开源：权重 + 20T tokens语料 + 训练代码 + 细粒度日志
• 架构创新：MoVA（稀疏注意力扩展至Attention层）
• Terminal-Bench 2.1得分58.6，领先同参数量稠密模型
• Day-zero支持vLLM、SGLang、Ollama，兼容NVIDIA/AMD/Cerebras

一、K2 Horizon到底是什么？

IFM（Institute of Foundation Models，基础模型研究所）是阿联酋穆罕默德·扎耶德人工智能大学（MBZUAI）于2025年5月创立的前沿AI实验室。9月6日，他们正式发布了K2 Horizon——一套包含六款大模型的开源家族。

六个模型尺寸分别是：375B-A23B36B-A4B32B7B3.7B0.9B

所有模型共享同一核心架构、词表和训练方法。这意味着你可以在3.7B上快速原型，然后无缝迁移到375B生产部署，无需改动任何代码。

二、为什么这次发布不同寻常？

全量开源：不只是权重

大多数开源模型发布只给权重文件。K2 Horizon不同——它一次性开源了：

• 模型权重（FP8和GGUF格式均有）
• 预训练语料（约20万亿tokens，已在Hugging Face上线）
• 中间checkpoint（训练过程中的关键节点）
• 完整训练代码、配置文件
• 细粒度训练日志

这相当于给整个社区提供了一条可复现、可扩展的"模型生产线"。

MoVA：把稀疏性引入注意力层

传统MoE（Mixture-of-Experts）只在FFN层做稀疏专家路由。K2 Horizon引入了MoVA（Mixture-of-Value Attention）——将稀疏专家路由扩展到多头注意力层本身，开启第二维度的容量扩展。

实测数据：

• K2-Horizon-MoVA-36B-A4B在Terminal-Bench 2.1上得分58.6
• 在ta3-Banking上得分26.8
• 两项均领先同参数量稠密模型

训练策略的独特之处

IFM的训练数据有三点值得注意：

1. 17%为推理轨迹：预训练语料中近17%是明确的问题求解轨迹，而非通用文本
2. 10万亿tokens为合成数据：大量人工合成的高质量推理数据参与训练
3. 工具调用多格式训练：JSON、XML、Markdown三种格式的工具定义混训，让模型学会语义而非语法；推理时默认Markdown格式，比JSON节省约18.5%的token

三、对谁有用？怎么用？

• 开源社区和开发者：直接在Hugging Face下载权重，用vLLM、SGLang或Ollama一键部署。Day-zero支持已覆盖三大主流推理框架，兼容NVIDIA、AMD、Cerebras硬件。
• 企业用户：从小规模原型（3.7B）到生产部署（375B），同一架构同一接口，无需重写代码。如需API托管，可通过Compass、Cerebras或Nebius直接调用。
• 研究者：完整的训练代码、配置和日志开放，可以复现结果、分析训练动态、在此基础上做新探索。
• 硬件生态：与Cerebras等新兴AI芯片硬件深度适配，降低独立于NVIDIA生态部署超大模型的门槛。

四、与其他开源模型的对比

K2 Horizon的"全栈开源"理念，代表了一种更彻底的共享范式。

五、后续展望

K2 Horizon的配套还包含Uno——一种无损解码加速LoRA，冻结原模型自回归权重，以低秩适配实现推理加速。这意味着即使在资源受限的场景下，也能获得接近原生的推理效率。

对于社区而言，K2 Horizon的真正价值可能不在于"发布了一个模型"，而在于"提供了一条可复现、可扩展的模型研发路径"。当开源不再只是"给一条鱼"，而是"给整个鱼塘"，整个生态都有机会从中受益。