大语言模型

9B 的模型,按 56 层付算力:商汤把 Loop-9B 正式版开源了,4.9GB 权重能塞进一张消费卡

2026年11月19日1 次阅读Read in English
9B 的模型,按 56 层付算力:商汤把 Loop-9B 正式版开源了,4.9GB 权重能塞进一张消费卡

3分钟看懂

商汤在 11 月 17 日晚把 SenseNova Loop-9B 的正式版放出来了:Apache-2.0 许可,权重在 Hugging Face,代码在 GitHub,可以商用。

它值得看一眼,不是因为分数第一,而是因为它换了一条省钱的路。现在主流做法是把参数堆上去,它反着来——只保留 32 个解码层,让中间那 24 层(第 4 到第 27 层)用同一套权重连着跑两遍,于是一次前向传播做了 56 层的工作量,但显存里只存 32 层的权重。

账面上的结果是这样:总参数约 9B,官方称推理时等效 14.6B;4bit 量化后权重约 4.9GB;256K 上下文配 8bit KV 缓存,显存约 15GiB。也就是说,一张 24GB 的消费级显卡,能把上下文拉满还能剩一截。

分数上它没吹牛也没赢麻:AIDABench 65.31,对 Qwen3.8-27B 的 65.01,只高 0.3 分;AutomationBench 36.67 打平;NL2Repo 41.36,对手 44.60,输了 3.24 分。官方在发布页把这三行并列写出来,没有藏。

它是怎么把 9B 用出 56 层的

先把结构说清楚,因为它决定了后面所有的取舍。

模型的输入先过第 0–3 层,然后进「循环模块」:第 4 到第 27 层这 24 层,权重共享,连着跑两遍,第二遍的输入就是第一遍的输出。跑完再进第 28–31 层和输出头。用公式写就是 B(B(h)),B 是那个循环模块。

三个配套设计:

  • 双流 mHC:循环模块里有两条残差流并行传递隐藏状态,可学习映射决定每层从哪条流读、怎么在两流之间混信息、写回哪里。混合矩阵用 Sinkhorn 归一化约束,配置里是 20 次迭代——注意这 20 次是 mHC 内部的归一化,跟「跑两遍」是两回事,官方特别点了一句,因为很容易被读混。
  • 混合注意力:每 4 层一组,3 层线性注意力加 1 层全注意力。循环边界正好落在完整的 4 层组上,所以两遍的注意力模式完全一致。
  • 规格:隐藏维 4096,前馈维 12288,词表 248,320,全注意力 16 个头 / 4 个 KV 头,BF16 主干 + FP32 的 mHC 路由参数。

官方还做了一组「循环次数」的消融,这是全文最有信息量的部分:训练和推理都加循环,四项核心任务全涨。AIDABench-QA 和 Workbuddy-office 在 3 次循环时最好,比单次分别涨 6.42% 和 16.93%;LiveCodeBench V6 和 AIDABench 的数据可视化任务在 4 次循环时最好,涨 8.10% 和 8.55%。从 2 次加到 4 次,代码和数据可视化还能再各涨 1.04 和 1.35 个百分点。

换句话说,「多跑几遍」是真的能换能力,只是每多一遍就多付一份算力。官方为了保证推理效率,Preview 和正式版都默认 2 次,同时说后面要做「动态循环」——按任务难度决定跑几遍。

官方自己承认的三个短板(不适用场景)

发布页末尾有一节 Current Limitations,写得很实在,这三条决定了你现在该不该上:

  • 工具定义又多又复杂、或者带多个条件约束时,它还会理解错、执行错,直接影响任务成败。
  • 代码能力比 Preview 涨了一大截,已经能实用,但一致性和通用 Agent 任务仍是短板,需要多步自我纠正才能收敛。
  • 复杂长程任务还不够稳;带复杂 3D 场景和大量动态元素的网站,经常一轮做不完,要给 2–3 轮反馈才能修好。

所以不适用场景很明确:要一次成型的高精度代码改造、多约束的 Agent 流水线、复杂 3D 交互页面,这些都别指望它一把过。它适合的是「跑在自己机器上、成本敏感、能容忍多轮修」的活。

怎么用:三条能跑的路,一条死路(避坑)

官方给了三种部署方式,验证环境是 Transformers 5.18.0 + PyTorch 2.11.0 + CUDA 13.0,加载时 trust_remote_code=True 必须加,因为模型实现是自定义的。

  1. Transformers 直接加载:AutoModelForCausalLM.from_pretrained 指向本地目录或仓库 ID,dtype=torch.bfloat16,enable_thinking=False 可以关掉思考模式。
  2. LightLLM:官方示例用 4 张卡,--tp 4,起完服务走 OpenAI 兼容接口。
  3. SGLang / vLLM:都得用带 SenseNova Loop 实现的 PR 版本——SGLang 是 PR #47281,vLLM 是 PR #64832。

死路是 llama.cpp:官方明说这个特殊架构用不了 llama.cpp,想要 GGUF 得等专用实现。这对本地玩家是硬门槛,别按常规经验以为「有 GGUF 就能上」。

第一个要避的坑是显存账。官方说 4bit 权重约 4.9GB,但 Hugging Face 上 AWQ 仓里三个 safetensors 分片加起来是 5.59GB,另外还有一个 0.49GB 的 MTP 草稿模型(放在 mtp/ 子目录)。所以「4.9GB」是权重本身的净数字,不是你要腾出的磁盘空间。

第二个坑是主仓要申请。sensenova/SenseNova-Loop-9B 这个 BF16 主仓是 gated(auto 审批,点同意即可),未登录直接拉 README 会返回 401。不想走这一步的话,AWQ(4bit)和 GGUF 两个仓是完全开放的。BF16 全量权重我按分片算了一下,12 个分片合计约 19.3GB,本地留 25GB 空间比较稳。

第三个坑是量化版和引擎的对应关系:vLLM 那个 PR 目前只支持未量化的文本推理,跑不了上面说的 AWQ 低显存配置。想用 AWQ 省显存,得走 LightLLM 或 SGLang 那条路。

谁适合,成本与时间

  • 适合:手上有 24GB 级别显卡、想在本机跑长上下文多模态的个人开发者;需要私有化部署、又不能接受 27B 显存开销的团队;想研究「循环计算」这条路线的人(Apache-2.0,可商用,代码和权重都全)。
  • 不太适合:指望开箱即用替代闭源旗舰的团队;必须用 llama.cpp / Ollama 一条命令拉起的人;对长程 Agent 稳定性要求极高的生产系统。

成本上,硬件门槛是这次最实在的卖点:4bit + 8bit KV,64K 上下文约 10GiB、128K 约 12GiB、256K 约 15GiB。时间上,下载 5.6GB 的 AWQ 权重在普通家宽上是十几分钟量级,装 Transformers 5.18 和匹配 CUDA 13 的 PyTorch 才是最花时间的一步,建议先确认 CUDA 版本再动手。

和同规模模型比,它的取舍很清楚:用「多跑一遍」换 27B 级别的表现,代价是延迟变高、引擎支持变窄;换来的是显存占用砍到三分之一左右。这笔账在批量推理和端侧部署上算得过来,在低延迟交互场景里不一定。

行动建议

  1. 第一步,先别下 BF16 主仓:去 sensenova/SenseNova-Loop-9B-AWQ 拿 4bit 权重,约 5.6GB,不用申请权限。
  2. 按官方给的表算一遍你的显存:256K 上下文留 15GiB,128K 留 12GiB,64K 留 10GiB,再额外留 2GB 给运行时。
  3. 想省事就用 LightLLM 的 docker 镜像起服务,走 OpenAI 兼容接口;想自己写推理代码,注意 trust_remote_code=True 和 Sinkhorn 那 20 次迭代的实现必须对得上,否则输出会静默走偏。
  4. 上线前先在你的真实任务上跑一遍,重点看官方承认的三处短板:多约束工具调用、长程一致性、复杂 3D 页面。

参考来源

  • 商汤官方发布页(英文):https://www.sensetime.com/en/news/sensenova-loop-9b-release-20261118-1435
  • 商汤官方发布页(中文):https://www.sensetime.com/cn/news/sensenova-loop-9b-20261118-1059
  • 商汤官方 X(2026-11-17T14:45:32Z):https://x.com/SenseTime_AI/status/2122702684985938356
  • Hugging Face 权重仓:https://huggingface.co/sensenova/SenseNova-Loop-9B
  • GitHub 代码仓:https://github.com/OpenSenseNova/SenseNova-Loop
  • TechNode(2026-11-18):https://technode.com/2026/11/18/sensetime-releases-open-weight-loop-9b-model-that-reuses-layers-for-deeper-computation/
  • PC Watch(2026-11-18):https://pc.watch.impress.co.jp/docs/news/2157448.html
  • 第一财经(2026-11-17):https://www.yicai.com/news/103444236.html

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...