26B 总参只激活 3.4B,中间 12 层跑三遍:Thinking Machines 把 20GB 的开源模型塞进了笔记本,同尺寸开源模型里它排第一
Thinking Machines Lab 在 11 月 20 日放出 Inkling 2 Mini:一个总参数 26.4B、每 token 只激活 3.4B 的混合专家模型,权重打包成一个约 20GB 的检查点,用 Apache 2.0 授权,官方说它能跑在 32GB 内存的 MacBook 上。它的特别之处不是「小」,而是中间 12 层每算一个 token 要走三遍——用重复计算换推理深度,而不是靠堆参数。
3分钟看懂
- 它是什么:一个能看文字和图片、输出文字的开源权重模型,面向本地设备和 Agent 场景。
- 为什么值得看:同样 20 分左右的智能指数,它的激活参数只有 Qwen3.8-27B 的五分之一左右,跑一次任务的成本按第三方口径是 0.59 美元对 3.53 美元。
- 代价是什么:循环层能让它想得更深,但不会让它记得更多;多轮聊天和多重约束指令是它的弱项,官方自己把分数列出来了。
循环层到底改了什么
普通 Transformer 里,一个 token 只会把同一组层走一遍,所以模型要「多想几步」,只能把推理过程写成文字吐出来。Inkling 2 Mini 换了做法:24 层里,第 0–5 层走一次,第 6–17 层走三次,第 18–23 层走一次。存下来的是 24 层,实际每个 token 发生 48 次层访问。
三次走的是同一份权重,每次循环都从第 6 层的输出重新开始,pass 与 pass 之间靠一层学出来的「消息」传递信息:每个循环层用自己的 query 读上一轮的结果,再用一个小门控决定「忘掉多少当前输入、加进多少上轮消息」。用 Hugging Face 博客的说法,每一遍都在精修上一遍算出来的东西。
配合 MoE 结构,它的账是这么算的:总共 26.4B 参数,其中每个 token 唯一用到的是 3.4B,但把循环重复读权重也算进去,实际参与计算的权重是 5.4B。每层有 128 个专家,每个 token 选 8 个。
这也解释了它为什么能和 594B 参数的 Inkling 2 Small 拉开定位:Small 太大,很多人跑不动;Mini 是把专家剪掉三分之二、再补上循环的产物。
硬指标:同尺寸开源模型里它确实领先,但领先是有条件的
按官方给出的对比范围(总参数 100B 以下的开源权重模型):
- DeepSWE v1.1:48.2%(第二名 Qwen3.8-27B 为 42.2%)
- SWE-bench Pro v2 Hard:77.9%(Qwen3.8-27B 为 73.8%)
- BrowseComp:79.0%(需要开 compaction)
- DeepSearchQA:85.3%
- MCP Atlas:82.7%
- Terminal Bench v2.1:71.6%,这一项它输给 Qwen3.8-27B 的 73.0%
第三方评测机构 Artificial Analysis 给它的人工智能指数是 20.1,和 Qwen3.8 27B 打平,但用的激活参数少约 5 倍。同一份评测里它的输出 token 比对手多约 38%,总算力却只有约 2.8 分之一——换句话说,它靠「一个 token 干更多活」省下算力,代价是话更多。
短板官方写得很直白:MultiChallenge 50.0%、ComplexConstraints v1.1 33.4%,两项都不如 Qwen3.8-27B;在 CritPt v2、HLE-Diamond 这类重推理基准上也不如更大的模型。对事实性知识的测试(AA-Omniscience)只和同尺寸模型持平——循环增加的是串行深度,不是知识容量。
还有一条容易被忽略:它对思维链的控制很差。在 750–1250 token 的回答里,它按指令控制思维链长度的成功率最高只有 0.1%,而 Qwen3.8-27B 是 1.3%。如果你打算靠限制思考长度来省 token,这个模型不会听话。
对普通人的实际影响
最直接的一条:你不一定需要云。官方给的最低门槛是一张 NVIDIA DGX Spark,或 32GB 以上内存的 Apple silicon 设备,其他平台建议 32GB 以上显存。模型卡里列的支持列表已经很长:Transformers、SGLang、vLLM、TokenSpeed、NVIDIA Dynamo、Unsloth(含量化 GGUF)、llama.cpp、Llama App,Apple silicon 上还有 Ollama 和 Exo。
官方还讲了一个具体场景:研究员带着它上飞机,在飞行模式下用一台 M5 Pro / 48GB 的 MacBook Pro 本地跑,几分钟内做出了一个能玩的飞行模拟器。这不是基准分数,但是一个能对照自己设备的参照。
另一个影响在成本口径。Tinker 平台上的第一方价格是每百万 token 输入 0.15 美元、输出 0.50 美元、缓存命中 0.015 美元。Artificial Analysis 按这个价折算,跑完一道智能指数任务是 0.59 美元、9.0 分钟,而 Qwen3.8 27B 是 3.53 美元、38.2 分钟。
怎么用:三条路,按你的目的选
- 只想试聊天:去 Tinker Playground,不用装任何东西,先确认它的说话方式你是否接受。
- 想本地跑、做 Agent 或写代码:用 Ollama/llama.cpp/Llama App 拉量化版,或按模型卡的 SGLang、vLLM 配方起服务。第一步建议先用 GGUF 量化版在你的机器上量一遍真实 token/s,再决定要不要上原始精度。
- 想微调:Tinker 支持推理和定制;开源侧可以走 Miles、SkyRL、NVIDIA AutoModel 做 RL 微调,微调框架和推理框架不要混着配。
成本与时间:先算清三笔账
- 显存/内存:约 20GB 权重,加上 KV 缓存和上下文,32GB 是实际起步线,1M 上下文不要指望在 32GB 机器上跑满。
- token 账:同样一道题它吐的字比 Qwen3.8-27B 多约 38%,本地按秒算电费时这部分会体现出来。
- 时间账:官方给的是「理论解码上限」曲线,不是你的实测值;同一张卡上跑量化版和原始精度,差距可能比模型之间的差距还大。
适用场景
- 本地/离线环境要一个能写代码、会调工具的模型(断网、隐私敏感、飞机上)。
- 已经有一台 32GB 以上内存的 Mac,或一张 DGX Spark,想找当前最强的同尺寸开源权重模型。
- 做 Agent 流水线,愿意为「少算力、多输出 token」的取舍买单。
- 研究循环层、思维链可监控性的团队——官方同时放了一个可变循环次数的研究变体。
不适用场景
- 多轮闲聊、要求严格遵循一堆格式约束的任务:这两项它明确弱于 Qwen3.8-27B。
- 需要大量冷知识、事实问答的场景:循环不增加知识,官方建议靠检索和工具补。
- 想严格控制思考长度省成本:思维链可控性只有 0.1% 量级。
- 只有 16GB 内存的笔记本:20GB 权重放不进去,别硬试。
避坑
- 别把「循环」当成「更聪明」的同义词。它提升的是长上下文检索(MRCR 类)、数学与科学推理、长程 Agent 任务;对闭卷事实问答几乎没有增益。
- benchmark 的 harness 要看清。官方表格里每一行都标了跑分工具(mini-swe-agent、pi、openhands 等),换 harness 分数会动,跨表比较没意义。
- 第三方复现要等。目前高分集中在官方与两家评测机构,独立开发者的大规模复现还没出来。
- 量化版不是原版。Unsloth/llama.cpp 的 GGUF 方便,但低比特量化对长上下文和代码任务的影响需要你自己测。
- 许可证是 Apache 2.0,但另有可接受使用政策。商用前把模型卡里的 Acceptable Use Policy 读一遍。
行动建议
如果你手上有一台 32GB 内存的 Mac:今天就能做的第一步是用 Ollama 或 llama.cpp 拉一个量化版,拿你自己真实的一条代码任务跑一遍,看它输出的 token 数和耗时,而不是先看榜单。榜上的 48.2% 是 DeepSWE 的口径,你的任务未必长那样。
一句话说明
发布信息与架构细节来自官方发布页与模型卡;成本、智能指数与跨模型对比的第三方数据,基于多家媒体转述整理。
参考来源
- Thinking Machines Lab 发布页:https://thinkingmachines.ai/news/inkling-2-mini/
- 官方模型卡(Hugging Face):https://huggingface.co/thinkingmachines/Inkling-2-Mini
- Hugging Face 技术博客(架构细节):https://huggingface.co/blog/inkling2mini
- Artificial Analysis 评测:https://artificialanalysis.ai/articles/inkling-2-mini
- TestingCatalog 报道:https://www.testingcatalog.com/thinking-machines-releases-inkling-2-mini-looped-open-model/
- Unite.AI 报道:https://www.unite.ai/thinking-machines-lab-releases-inkling-2-mini-for-local-devices/
- Vals AI 模型页:https://www.vals.ai/models/thinkingmachines_inkling-2-mini
参考来源
- https://thinkingmachines.ai/news/inkling-2-mini/
- https://huggingface.co/thinkingmachines/Inkling-2-Mini
- https://huggingface.co/blog/inkling2mini
- https://artificialanalysis.ai/articles/inkling-2-mini
- https://www.testingcatalog.com/thinking-machines-releases-inkling-2-mini-looped-open-model/
- https://www.unite.ai/thinking-machines-lab-releases-inkling-2-mini-for-local-devices/
- https://www.vals.ai/models/thinkingmachines_inkling-2-mini