Thinking Machines Lab(TML)最新开源 Inkling 2 Mini,采用循环 Transformer(Looped Transformer)架构,虽然总参数 26.4B,但是靠复用中间层 + MoE 混合专家设计,激活参数大幅降低,经过量化之后普通笔记本就能离线跑,不用依赖云端,长文本、代码 Agent 推理能力是它的强项。常规 Transformer 是一层一层单向走,每生成一个 token,每层只计算一次;循环 Transformer 思路不一样,整个模型一共 24 层,首尾各 6 层只跑一次,中间 12 层循环跑 3 轮,用同一套权重做多轮推理,相当于用不大的权重体积,拿到更深的推理深度,同时搭配 MoE,每个 token 只激活部分专家,把显存占用压到笔记本可承载范围。它支持图文多模态输入,上下文窗口拉到 100 万 token,许可证是 Apache 2.0,权重上传 Hugging Face,开发者可以直接下载、推理、微调,在代码、智能体任务上的基准成绩超过不少同规模开源模型。
模型核心参数清单
- 模型名称:Inkling 2 Mini
- 总参数:26.4B,激活参数约 3.4B,循环后等效激活约 5.4B
- 架构:循环 Transformer(Looped Transformer)+ MoE 混合专家
- 层数结构:24 层,首尾 6 层单次执行,中间 12 层循环 3 次
- 上下文长度:100 万 token
- 能力:文本 + 图像多模态,擅长代码、Agent 自主推理
- 开源协议:Apache 2.0
- 部署门槛:GGUF 量化版,MacBook、Windows 笔记本可本地离线推理
循环 Transformer 与传统 Transformer 对比表
| 对比项目 | 传统 Transformer | TML 循环 Transformer(Inkling 2 Mini) |
|---|---|---|
| 层计算方式 | 每层仅执行 1 次,深度靠堆叠更多层 | 固定中间层循环复用,权重不变,提升推理轮次 |
| 参数规模 | 想要更深推理,必须增加总参数量 | 总参可控,靠循环提升计算深度,权重体积更小 |
| 显存压力 | 层数越多,权重越大,显存要求高 | 权重总量不变,循环带来额外计算,显存压力可控 |
| 适合场景 | 通用生成、简单问答 | 长链条推理、代码、Agent 多步骤任务 |
| 硬件门槛 | 大参数量版本很难在笔记本跑 | 量化后可在消费级笔记本离线运行 |
笔记本本地部署使用步骤
- 前往 Hugging Face 下载 Inkling 2 Mini 的 GGUF 量化权重文件
- 准备本地推理工具:Ollama、Llama.cpp、LM Studio 等
- 加载量化模型,优先选择 4bit/8bit 量化版本,降低显存占用
- 配置推理参数,开启循环推理逻辑,设置上下文窗口
- 本地提交提示词,测试代码、长文档、Agent 任务,可离线使用
- 有算力条件可以继续微调,适配自有行业数据
落地避坑清单
- 不要混淆总参数和激活参数,26.4B 是总参数,实际推理激活远小于这个数字
- 笔记本跑对内存有要求,低内存轻薄本跑大量化版本会卡顿、OOM
- 循环架构会增加单 token 计算量,推理速度会比同激活参数普通模型慢一点
- 它的优势是推理深度,纯简单问答场景,体验提升感知不强
- 开源协议 Apache2.0,商用允许,但要遵守协议声明,不能抹除版权信息
【相关 FAQ】
问题 1:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,循环 Transformer 到底是什么原理?
回答 1:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,它复用中间 12 层网络,每一个 token 都会反复跑 3 轮,用同一套权重做多轮推导,不用堆更多参数,就能实现更深的推理。
问题 2:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,普通笔记本跑这个模型需要多少内存?
回答 2:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,优先用 4bit 量化 GGUF 版本,Mac 硅或者带独立显卡的 Windows 笔记本,32G 内存体验稳定,16G 内存会比较吃力。
问题 3:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,Inkling 2 Mini 主要擅长什么任务?
回答 3:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,在代码编写、长链条 Agent 任务、长文档推理上优势明显,支持图文输入,100 万上下文适合超长资料分析。
问题 4:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,这个模型能不能商用?
回答 4:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,采用 Apache 2.0 开源协议,允许商用,使用时保留协议声明即可。
【参考资料】
[2026-11-21](TML 开源新模型,循环 Transformer 架构,笔记本就能跑)机器之心
[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网
[2026-11-21](Inkling 2 Mini 模型介绍,HuggingFace 权重发布)新浪财经
[2026-11-21](Inkling 2 Mini 代码 Agent 评测,循环架构推理优势)智东西
【免责声明】
本内容仅整理 TML Inkling 2 Mini 公开发布信息,笔记本运行效果和内存、显卡、量化版本强相关;循环架构推理速度、模型效果会随硬件和提示词变化,Apache2.0 商用请自行完成合规审查,本文不构成选型担保。
本文来自作者[烬簇内核]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/kjyw/202611/5083.html
评论列表(4条)
我是乌兰科技网的签约作者“烬簇内核”!
希望本篇文章《TML开源新模型,循环Transformer架构,笔记本就能跑》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:Thinking Machines Lab(TML)最新开源 Inkling 2 Mini,采用循环 Transformer(Looped Transformer)架构,虽然总参数 26.4B,但是靠复用中间层 + MoE 混合专家设计,激活参数大幅降低,经过量化之后普通笔记本就能离线跑,不用依赖云端,长文本、代码 Agent 推理能力是它的强项。常规 Transformer 是一层一层单向走,每生成一个 token,每层只计算一次;循环 Transformer 思路不一样,整个模型一共 24 层,首尾各 6 层只跑一次,中间 12 层循环跑 3 轮,用同一套权重做多轮推理,相当于用不大的权重体积,拿到更深的推理深度,同时搭配 MoE,每个 token 只激活部分专家,把显存占用压到笔记本可承载范围。它支持图文多模态输入,上下文窗口拉到 100 万 token,许可证是 Apache 2.0,权重上传 Hugging Face,开发者可以直接下载、推理、微调,在代码、智能体任务上的基准成绩超过不少同规模开源模型。