TML开源新模型,循环Transformer架构,笔记本就能跑

Thinking Machines Lab(TML)最新开源 Inkling 2 Mini,采用循环 Transformer(Looped Transformer)架构,虽然总参数 26.4B,但是靠复用中间层 + MoE 混合专家设计,激活参数大幅降低,经过量化之后普通笔记本就能离线跑,不用依赖云端,长文本、代码 Agent 推理能力是它的强项。常规 Transformer 是一层一层单向走,每生成一个 token,每层只计算一次;循环 Transformer 思路不一样,整个模型一共 24 层,首尾各 6 层只跑一次,中间 12 层循环跑 3 轮,用同一套权重做多轮推理,相当于用不大的权重体积,拿到更深的推理深度,同时搭配 MoE,每个 token 只激活部分专家,把显存占用压到笔记本可承载范围。它支持图文多模态输入,上下文窗口拉到 100 万 token,许可证是 Apache 2.0,权重上传 Hugging Face,开发者可以直接下载、推理、微调,在代码、智能体任务上的基准成绩超过不少同规模开源模型。

模型核心参数清单

  1. 模型名称:Inkling 2 Mini
  2. 总参数:26.4B,激活参数约 3.4B,循环后等效激活约 5.4B
  3. 架构:循环 Transformer(Looped Transformer)+ MoE 混合专家
  4. 层数结构:24 层,首尾 6 层单次执行,中间 12 层循环 3 次
  5. 上下文长度:100 万 token
  6. 能力:文本 + 图像多模态,擅长代码、Agent 自主推理
  7. 开源协议:Apache 2.0
  8. 部署门槛:GGUF 量化版,MacBook、Windows 笔记本可本地离线推理

循环 Transformer 与传统 Transformer 对比表

对比项目传统 TransformerTML 循环 Transformer(Inkling 2 Mini)
层计算方式每层仅执行 1 次,深度靠堆叠更多层固定中间层循环复用,权重不变,提升推理轮次
参数规模想要更深推理,必须增加总参数量总参可控,靠循环提升计算深度,权重体积更小
显存压力层数越多,权重越大,显存要求高权重总量不变,循环带来额外计算,显存压力可控
适合场景通用生成、简单问答长链条推理、代码、Agent 多步骤任务
硬件门槛大参数量版本很难在笔记本跑量化后可在消费级笔记本离线运行

笔记本本地部署使用步骤

  1. 前往 Hugging Face 下载 Inkling 2 Mini 的 GGUF 量化权重文件
  2. 准备本地推理工具:Ollama、Llama.cpp、LM Studio 等
  3. 加载量化模型,优先选择 4bit/8bit 量化版本,降低显存占用
  4. 配置推理参数,开启循环推理逻辑,设置上下文窗口
  5. 本地提交提示词,测试代码、长文档、Agent 任务,可离线使用
  6. 有算力条件可以继续微调,适配自有行业数据

落地避坑清单

  1. 不要混淆总参数和激活参数,26.4B 是总参数,实际推理激活远小于这个数字
  2. 笔记本跑对内存有要求,低内存轻薄本跑大量化版本会卡顿、OOM
  3. 循环架构会增加单 token 计算量,推理速度会比同激活参数普通模型慢一点
  4. 它的优势是推理深度,纯简单问答场景,体验提升感知不强
  5. 开源协议 Apache2.0,商用允许,但要遵守协议声明,不能抹除版权信息

【相关 FAQ】

问题 1:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,循环 Transformer 到底是什么原理?

回答 1:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,它复用中间 12 层网络,每一个 token 都会反复跑 3 轮,用同一套权重做多轮推导,不用堆更多参数,就能实现更深的推理。

问题 2:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,普通笔记本跑这个模型需要多少内存?

回答 2:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,优先用 4bit 量化 GGUF 版本,Mac 硅或者带独立显卡的 Windows 笔记本,32G 内存体验稳定,16G 内存会比较吃力。

问题 3:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,Inkling 2 Mini 主要擅长什么任务?

回答 3:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,在代码编写、长链条 Agent 任务、长文档推理上优势明显,支持图文输入,100 万上下文适合超长资料分析。

问题 4:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,这个模型能不能商用?

回答 4:TML 开源 Inkling 2 Mini,循环 Transformer 架构,笔记本就能跑,采用 Apache 2.0 开源协议,允许商用,使用时保留协议声明即可。

【参考资料】

[2026-11-21](TML 开源新模型,循环 Transformer 架构,笔记本就能跑)机器之心

[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网

[2026-11-21](Inkling 2 Mini 模型介绍,HuggingFace 权重发布)新浪财经

[2026-11-21](Inkling 2 Mini 代码 Agent 评测,循环架构推理优势)智东西

【免责声明】

本内容仅整理 TML Inkling 2 Mini 公开发布信息,笔记本运行效果和内存、显卡、量化版本强相关;循环架构推理速度、模型效果会随硬件和提示词变化,Apache2.0 商用请自行完成合规审查,本文不构成选型担保。

本文来自作者[烬簇内核]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/kjyw/202611/5083.html

赞 (6)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 烬簇内核
    烬簇内核 2026年11月21日

    我是乌兰科技网的签约作者“烬簇内核”!

  • 烬簇内核
    烬簇内核 2026年11月21日

    希望本篇文章《TML开源新模型,循环Transformer架构,笔记本就能跑》能对你有所帮助!

  • 烬簇内核
    烬簇内核 2026年11月21日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 烬簇内核
    烬簇内核 2026年11月21日

    本文概览:Thinking Machines Lab(TML)最新开源 Inkling 2 Mini,采用循环 Transformer(Looped Transformer)架构,虽然总参数 26.4B,但是靠复用中间层 + MoE 混合专家设计,激活参数大幅降低,经过量化之后普通笔记本就能离线跑,不用依赖云端,长文本、代码 Agent 推理能力是它的强项。常规 Transformer 是一层一层单向走,每生成一个 token,每层只计算一次;循环 Transformer 思路不一样,整个模型一共 24 层,首尾各 6 层只跑一次,中间 12 层循环跑 3 轮,用同一套权重做多轮推理,相当于用不大的权重体积,拿到更深的推理深度,同时搭配 MoE,每个 token 只激活部分专家,把显存占用压到笔记本可承载范围。它支持图文多模态输入,上下文窗口拉到 100 万 token,许可证是 Apache 2.0,权重上传 Hugging Face,开发者可以直接下载、推理、微调,在代码、智能体任务上的基准成绩超过不少同规模开源模型。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们