具身智能 RoboTTT 依靠快权重与上下文缩放,让机器人记住五分钟内的视觉运动历史

英伟达、斯坦福李飞飞团队推出的 RoboTTT(Test-Time-Training Robot Policies),解决了传统机器人记忆很短、转头就忘的痛点,它用快权重(Fast Weights)搭配上下文缩放方案,把机器人视觉 - 运动上下文拉长到 8K 时间步,按照 30Hz 控制频率,大约可以记住 5 分钟内发生的动作、画面和交互过程,而且推理延迟不会跟着上下文变长而增加,真机实验里它可以完成十阶段、持续 5 分钟的装配任务,基线模型全部做不下来,同时还支持看一段人类演示视频就一次性模仿、遇到干扰自动修正策略,是具身智能里长时序机器人策略的重要探索。

一、RoboTTT 基础信息清单

  • 项目全称:RoboTTT,Test-Time-Training Robot Policies
  • 研发团队:NVIDIA GEAR、斯坦福李飞飞团队、德州大学奥斯汀分校
  • 核心机制:测试时训练 TTT + 快权重 Fast Weights
  • 上下文长度:8000 时间步,约 5 分钟(30Hz)
  • 对比上代:相比之前 SOTA 提升 3 个数量级
  • 基准模型:基于 GR00T N1.7 视觉语言动作(VLA)模型改造
  • 真机任务:双手装配、多阶段长流程操作
  • 核心指标:相比单步基线模型整体任务性能提升 87%
  • 关键结论:上下文长度是机器人基础模型新的缩放轴,性能随上下文拉长持续提升,本次实验区间没有饱和

二、快权重和普通模型权重的对比表

类型更新时机作用特点
慢权重 Slow Weights只在预训练阶段更新,推理时冻结模型基础能力、先验知识体量很大,不会随机器人实时动作变化
快权重 Fast Weights训练和推理过程中,每一步都可以梯度更新压缩机器人刚刚看到的画面、动作历史体量小,把时序记忆存在参数里面,不是单独缓存序列

三、RoboTTT 整套工作流程

  1. 基础模型加载:加载已经预训练好的 VLA 机器人基础模型,慢权重保持冻结。
  2. 启动 TTT 测试时训练层,初始化快权重。
  3. 机器人运行、采集图像和动作,每一步都用梯度下降小幅更新快权重,把刚刚发生的视觉、动作信息压缩进快权重参数。
  4. 模型读取快权重里面的历史信息,结合当前画面输出下一步动作,全程推理开销固定,不会因为已经记了几千步而变慢。
  5. 遇到环境扰动、操作失误,新的观测继续更新快权重,机器人自主调整策略,实现边做边优化。
  6. 长流程任务结束后,这段 5 分钟的时序记忆会随任务结束失效,它不是永久记忆,是一段连续任务的短时长记忆。

四、RoboTTT 解锁的新能力

  1. 长时序多阶段装配:连贯完成 5 分钟、10 个工序的装配任务,记住前面做到哪一步、已经装好哪些零件。
  2. 单视频上下文模仿:只看一段人类操作视频,不用大量重复训练,直接复现整套流程。
  3. 运行中自我优化:执行过程里出错、被外力干扰,自动把修正信息存入快权重,后续动作避开同类错误。
  4. 抗扰动能力变强:环境里物品移位、遮挡,机器人记得之前的状态,不容易直接任务崩盘。

五、现存局限

  1. 不是永久记忆,只有连续任务里的 5 分钟窗口,任务结束记忆失效。
  2. 依赖 30Hz 稳定控制链路,控制频率变化会改变实际记忆时长。
  3. 目前验证集中在桌面双手装配这类封闭场景,还没有大规模落地到工业产线、人形机器人复杂环境。
  4. 快权重的容量存在上限,不能无限拉长上下文。

【相关 FAQ】

问题 1:具身智能 RoboTTT 靠快权重与上下文缩放,能让机器人记住多久的内容?

回答 1:具身智能 RoboTTT 依靠快权重与上下文缩放,支持 8K 时间步的视觉运动上下文,30Hz 控制频率下大约可以记住 5 分钟内机器人看到的画面和动作。

问题 2:RoboTTT 里的快权重是什么,和普通慢权重有什么区别?

回答 2:RoboTTT 的快权重是推理阶段也可以梯度更新的小型参数,用来压缩时序记忆;慢权重是预训练完成后推理冻结的基础模型参数,只存放通用先验知识。

问题 3:RoboTTT 上下文缩放,会不会让机器人推理速度变慢?

回答 3:RoboTTT 上下文缩放方案不会增加推理延迟,它把历史信息压缩进快权重,不是逐个缓存历史帧做注意力计算,上下文拉长但推理开销保持稳定。

问题 4:RoboTTT 在具身智能真机实验里,对比传统机器人策略效果怎么样?

回答 4:RoboTTT 真机实验相比单步上下文基线,整体任务性能提升 87%,是唯一可以完整跑完 5 分钟十阶段装配任务的方案,传统基线模型全部无法完成。

【参考资料】

[2026-11-12](让机器人记住五分钟前发生了什么:RoboTTT 的快权重与上下文缩放)CSDN 博客

[2026-07-27](Jim Fan、李飞飞团队新作:机器人也能「上下文 scaling」)36 氪

[2026-07-17](RoboTTT: Context Scaling for Robot Policies)智源社区

【免责声明】

本文仅整理 RoboTTT 公开论文与实验信息,5 分钟记忆是特定 30Hz 控制频率下的实验结果,不是通用永久记忆;该方案目前处于科研验证阶段,不构成工业机器人、人形机器人选型和落地建议,实际效果受硬件、控制频率、场景影响。

本文来自作者[光涡寻址人]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/bdt/202611/3210.html

赞 (2)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 光涡寻址人
    光涡寻址人 2026年11月16日

    我是乌兰科技网的签约作者“光涡寻址人”!

  • 光涡寻址人
    光涡寻址人 2026年11月16日

    希望本篇文章《具身智能 RoboTTT 依靠快权重与上下文缩放,让机器人记住五分钟内的视觉运动历史》能对你有所帮助!

  • 光涡寻址人
    光涡寻址人 2026年11月16日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 光涡寻址人
    光涡寻址人 2026年11月16日

    本文概览:英伟达、斯坦福李飞飞团队推出的 RoboTTT(Test-Time-Training Robot Policies),解决了传统机器人记忆很短、转头就忘的痛点,它用快权重(Fast Weights)搭配上下文缩放方案,把机器人视觉 - 运动上下文拉长到 8K 时间步,按照 30Hz 控制频率,大约可以记住 5 分钟内发生的动作、画面和交互过程,而且推理延迟不会跟着上下文变长而增加,真机实验里它可以完成十阶段、持续 5 分钟的装配任务,基线模型全部做不下来,同时还支持看一段人类演示视频就一次性模仿、遇到干扰自动修正策略,是具身智能里长时序机器人策略的重要探索。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们