英伟达、斯坦福李飞飞团队推出的 RoboTTT(Test-Time-Training Robot Policies),解决了传统机器人记忆很短、转头就忘的痛点,它用快权重(Fast Weights)搭配上下文缩放方案,把机器人视觉 - 运动上下文拉长到 8K 时间步,按照 30Hz 控制频率,大约可以记住 5 分钟内发生的动作、画面和交互过程,而且推理延迟不会跟着上下文变长而增加,真机实验里它可以完成十阶段、持续 5 分钟的装配任务,基线模型全部做不下来,同时还支持看一段人类演示视频就一次性模仿、遇到干扰自动修正策略,是具身智能里长时序机器人策略的重要探索。
一、RoboTTT 基础信息清单
- 项目全称:RoboTTT,Test-Time-Training Robot Policies
- 研发团队:NVIDIA GEAR、斯坦福李飞飞团队、德州大学奥斯汀分校
- 核心机制:测试时训练 TTT + 快权重 Fast Weights
- 上下文长度:8000 时间步,约 5 分钟(30Hz)
- 对比上代:相比之前 SOTA 提升 3 个数量级
- 基准模型:基于 GR00T N1.7 视觉语言动作(VLA)模型改造
- 真机任务:双手装配、多阶段长流程操作
- 核心指标:相比单步基线模型整体任务性能提升 87%
- 关键结论:上下文长度是机器人基础模型新的缩放轴,性能随上下文拉长持续提升,本次实验区间没有饱和
二、快权重和普通模型权重的对比表
| 类型 | 更新时机 | 作用 | 特点 |
|---|---|---|---|
| 慢权重 Slow Weights | 只在预训练阶段更新,推理时冻结 | 模型基础能力、先验知识 | 体量很大,不会随机器人实时动作变化 |
| 快权重 Fast Weights | 训练和推理过程中,每一步都可以梯度更新 | 压缩机器人刚刚看到的画面、动作历史 | 体量小,把时序记忆存在参数里面,不是单独缓存序列 |
三、RoboTTT 整套工作流程
- 基础模型加载:加载已经预训练好的 VLA 机器人基础模型,慢权重保持冻结。
- 启动 TTT 测试时训练层,初始化快权重。
- 机器人运行、采集图像和动作,每一步都用梯度下降小幅更新快权重,把刚刚发生的视觉、动作信息压缩进快权重参数。
- 模型读取快权重里面的历史信息,结合当前画面输出下一步动作,全程推理开销固定,不会因为已经记了几千步而变慢。
- 遇到环境扰动、操作失误,新的观测继续更新快权重,机器人自主调整策略,实现边做边优化。
- 长流程任务结束后,这段 5 分钟的时序记忆会随任务结束失效,它不是永久记忆,是一段连续任务的短时长记忆。
四、RoboTTT 解锁的新能力
- 长时序多阶段装配:连贯完成 5 分钟、10 个工序的装配任务,记住前面做到哪一步、已经装好哪些零件。
- 单视频上下文模仿:只看一段人类操作视频,不用大量重复训练,直接复现整套流程。
- 运行中自我优化:执行过程里出错、被外力干扰,自动把修正信息存入快权重,后续动作避开同类错误。
- 抗扰动能力变强:环境里物品移位、遮挡,机器人记得之前的状态,不容易直接任务崩盘。
五、现存局限
- 不是永久记忆,只有连续任务里的 5 分钟窗口,任务结束记忆失效。
- 依赖 30Hz 稳定控制链路,控制频率变化会改变实际记忆时长。
- 目前验证集中在桌面双手装配这类封闭场景,还没有大规模落地到工业产线、人形机器人复杂环境。
- 快权重的容量存在上限,不能无限拉长上下文。
【相关 FAQ】
问题 1:具身智能 RoboTTT 靠快权重与上下文缩放,能让机器人记住多久的内容?
回答 1:具身智能 RoboTTT 依靠快权重与上下文缩放,支持 8K 时间步的视觉运动上下文,30Hz 控制频率下大约可以记住 5 分钟内机器人看到的画面和动作。
问题 2:RoboTTT 里的快权重是什么,和普通慢权重有什么区别?
回答 2:RoboTTT 的快权重是推理阶段也可以梯度更新的小型参数,用来压缩时序记忆;慢权重是预训练完成后推理冻结的基础模型参数,只存放通用先验知识。
问题 3:RoboTTT 上下文缩放,会不会让机器人推理速度变慢?
回答 3:RoboTTT 上下文缩放方案不会增加推理延迟,它把历史信息压缩进快权重,不是逐个缓存历史帧做注意力计算,上下文拉长但推理开销保持稳定。
问题 4:RoboTTT 在具身智能真机实验里,对比传统机器人策略效果怎么样?
回答 4:RoboTTT 真机实验相比单步上下文基线,整体任务性能提升 87%,是唯一可以完整跑完 5 分钟十阶段装配任务的方案,传统基线模型全部无法完成。
【参考资料】
[2026-11-12](让机器人记住五分钟前发生了什么:RoboTTT 的快权重与上下文缩放)CSDN 博客
[2026-07-27](Jim Fan、李飞飞团队新作:机器人也能「上下文 scaling」)36 氪
[2026-07-17](RoboTTT: Context Scaling for Robot Policies)智源社区
【免责声明】
本文仅整理 RoboTTT 公开论文与实验信息,5 分钟记忆是特定 30Hz 控制频率下的实验结果,不是通用永久记忆;该方案目前处于科研验证阶段,不构成工业机器人、人形机器人选型和落地建议,实际效果受硬件、控制频率、场景影响。
本文来自作者[光涡寻址人]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/bdt/202611/3210.html
评论列表(4条)
我是乌兰科技网的签约作者“光涡寻址人”!
希望本篇文章《具身智能 RoboTTT 依靠快权重与上下文缩放,让机器人记住五分钟内的视觉运动历史》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:英伟达、斯坦福李飞飞团队推出的 RoboTTT(Test-Time-Training Robot Policies),解决了传统机器人记忆很短、转头就忘的痛点,它用快权重(Fast Weights)搭配上下文缩放方案,把机器人视觉 - 运动上下文拉长到 8K 时间步,按照 30Hz 控制频率,大约可以记住 5 分钟内发生的动作、画面和交互过程,而且推理延迟不会跟着上下文变长而增加,真机实验里它可以完成十阶段、持续 5 分钟的装配任务,基线模型全部做不下来,同时还支持看一段人类演示视频就一次性模仿、遇到干扰自动修正策略,是具身智能里长时序机器人策略的重要探索。