这份 VLM 记忆机制最新综述提出了一套统一的四维分类框架,不再单纯按网络结构、任务类型划分,而是从 When(记忆的时间维度)、Where(记忆存储位置)、What(记忆承载信息)、How(读写更新调用流程)四个维度梳理视觉语言模型的记忆体系,解决了长期以来 VLM 长视频理解、多轮多模态对话、具身智能机器人容易遗忘画面信息、上下文窗口受限的痛点;这套框架可以统一梳理已有的记忆方案,方便研究者对比不同记忆架构的优劣,也能用来评估长视频问答、智能体交互、机器人场景下 VLM 的记忆能力,是目前 VLM 记忆方向覆盖面比较完整的系统性综述。
四维框架核心对照表
| 维度 | 英文 | 核心含义 | 典型问题 |
|---|---|---|---|
| 时间维度 | When | 记忆在什么时间段保留、有效期多长 | 是短期上下文记忆,还是长期永久记忆?什么时候遗忘、什么时候保留? |
| 存储维度 | Where | 记忆放在哪个模块、哪个位置 | 放在上下文窗口、KV 缓存、独立向量库,还是模型内部可学习模块? |
| 内容维度 | What | 记忆存储的是什么信息 | 原始画面帧、视觉特征、事件摘要、空间位置、语义知识? |
| 流程维度 | How | 记忆写入、检索、更新、淘汰的整套机制 | 怎么存、怎么查、怎么更新,怎么淘汰过时无效记忆? |
四个维度详细拆解
1. When(时间维度:记忆的存活周期)
- 短期记忆:上下文窗口内的 KV 缓存,只在单次推理过程有效,对话结束就清空,适合短图、短视频问答。
- 中期记忆:会话级记忆,同一个对话会话全程保留,会话关闭后清除,适合多轮图文聊天。
- 长期记忆:跨会话持久存储,永久保存事件、物体、场景信息,适合机器人、长期视频记录、个性化多模态助手。
- 时间策略:综述里提到的时序过滤、时间衰减、时序索引,就是用来控制记忆什么时候保留、什么时候自动遗忘。
2. Where(存储维度:记忆存放位置)
- 原生上下文窗口:直接把图片、视频 token 塞进 prompt,优点是原生兼容,缺点是长度上限很低,长视频容易爆显存。
- KV 缓存压缩记忆:对视觉 KV 做压缩、重采样,在 Transformer 内部保留,不额外外接数据库。
- 独立外部向量库(RAG):视觉特征、图文摘要存入向量数据库,推理时按需检索,是现在 VLM 智能体最主流方案。
- 模型内置可学习记忆模块:额外增加记忆嵌入、记忆 bank,权重跟着模型一起训练,属于内生记忆。
3. What(内容维度:记忆存什么信息)
- 原始观测:原图、视频片段、原始视觉 patch,信息保真最高,但占用空间巨大。
- 视觉特征:图像编码器输出的高维向量,保留画面空间细节,不直接存原图。
- 情节事件记忆:带时间、地点、主体的事件摘要,比如 “下午 3 点在桌上看到红色杯子”,对应 When+Where+What。
- 语义记忆:抽象概念、常识、物体属性,不绑定某一次拍摄画面。
- 空间记忆:物体相对位置、场景布局,机器人导航、场景理解非常依赖这类记忆。
4. How(流程维度:记忆全生命周期操作)
- 编码:把图像、视频、对话转成统一记忆向量或者结构化记录。
- 写入:判断这条信息要不要存入记忆,过滤冗余内容。
- 检索:根据用户提问,按时间、空间、语义相似度召回相关记忆片段。
- 融合:把检索到的记忆和当前画面、问题一起送入 VLM 推理。
- 巩固 / 更新:旧记忆和新观测冲突时,更新或者覆盖原有记录。
- 遗忘 / 淘汰:容量满了的时候,按照时间、重要性淘汰低价值记忆,控制成本。
综述梳理的主流应用场景
- 长视频理解:几十分钟、几小时视频问答,不需要一次性加载全部帧,按需调取记忆。
- 多模态长期对话:跨轮次、跨会话记住之前聊过的图片、看到的物体。
- 具身智能 / 机器人:记住环境布局、之前见过的物体、历史操作,完成长时序任务。
- 多模态智能体:工具调用、规划任务,依靠记忆回溯历史动作和观测结果。
现存挑战与未来方向
- 时空对齐难:同时匹配时间、地点、物体的检索精度不足,容易召回无关画面。
- 视觉遗忘问题:随着对话变长,早期视觉信号被文本稀释,也就是视觉信号衰减。
- 存储成本权衡:存原图细节足但太贵,只存摘要容易丢失关键视觉细节。
- 自适应遗忘:怎么让模型像人一样,主动忘记不重要信息、记住关键事件,目前还没有成熟方案。
【相关 FAQ】
问题 1:VLM 记忆机制最新综述的 When、Where、What、How 四维框架,分别代表什么?
回答 1:VLM 记忆机制最新综述里,When 代表记忆的时间保留周期,Where 代表记忆存储位置,What 代表记忆存储的信息类型,How 代表记忆编码、写入、检索、更新、淘汰的整套运行流程。
问题 2:VLM 记忆机制最新综述里,VLM 长期记忆一般存在哪里?
回答 2:VLM 记忆机制最新综述中,VLM 长期记忆大多放在外部向量库,也有方案采用模型内置记忆 bank;短期记忆大多放在上下文窗口或者压缩后的 KV 缓存里面。
问题 3:VLM 记忆机制最新综述提到的视觉遗忘,是什么现象?
回答 3:VLM 记忆机制最新综述提到的视觉遗忘,就是随着对话、视频长度增加,早期的视觉特征在推理过程中被文本信息稀释,模型慢慢丢失前面画面里的细节信息。
问题 4:VLM 记忆机制最新综述这套四维框架,主要用来解决什么痛点?
回答 4:VLM 记忆机制最新综述的四维框架,用来统一梳理不同 VLM 记忆方案,解决长视频理解、多轮图文对话、机器人具身智能里面上下文窗口有限、画面信息容易遗忘、难以跨时序推理的痛点。
【参考资料】
[2026-07-22](Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications)Preprints.org
[2026-10-15](Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning)arXiv
[2026-05-20](Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs)arXiv
[2026-03-28](Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism)arXiv
【免责声明】
本文 VLM 记忆机制综述解读内容基于公开预印论文,四维框架为学术分类思路,不同 VLM 模型的记忆实现方案存在差异;相关技术还处在前沿研究阶段,没有统一工业标准,内容仅为学术科普,不代表产品落地效果,不构成技术选型建议。
本文来自作者[尘构时序]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/3219.html
评论列表(4条)
我是乌兰科技网的签约作者“尘构时序”!
希望本篇文章《VLM 记忆机制最新综述从 When、Where、What、How 四维解析视觉语言模型记忆》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:这份 VLM 记忆机制最新综述提出了一套统一的四维分类框架,不再单纯按网络结构、任务类型划分,而是从 When(记忆的时间维度)、Where(记忆存储位置)、What(记忆承载信息)、How(读写更新调用流程)四个维度梳理视觉语言模型的记忆体系,解决了长期以来 VLM 长视频理解、多轮多模态对话、具身智能机器人容易遗忘画面信息、上下文窗口受限的痛点;这套框架可以统一梳理已有的记忆方案,方便研究者对比不同记忆架构的优劣,也能用来评估长视频问答、智能体交互、机器人场景下 VLM 的记忆能力,是目前 VLM 记忆方向覆盖面比较完整的系统性综述。