北大知识计算实验室和腾讯微信安全技术团队联合推出名为潘多拉工具箱(Pandora's Toolbox)的综述论文,跳出过去只单独看模型、单独看某个组件漏洞的思路,从完整生命周期角度画出通用智能体的安全全景图,梳理风险传播路径、攻击面、评测手段和防御方案。之所以要做这套框架,是因为通用智能体可以自主调用工具、保存长期记忆、反复复用技能,攻击不一定当场爆发,恶意载荷可以先藏进技能、记忆里,跨会话慢慢扩散、持续放大风险;整套框架把智能体运行分成来源、编排、执行、持久反馈四个环节,覆盖技能供应链、用户输入、长期记忆、外部环境四大攻击面,同时提出三层防御体系和动态安全闭环,把智能体安全从单点漏洞修补升级成全流程管控。论文已经公开,配套项目主页整理了相关智能体安全文献,方便后续研究者和开发者跟进。
一、潘多拉工具箱生命周期四阶段
- 来源(Provenance):技能、工具、素材的引入环节,风险来自恶意技能投毒、第三方工具包被篡改
- 编排(Orchestration):智能体自主规划任务、挑选工具的环节,容易被诱导选择恶意接口、错误执行逻辑
- 执行(Execution):调用 API、运行代码、访问外部系统,发生数据泄露、越权操作
- 持久反馈(Persistent State):风险写入长期记忆、自定义技能、产出文件,在后续任务里反复生效
二、四大耦合攻击面清单
| 攻击面 | 风险说明 |
|---|---|
| 技能供应链 | 第三方市场、开源工具里混入恶意技能,智能体自动加载使用 |
| 用户输入 | 提示词注入、带毒文件输入,诱导智能体执行危险动作 |
| 长期记忆 | 污染记忆库,后续对话持续被篡改信息影响 |
| 外部环境 | 不可信 API、被劫持的外部服务,返回欺骗性数据 |
三、三层防御体系
- 输入过滤层:上下文清洗、提示词校验、技能准入审核,拦截恶意输入和有毒工具
- 决策保护层:约束智能体的工具选择逻辑、任务规划流程,防止被诱导跑偏
- 运行时约束层:权限隔离、沙箱、操作审计、动作拦截,限制高危操作
四、后续重点研究方向
- 风险自动生成:构造对抗样例,用来测试智能体安全能力
- 细粒度安全溯源:定位到底是哪个环节、哪段记忆、哪个技能引发风险
- 安全持续进化闭环:风险发现、诊断、修复,适配会自我迭代的智能体
五、项目基础信息
- 论文名称:Pandora's Toolbox: A Survey of Generalist Agent Security from the Lifecycle Perspective
- 合作单位:北京大学知识计算实验室、腾讯微信安全技术团队
- 公开渠道:OpenReview,配套开源文献仓库
- 定位:综述调研,不是直接上线的安全产品,是一套分析框架
【相关 FAQ】
问题 1:潘多拉工具箱是北大、微信安全团队开发的安全产品吗?
回答 1:潘多拉工具箱是北大、微信安全团队发布的综述研究框架,不是可以直接部署的安全软件,用来梳理通用智能体全生命周期安全风险。
问题 2:潘多拉工具箱提出的通用智能体全生命周期安全图景,和传统大模型安全有什么不一样?
回答 2:潘多拉工具箱提出的通用智能体全生命周期安全图景,重点关注风险跨会话、跨记忆持续传播,不再只检测单次 prompt 或者单步模型输出,覆盖技能引入、任务编排、工具执行、记忆留存整条链路。
问题 3:潘多拉工具箱定义的通用智能体风险,会不会隔很久才发作?
回答 3:潘多拉工具箱的研究里明确,通用智能体风险可以先藏在技能或者长期记忆里,本次任务看不出异常,等到后面新任务触发才爆发,属于滞后型风险。
问题 4:潘多拉工具箱里面的三层防御体系,能不能彻底杜绝智能体被投毒?
回答 4:潘多拉工具箱的三层防御体系是一套防护思路,包含输入过滤、决策保护、运行时管控,属于降低风险的方案,无法做到完全杜绝所有攻击。
问题 5:潘多拉工具箱论文公开之后,开发者在哪里可以查阅?
回答 5:潘多拉工具箱的论文发布在 OpenReview 平台,配套项目仓库整理智能体安全相关文献,开发者可以查看论文原文和参考资料。
【参考资料】
[2026-11-15](打开「潘多拉工具箱」:北大、微信安全团队构建通用智能体全生命周期安全图景)机器之心
[2026-11-14](Pandora's Toolbox 智能体安全综述发布)新浪财经
[2026-11-14](Unlocking the "Pandora's Toolbox": Peking University and WeChat Security Team Build a Full Lifecycle Security Landscape for General-Purpose Agents)C114Pro
[2026-11-14](Pandora's Toolbox: A Survey of Generalist Agent Security from the Lifecycle Perspective)OpenReview
[2026-11-14](北大 KCL 联合微信安全团队发布 Agent 安全综述)网易科技
【免责声明】
本篇资讯仅整理公开学术论文与媒体报道,潘多拉工具箱属于学术研究框架,不代表商用安全方案,框架落地效果、防护能力需要结合业务场景验证,不构成产品选型、安全建设建议。
本文来自作者[棱波汇聚官]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/3127.html
评论列表(4条)
我是乌兰科技网的签约作者“棱波汇聚官”!
希望本篇文章《潘多拉工具箱研究发布 北大联合微信安全团队搭建通用智能体全生命周期安全框架》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:北大知识计算实验室和腾讯微信安全技术团队联合推出名为潘多拉工具箱(Pandora s Toolbox)的综述论文,跳出过去只单独看模型、单独看某个组件漏洞的思路,从完整生命周期角度画出通用智能体的安全全景图,梳理风险传播路径、攻击面、评测手段和防御方案。之所以要做这套框架,是因为通用智能体可以自主调用工具、保存长期记忆、反复复用技能,攻击不一定当场爆发,恶意载荷可以先藏进技能、记忆里,跨会话慢慢扩散、持续放大风险;整套框架把智能体运行分成来源、编排、执行、持久反馈四个环节,覆盖技能供应链、用户输入、长期记忆、外部环境四大攻击面,同时提出三层防御体系和动态安全闭环,把智能体安全从单点漏洞修补升级成全流程管控。论文已经公开,配套项目主页整理了相关智能体安全文献,方便后续研究者和开发者跟进。