阅读论文样式修改
访问 Github 仓库

1 背景与动机

安全可信是具身智能落地的生命线。然而,在真实物理世界中开展攻防演练,往往面临成本高昂与风险不可控的双重挑战,构建高效、可靠的虚拟演练场因此成为行业发展的必经之路。

当前的具身智能虚拟环境却深陷两难困境:

  • 传统仿真环境:受限于资产匮乏、可操作对象有限,高度依赖人工建模,难以复现千变万化的真实场景;
  • 生成式世界模型(如 Genie 3):虽展现出惊人的想象力,但其并非对现实的精准孪生,无法支撑特定场景(如自家客厅、特定工厂车间)的攻防演练。

为突破这一瓶颈,上海人工智能实验室正式开源 SafeVerse ——全球首个面向安全可信具身智能研究的实战平台。

SafeVerse 开辟了一条“重建 + 编辑”的全新技术路径:它不追求生成无穷的想象世界,而是专注于将任意指定的真实物理世界,进行快速、低成本的“数字孪生”。

通过 SafeVerse,一段普通视频即可在分钟级内转化为可交互、符合物理规律的 3D 演练场,并支持在线攻防对抗与智能体进化。这是业界首个真正打通“真实场景数字化 → 自动化攻防演练 → 智能体在线进化”全闭环的开源平台,为具身智能的安全落地提供了坚实底座。

2 SafeVerse 的三大核心突破

不同于生成式模型不仅无法精准复刻真实场景,且难以进行细粒度的物体操作,SafeVerse 实现了三大核心突破:

  • 🎮 真实世界的“Ctrl+C, Ctrl+V”
    仿真环境精准复刻真实世界的结构与语义。这不仅是视觉上的逼真,更是物理交互层面的对齐。

  • ⚡️ 分钟级构建,万物皆可动
    只需一段视频,即可在分钟级时间内构建出指定的真实场景。且场景内具备部件级的可操作性(门可开、灯可关、椅子可移),绝非静态背景板。

  • 🛡️ “评测-攻防-进化”一体化
    支持遵循攻防指令动态变换场景(如突然移动障碍物、改变光照),支持在线 RL 训练,让智能体在对抗中通过“吃一堑长一智”实现安全与能力的协同进化。

3 快速构建操作级孪生场景

让虚拟演练产生价值的第一步,是能够将人们关心的真实场景——例如一段室内环境的录像——快速、精准地转化为智能体可以进入并交互的数字孪生世界。

传统方案受限于繁琐的人工建模与贫瘠的交互逻辑,构建慢、失真高、互动浅,让安全测试沦为“纸上谈兵”。而 SafeVerse 彻底打破了这一僵局,用“视频输入 + 分钟级输出”的高效模式,让真实场景的数字化复刻变得简单直接。

**让 AI 真正“看懂”视频:**团队摒弃了在三维层面进行复杂优化的传统路径,转而利用多模态大模型的强大认知能力,作为“视觉理解中枢”。它能智能解析视频中的物体,实现稳定、连贯且语义精准的识别与追踪,确保从真实世界到数字世界的“信息转换”既准确又高效,奠定了高一致性重建的基石。

**让虚拟世界“活”起来:**基于拥有丰富物理规则的 Minecraft 平台,团队通过独创的技术管线,将视频中识别出的物体,自动生成或匹配为视觉逼真、细节丰富的三维模型,并赋予它们符合真实物理规则的交互属性(如可开关的灯具、可移动的椅子)。这不是一个静态的模型展厅,而是一个等待智能体进入、探索、交互的动态操作沙盒。

这一创新流程使得 SafeVerse 能够将指定真实场景的数字化构建时间缩短至分钟级,同时保留场景的视觉语义一致性,并原生具备深度、灵活的可操作性能。这为后续的攻防演练与智能体进化,提供了一个与真实世界高度对齐的可靠起点。

图1 :根据输入视频快速得到可交互的三维场景

4 遵循攻防指令的场景编辑

要让虚拟演练真正作用于现实安全,仅复原静态场景远远不够。关键在于能否根据攻防测试的具体需求,对数字孪生环境进行灵活、精准且高效的编辑与调整。

传统方案往往陷入两难:基于真实扫描的环境虽视觉逼真,但几何与语义一经生成便难以改动;而可高度编辑的程序化生成环境,又常丢失真实场景独有的结构细节与语义逻辑,导致测试与实战脱节。

SafeVerse 首次实现“真实性”与“可编辑性”的统一,让攻防指令能直接驱动场景的瞬息万变,为安全验证提供了前所未有的动态试验场。

**让编辑指令“直达”场景:**在已构建的孪生场景基础上,用户可依据攻防想定,直接对场景物体进行多维度修改。无论是调整物体交互属性、改变其视觉外观,还是重新布局空间关系,都无需复杂的手工建模或代码重写,真正实现了“所想即所得”的场景编辑。

**让攻击向量“精准”注入:**围绕具身智能的核心能力维度——导航、规划、交互,系统化定义与之匹配的攻击编辑手段。例如,可一键“攻击”物体的交互方式(如将可开门变为锁死)、悄然“篡改”场景语义(如更换物品外观以误导识别)、或突然“打乱”场景布局(如重置物品位置以干扰路径规划)。每一种编辑,都是对智能体在真实复杂环境中应变能力的一次针对性压力测试。

这一能力使得 SafeVerse 不仅能快速复现真实场景,更能让其根据攻防演训的深度需求“活”起来,动态生成各种边界案例与对抗性环境。这为智能体在高度拟真且充满变数的场景中完成进化,提供了至关重要、灵活可控的演兵场。

图2 根据攻击指令快速编辑三维场景

5 针对漏洞的在线进化

现有具身智能体的传统训练方法,大多依赖于固定的数据集与静态场景,缺乏在持续对抗压力下的实时适应与进化能力。智能体一旦遭遇训练阶段未覆盖的新型攻击或环境突变,往往表现出灾难性的性能衰减,使其在真实安防场景中难以应对瞬息万变的实战挑战。

SafeVerse 通过构建“重建‑攻击‑抗攻击”的闭环协同进化体系,彻底改变了这一局面,让智能体在高度拟真的孪生场景中实现持续、自主的强化与升级。

**从静态训练到动态对抗:**团队摒弃传统离线训练中“闭门造车”的固化模式,将高保真重建环境无缝接入在线对抗训练框架。在这一体系中,智能体不再面对一成不变的场景与任务,而是持续接受由攻击策略模块动态生成的、不断演变的威胁挑战——例如实时改变场景布局、增设障碍物、模拟设备故障等。这种“永远在变化”的训练环境,迫使智能体必须学会实时感知、决策与适应,从而逐步掌握应对未知威胁的泛化能力。

**让智能体在压力中自我迭代:**基于在线训练框架,智能体在遭遇攻击失败后,可立即在孪生场景中进行针对性再训练与行为调整,实现“遭遇问题‑分析漏洞‑在线修补”的快速迭代循环。例如,当攻击手段将咖啡厅中的椅子堵住必经通道时,智能体首次可能被阻挡而无法抵达目标;但通过在线训练,模型将自主学会识别障碍、规划绕行或主动移开椅子,进而重建通往目标的路径。这一过程不仅提升了智能体在特定场景下的应对能力,更促使其形成应对类障碍的通用策略。

SafeVerse 通过“场景重建‑实时攻击‑在线进化”的闭环,不仅解决了智能体在未知威胁面前脆弱失效的难题,更构建起一个可持续、自适应、不断进化的数字孪生训练生态。这为智能体从“模仿者”向“应对者”的蜕变提供了关键技术路径。

图3 在线进化后智能体成功完成任务(主动移开椅子)

SafeVerse全动态过程