WorldComposer：从全景图到交互式世界，开启机器人泛化学习的新纪元

TL;DR

北京大学与 Lightwheel 的研究团队推出了 WorldComposer，一个能够仅凭一张现实世界全景图，就生成无数个“高保真衍生场景”（Digital Cousins）的框架。它不仅解决了机器人训练数据难获取的问题，还通过极其真实的物理模拟（支持流体、柔性体），让在模拟器中训练出的机器人策略，能在现实世界中展现出惊人的泛化能力。

1. 痛点：机器人的“新房恐惧症”

目前的机器人策略（Policy）往往在特定实验室环境下表现完美，但一旦换个房间、挪个杯子，成功率就会暴跌。这是因为：

• 数据采集贵：搬运资产、重构环境需要大量人力。
• 数字孪生（Digital Twin）太孤独：传统的 Real-to-Sim 只能一比一还原一个场景，缺乏多样性，模型极易产生过拟合（Overfitting）。

2. 核心创新：衍生场景（Digital Cousins）

不同于简单的“数字孪生”，Digital Cousins 强调的是“神似而形不全同”。

2.1 自动化 Real-to-Sim 映射

WorldComposer 利用 Marble 世界模型，将单视角全景图转化为 3D Gaussian Splatting（用于照片级渲染）和 Collision Mesh（用于物理碰撞）。

2.2 提示词驱动的编辑

用户只需输入“一个木质纹理的厨房”或“现代风格布局”，框架就能基于原场景生成结构合理但视觉、材质截然不同的衍生场景。这种“一变多”的能力为 Domain Randomization 提供了更具语义逻辑的基础。

2.3 多房拼接（Multi-Room Stitching）

为了支持长程导航（Long-horizon Navigation），研究者引入了基于 LightGlue 特征匹配和 ICP（迭代最近点） 细化的拼接算法，将多个房间的模拟环境无缝融合。

3. 高保真物理交互：不只是“看上去很美”

WorldComposer 并不满足于静态渲染。它集成了一个庞大的资产库：

• 关节体（Articulated）：可以开关的微波炉、抽屉。
• 柔性体与流体：利用 PBD 和 FEM 算法模拟折叠衣服、倒水甚至切香肠等复杂任务。

4. 实验证明：仿真不仅是训练集，更是试金石

研究团队评估了 ACT, Diffusion Policy, SmolVLA 和 ${\pi }_0$ 等多种主流策略，得出了两个震撼的结论：

4.1 泛化性能的阶跃

在“摆放餐具”任务中，随着生成的 Digital Cousin 数据增加，机器人应对未见场景的能力线性提升。

4.2 极高的 Sim-Real 相关性

Pearson 相关系数 $r=0.91$！这意味着在那套衍生场景模拟器里表现差的模型，在现实中一定不行。这为大规模、低成本的机器人策略评估提供了科学依据。

5. 总结与展望

WorldComposer 的成功标志着数据增广（Data Augmentation）正在从朴素的图像扰动演进为世界生成。通过构建“Digital Cousins”，我们能够以极低的成本为机器人提供无尽的任务池。

局限性：尽管目前在场景结构上做到了多样性，但在复杂纹理的交界处（如房间连接处）仍存在些许不连续现象。 未来展望：团队计划引入 3D 语义分割实现实例级的物体替换，并探索端到端的 3DGS 优化，让生成的交互场景更加丝滑。

作者：资深学术技术主编 @ Robot Learning Lab