[CVPR 2025] OpenFrontier：无需训练，靠“视觉边界点”让机器人直觉化导航

TL;DR

OpenFrontier 重新定义了机器人导航的“中间件”。通过将复杂的语言指令转化到 2D 图像中的 视觉边界点（Visual Frontiers） 上进行打分，它绕过了沉重的 3D 语义建图和昂贵的策略训练。该框架在无需任何微调的情况下，在 HM3D 场景中跑赢了众多经过大量数据训练的模型，并在真实波士顿动力 Spot 机器人上完成了从“找微波炉”到“找灭火器”的无缝迁移。

1. 痛点：深陷 3D 重建与训练泥潭

长久以来，自主导航领域存在两个极端的阵营：

• 经典派：依赖密集的 3D 重建。但这就像是在森林里必须先画出一张高清地图才能走路，计算资源消耗极大，且一旦遇到小物体或环境变化，地图就容易崩塌。
• 学习派 (VLN/VLA)：试图用端到端神经网络一步到位解决感知与控制。然而，这需要天文数字级别的交互数据，且模型容易学到“捷径”，面对没见过的客厅可能就成了“没头苍蝇”。

OpenFrontier 的作者提出一个深刻的洞察：视觉语言模型（VLM）擅长理解 2D 图像上下文，但不擅长三维空间推理。 那么，为什么不直接在 2D 图像上找“路口”，让 VLM 告诉我们哪个路口看起来更像能通往目标呢？

2. 核心方案：Frontiers 作为语义锚点

OpenFrontier 的工作流可以看作是机器人版的“看图说话 + 路径规划”：

2.1 图像空间中的子目标识别

系统不再构建复杂的体素地图，而是在当前 RGB 帧中检测 Frontiers（边界点） —— 即已知空间与未知空间的交界处。

图 1：OpenFrontier 系统全景图。左侧为图像空间推理，右侧为 3D 空间管理。

2.2 Set-of-Marks 视觉引导

为了让 VLM（如 Gemini 2.5 Flash 或 InternVL）能够精准理解这些边界点，作者采用了 Set-of-Marks 技术：在图像的每个边界位置打上字母标签（A, B, C...），询问 VLM：“如果你想找一张‘床’，你应该走哪个标号的方向？” 这种方式利用了 VLM 极其强大的 2D 语义对齐能力，直接得到了每个边界点的 语义相关性概率 $p_i$。

2.3 几何与语义的平衡

最终的边界点评估公式非常直观： $g_i=p_i\cdot {\hat{g}}_i$ 其中 ${\hat{g}}_i$ 是这一块位置能带来的探索收益（即走过去能看到多少新区域）。通过简单的乘法，机器人就能在“寻找目标”和“探索地图”之间达成动态平衡。

3. 实验结果：简单即是强大

在 Habitat 仿真环境中的 HM3D 物体导航测试中，OpenFrontier 的表现令人惊讶：

表 1：Habitat 基准测试对比。OpenFrontier 在多项指标上领先。

• 性能碾压：相比于需要维护复杂 3D 场景图的 UniGoal，OpenFrontier 的成功率（SR）提升了 20% 以上。
• 模型透明度：该系统不挑 VLM。无论你是用商用的 Gemini，还是开源的 InternVL3.5，系统性能都非常稳健（SR 维持在 74%-77%）。这证明了“边界点”这种抽象接口具有极强的普适性。

4. 深度洞察：为什么这种做法奏效？

1. 降维打击：将 3D 建图压力转化为了 2D 的分类/概率打分任务。VLM 就像一个经验丰富的探险家，它通过照片里的门框、地板颜色、家具布局，就能直觉性地判断“洗手间可能在走廊左侧”。
2. 稀疏表示：Frontiers 是稀疏的。相比逐像素处理，系统只需要评估 5-10 个关键点，这极大地降低了计算延迟，使得实时导航成为可能。
3. 物理接地性（Grounding）：Frontier 天然就是“可到达”的区域。这解决了 VLM 导航中常见的“幻觉”问题——VLM 可能看出了目标，但不知道下一步该怎么挪动轮子。

5. 局限性与未来展望

OpenFrontier 也并非完美。目前的短板在于：

• 终止判断：有时机器人已经看到了目标，但由于分割模型的误差，它可能无法正确发出“STOP”指令。
• 故障恢复：一旦陷入死循环或局部最优，目前的框架缺乏一种“高层语义反思”机制来跳出困境。

总结：OpenFrontier 证明了，在现有的基础模型（Foundation Models）时代，我们可能不再需要为了特定任务去训练一个超大的动作模型，通过合理的 物理语义接口（Frontiers），基础模型本身就足以胜任复杂的现实导航任务。