[CVPR 2024] Pointer-CAD：像工程师一样“点选”建模，突破自回归 CAD 生成的拓扑瓶颈

TL;DR

长期以来，基于大语言模型（LLM）的 CAD 生成一直面临两大顽疾：一是不支持需要“点选实体”的复杂操作（如圆角、倒角）；二是参数量化导致的几何缝隙（拓扑不连续）。Pointer-CAD 通过引入 Pointer（指针）机制，直接在生成的命令流中引用 B-Rep（边界表示）模型中的边和面，不仅实现了工业级的编辑操作，还将建模精度提升了一个数量级。

痛点深挖：消失的“点击”与致命的“量化误差”

在传统的 CAD 软件（如 SolidWorks）中，工程师建模是交互式的：先选个面画草图，再点选几条边切个圆角。但目前的 AI 建模方案却很极端：

1. 代码生成派：生成 CadQuery 等代码。虽然灵活，但 Token 极长，推理慢，且 LLM 难以精准推理复杂的 3D 空间引用。
2. 命令序列派（如 Text2CAD）：像翻译一样生成操作序列。虽然快，但它是一个“瞎子”，不知道之前生成的几何体长什么样，因此无法表达“给这条边倒角”这种依赖关系。更糟的是，由于连续坐标被强行转为离散 Token，生成的草图经常因微小的坐标误差而无法贴合面。

核心方法：Pointer-CAD 的“感官”融合

Pointer-CAD 的核心直觉是：给 LLM 一双能看清几何实体的“眼睛”，并给它一支能指向这些实体的“手指”。

1. 指针机制 (Pointer Mechanism)

作者定义了三种 Token 类型：

• Label Tokens：定义操作类别（如“开始草图”）。
• Value Tokens：定义数值（如“拉伸 5mm”）。
• Pointer：这是一个 128 维的向量，用于在当前已有的 B-Rep 实体池中选出最匹配的边或面。

2. 多步策略与 B-Rep 反馈环

不同于全序列一次性生成，Pointer-CAD 采用多步生成（Multi-step Generation）。每一步生成后，系统立即通过几何引擎更新 B-Rep 模型，并利用 GNN（图神经网络） 对其进行编码。

• 面邻接图 (Face-Adjacency Graph)：将 B-Rep 转化为图结构，Node 是面，Edge 是边。
• 多模态融合：LLM 接收当前的 B-Rep 图特征 + 文本描述，从而决定下一步该“指”向哪里。

实验战绩：精度与能力的双重碾压

Pointer-CAD 在多个维度上刷新了 SOTA 记录：

• 拓扑一致性 (SegE)：由于采用了指针对齐机制，消除了量化误差带来的漂移，SegE 误差从前人的 0.44% 锐减至 0.11%。
• 复杂操作支持：首次在命令序列模型中完美支持圆角（Fillet F1 达 89.85%）和倒角。
• 小模型办大事：仅用 0.5B 参数的 Qwen 骨干网，在几何保真度上就超过了 7B 的 CADmium。

深度洞察：为什么 Pointer 是关键？

Pointer 的本质是约束传播。传统的坐标回归是无约束的，稍微偏一点，几何体就不闭合。而 Pointer 将搜索空间从无限的 3D 空间压缩到了有限的“候选实体集合”中。这种将**“生成问题”转化为“选择问题”**的范式转移，是解决 CAD 这种高精度需求任务的最佳路径。

总结与展望

Pointer-CAD 成功将符号化的命令序列与结构化的几何表征（B-Rep）统一了起来。虽然它目前还局限于单零件建模，但其展现出的**可交互编辑潜力（点击+文本输入）**预示着未来的工业 CAD 软件可能会进化为一种“半自动操作、全自动补全”的全新形态。