逆天了！新加坡国立最新 | 分割任意3D物体

论文链接：https://arxiv.org/abs/2404.02157
论文名称：Segment Any 3D Object with Language
 
本文研究了带有自由形式语言指令的开放词汇3D实例分割（OV-3DIS）。早期的工作仅依赖于标注的基础类别进行训练，导致对未见的新类别的泛化能力有限。近期的工作通过生成类别无关的掩码或将2D通用掩码投影到3D来减轻对新类别的泛化能力不佳的问题，但它们忽视了语义或几何信息，导致性能次优。相反，直接从3D点云生成具有泛化性且与语义相关的掩码将产生更好的结果。我们提出了Segment any 3D Object with LanguagE（SOLE），这是一个具有强大泛化能力的语义和几何感知的视觉语言学习框架，它直接从3D点云生成与语义相关的掩码。SOLE在ScanNetv2、ScanNet200和Replica基准测试上大大优于之前的方法，尽管在训练中缺少类别标注，但结果甚至接近完全监督的对应方法。此外，广泛的定性结果证明了我们的SOLE对语言指令的通用性。