HaLo-NeRF是一款创新的系统，它结合了场景的神经表示和描述场景语义区域的文本，以实现对大型地标场景的深入理解和探索。该系统利用最新的视觉和语言模型，特别针对地标场景的语义理解进行了优化，将场景的视觉信息与描述性文本紧密相连。

HaLo-NeRF的关键特点包括:

语义区域定位: 系统能够准确地定位与建筑地标相关的各种语义概念。

超越传统模型: HaLo-NeRF的结果超越了其他3D模型和强2D分割基线。

利用互联网数据: 系统通过分析大型互联网数据集，包括类似地标的图像和弱相关的文本信息，来增强模型的细节知识。

3D兼容的分割指导: 利用场景视图之间的对应关系来启动空间理解，并为3D兼容的分割提供指导。

立体场景表示: 最终形成立体的场景表示，为数字化探索大型旅游景点提供了新的可能性。

先前工作的局限性:

以往的研究主要集中在几何重建和可视化上，而没有充分利用语言在提供导航和细粒度理解方面的语义界面作用。此外，受限的3D领域中的方法虽然利用了视觉和语言模型，但在处理无约束照片集合时面临挑战，因为它们缺乏对建筑领域的专业知识。

HaLo-NeRF的创新之处:

HaLo-NeRF通过在互联网上大规模的图像数据中使用场景视图之间的对应关系，提供了语义的空间理解指导。这不仅增强了模型对建筑地标的专业知识，还提供了3D兼容的分割，为形成立体场景表示奠定了基础。

应用前景:

HaLo-NeRF系统在数字化探索大型旅游景点方面具有巨大潜力，它为互联网图像集合的探索提供了一种新的语义理解方法。

论文地址:https://huggingface.co/papers/2404.16845