DeepPanoContext: 基于全局场景背景图和关系优化的全景3D场景理解(ICCV 2021)
论文标题:DeepPanoContext: Panoramic 3D Scene Understanding with Holistic Scene Context Graph and Relation-based Optimization
论文、项目地址:在公众号「3D视觉工坊」,后台回复「DeepPanoContext」,即可直接下载。
摘要
全景图像具有更大的视场,因此与标准透视图像相比,全景图像自然编码了丰富的场景上下文信息,但在以往的场景理解方法中并没有很好地利用这一点。本文提出了一种新的全景三维场景理解方法,该方法可以从单一的全景图像中恢复三维房间布局以及每个对象的形状、姿态、位置和语义类别。为了充分利用丰富的环境信息,设计了一种基于图神经网络的环境模型来预测对象与房间布局之间的关系,并设计了一种基于可微关系的优化模块,利用精心设计的目标函数实时优化对象布局。研究人员考虑到现有的数据要么是不完整的真实场景,要么是过于简化的场景