【分享帖】三维整体场景深度神经网络

提出一种架构将3D上下文信息融入到深度神经网络中，来进行对场景的整体理解。虽然深神经网络的计算机视觉任务，导致人类的水平性能，他们还没有表现出类似的收益，整体场景理解。特别是，三维背景下已被证明是一个非常重要的线索，现场了解-但非常小的研究已经完成了整合与深模型的上下文信息。本文提出了一种方法，嵌入到一个神经网络的拓扑结构，以执行整体的场景理解的三维环境。给定一个三维场景的深度图像，我们的网络对齐所观察到的场景与一个预定义的三维场景模板，并在场景模板中的每个对象的存在和位置的原因。在这样做时，我们的模型识别多个对象在一个单一的正向传递的三维卷积神经网络，同时捕捉全局场景和局部对象信息。在这个3D网络创造的训练数据，我们产生了深度图像的部分是由同一对象类的CAD模型库替代真实对象的渲染。大量的实验表明，我们的算法相比，该算法的有效性。

paper.pdf