[发明专利]动态场景光场重建方法及装置

说明书

本申请提出一种动态场景光场重建方法和装置，其中，方法包括：通过预训练的语义分割的网络获取人体分割的结果，根据预先获取的场景背景获取物体分割结果，并融合多帧深度图得到几何模型，根据预训练的人体模型补全网络得到完整的人体模型，通过点云配准对准并将对准后的模型进行融合得到物体模型，从而获得具有几何细节并完整的人体模型和物体模型，通过点云配准跟踪刚性物体的运动，以及通过人体骨架跟踪和人体表面节点的非刚性跟踪，重建具有几何细节并完整的人体模型，在时间序列上进行融合操作，通过融合得到重建后的人体模型和重建后的刚性物体模型。本发明针对人与物体交互现象行了优化处理，提升在人与物体交互场景下的动态光场重建的鲁棒性，实现了实时高质量的动态场景的光场重建。

技术领域

本发明涉及计算机视觉等技术领域，特别涉及一种动态场景光场重建方法及装置。

背景技术

AR技术首先需要对真实场景进行高质量的建模，然后可以在虚拟空间对重建的模型进行各种操作。然而真实的动态场景包含复杂的人与物体的交互,对这样的动态场景光场重建仍难是一个困难的问题。以往的方法需要使用复杂且昂贵的相机阵列采集数据，然后通过专用服务器进行离线计算来获取高质量的重建结果，然而这样的设备难以推广使用。

高质量的实时三维人体重建对沉浸式VR/AR应用有着重要意义。然而在单目RGBD的输入下，高质量的动态人体重建仍然是一个困难的问题，尤其是在有物体交互和遮挡的时候，重建结果会不稳定。早期的基于模型的方法都会受到预扫描的模板或低效的运行时性能不适用于日常交互应用程序。通过大量的相机和专门的计算服务器高端可以提供高质量的人体重建解决方案这些方法通过大量的相机，借助多视图几何的计算以解决具有挑战性的交互和遮挡模糊问题。然而，它们的计算效率低而且需要昂贵，繁琐的数据采集设备，导致不能应用到日常使用中。单目立体视觉方法采用最轻便的商用RGBD摄像机采集数据，通过时间上的融合管道来构建完整模型。早期处理一般的动态场景的方法没有利用人体的先验信息，重建的动态物体需要运动非常缓慢，而且不能有严重遮挡，结果非常不鲁棒。为了增强对人体重建的鲁棒性，新的工作引入了人体参数模型的先验来处理更复杂的运动，不过这些方法不能重建人与物体交互的情况，在有物体遮挡的时候容易失败。

传统技术有如下缺点：

1. 基于单张RGB或者RGBD的模型学习得到的模型是基于训练数据的先验的，与真实的情况不完全一致，重建模型在正面观测的效果较好，在其他角度的效果往往较差；在时间序列上缺少平滑性。

2. 对物体的处理：不加入人体先验的动态重建方法虽然能够同时重建人和物体，但需要运动场景非常简单，场景不存在明显遮挡，否则非常容易跟踪失败。而引入人体先验信息的方法不能将与人交互的物体重建出来，而且在有物体遮挡的时候容易跟踪失败。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种动态场景光场重建方法，从单目RGBD的输入得到人与物体交互的动态场景的重建模型。针对人与物体交互的场景带来的遮挡问题进行了优化处理，在重建动态人体的同时将刚性物体也重建出来，通过重建的物体模型的先验信息来提升遮挡情况下人体模型的鲁棒性。同时在人体骨架跟踪上引入时序信息的先验来提升鲁棒性。

本发明的第二个目的在于提出一种动态场景光场重建装置。

为达上述目的，本发明第一方面实施例提出了一种动态场景光场重建方法，包括以下步骤：

通过预训练的语义分割的网络获取人体分割的结果，根据预先获取的场景背景获取物体分割结果；

融合所述人体分割的结果和所述物体分割结果的多帧深度图得到几何模型，根据预训练的人体模型补全网络得到完整的人体模型，通过点云配准对准并将对准后的模型进行融合得到融合后的物体模型，以获得具有几何细节并完整的人体模型和物体模型；

通过所述点云配准跟踪刚性物体的运动；以及