[发明专利]一种基于深度学习的单视点合成方法

说明书

本发明公开了一种基于深度学习的单视点合成方法，包括：根据多级流预测机制将处于非遮挡区域的目标视点图像的像素进行合成，获取第一合成目标视点图像；利用渐进转换机制学习源视点图像到目标视点图像的渐进转换趋势，对合成的目标视点图像的像素进行回归计算，合成遮挡区域的像素，获取第二合成目标视点图像；利用置信度聚合机制将第一、第二合成目标视点图像进行聚合；根据循环合成机制实现聚合后的合成目标视点图像到源视点图像的逆向映射；基于多级流预测机制、渐进转换机制、循环合成机制获取生成对抗损失函数，进而训练视点合成网络，实现单视点合成。

技术领域

本发明涉及深度学习、视点合成领域，尤其涉及一种基于深度学习的单视点合成方法。

背景技术

随着多媒体与成像技术的快速发展，多视点视频获得了工业界和学术界广泛的关注。多视点视频能够提供丰富的三维场景信息，广泛应用于自由视点显示、虚拟现实和视频监控等领域。然而，在实际应用中，多视点图像的获取、传输和存储十分困难。视点合成技术因其能够在给定一个或多个视点图像的条件下合成其他任意视点的图像，成为当前的研究热点。根据输入源图像数量的不同，视点合成方法可以分类为多视点合成方法和单视点合成方法。本发明主要关注单视点合成方法。

单视点合成方法主要包括：流预测方法和像素生成方法。流预测方法首先通过卷积神经网络学习源视点与目标视点之间的视差图，然后根据所学习的视差图对源视点图像进行双线性插值获得目标视点图像。由于这种方法是利用视差图对源视点图像进行像素搬移获得目标视点图像，合成的目标视点图像的纹理内容较好，但是对处于遮挡区域的像素还不能很好的合成。像素生成方法直接利用像素回归的思想，通过卷积神经网络直接预测目标位置的图像。虽然这种方法能够直接生成遮挡区域的像素，但所合成的目标视点图像的纹理信息欠佳。尽管有方法提出将流预测方法和像素生成方法进行有效结合来合成目标视点图像，但是这些单视点合成方法采用的都是源视点到目标视点的直接映射来合成目标视点图像，忽略了源视点和目标视点之间的渐进转换信息以及合成的目标视点图像的错误像素纠正问题。因此，如何有效探索视点间的映射关系以提高单视点合成的性能具有重要的研究意义。

得益于深度学习在监督学习任务中的成功，近年来基于深度学习的单视点合成方法开始受到关注。Habtegebrial等人通过预测源视点图像的深度图来实现从源视点到目标视点的映射。Xie等人利用网络预测的源视点与目标视点之间的多个视差图来合成目标视点图像。Sun等人提出了一种置信度聚合机制来聚合流预测和像素生成方法合成目标视点图像，从而在多视点合成任务中获得较好的性能。然而，对于合成目标视点位置物体的图像，若两个视点之间的相对位置过大，对于处于遮挡区域的像素并不能很好的合成，这会导致合成的目标视点图像中产生空洞、伪影等现象。

现有的方法大多基于流预测和像素生成的方法进行源视点到目标视点的直接映射，而忽略了源视点和目标视点之间的渐进转换信息、以及对合成的目标视点图像中错误像素的纠正问题。

发明内容

当前基于深度学习的单视点合成方法大多基于卷积神经网络学习源视点到目标视点的直接映射关系，而忽略了源视点到目标视点之间由于位置较远而造成的像素的错误映射。此外，对合成的目标视点图像中错误像素，当前的单视点合成方法还没有进行有效的纠正。针对以上问题，本发明利用源视点和目标视点的位置信息作为引导，设计了基于渐进转换和循环网络的单视点合成方法，详见下文描述：

一种基于深度学习的单视点合成方法，所述方法包括：

根据多级流预测机制将处于非遮挡区域的目标视点图像的像素进行合成，获取第一合成目标视点图像；

利用渐进转换机制学习源视点图像到遮挡区域的目标视点图像的转换趋势，对遮挡区域的目标视点图像进行回归计算，合成遮挡区域的像素，获取第二合成目标视点图像；

利用置信度聚合机制将第一、第二合成目标视点图像进行聚合；

根据循环合成机制实现聚合后的合成目标视点图像到源视点图像的逆向映射；