[发明专利]一种利用轮廓感知的虚拟视点合成方法

说明书

技术领域

本发明是属于虚拟视点合成的技术领域，特别涉及一种轮廓感知的虚拟视点合成技术。适用于场景内物体轮廓相对规则，并且希望快速实现虚拟视点生成操作的应用场景。

背景技术

随着视频绘制技术的不断发展，人们对于不同类型的视频需求也不断增长，特别是对于裸眼3D技术的需求日益强烈。目前国内外关于虚拟视点绘制技术的难点主要集中在以下方面：

1）、虚拟视点合成所需的数据源格式不一，数据量比较大，需要的附加信息内容不足，传输耗时。

2）、目前的算法都是以像素为Warping算法的应用单位，映射很耗时，对于希望达到实时效果的应用场景有很大局限性。

3）、多数算法没有根据不同的场景来适应性的产生合适的效果，而都是通用型的算法，专用性不够，实现的效果也不能达到最佳。大部分研究考虑了很多虚拟视点生成后的填补工作，忽略了前期对于映射方式的改进，而后期的填补工作却还是非常的耗时没有达到实时的要求。

4）、目前对于数据源中的附加信息的要求不是很高，所以算法在开发是考虑通用性而忽略了这些信息，如视频图像的深度信息。从而在映射过程中增加了不必要的深度匹配过程，增加的耗时。忽略了场景物体的轮廓信息提取，而这些轮廓信息可以减少映射过程的计算量。

发明内容

本发明主要解决的技术问题是提供一种利用轮廓感知的虚拟视点合成方法，这种方法能够对具有多数规则物体的场景更快的实现虚拟视点的合成。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种利用轮廓感知的虚拟视点合成方法，具体步骤包括：

（100）、对参考视点的图像进行网格化处理，利用轮廓感知算法找到图像中物体轮廓；

（200）、以网格轮廓为基础利用3DWarping算法对其进行虚拟视点图像的映射操作；

（300）、利用多个参考视点图像的选择算法找到合适的映射后图像进行融合；

（400）、利用空洞填补算法对融合后的虚拟视点图像进行修复生成最终的虚拟视点图像。

在本发明一个较佳实施例中，所述步骤（100）中，对参考视点的图像进行网格化处理的方法为：把二维的图像进行网格划分处理，每个网格顶点对应三维空间坐标值，从而形成空间三角形网格面片，图像则成为网格面片的纹理材质。

在本发明一个较佳实施例中，所述步骤（100）中对图像中物体轮廓的感知算法具体为：将参考视点图像中的不同深度层次的物体进行分层，并且得到各层物体的大致网格化的轮廓，以这些轮廓来描述网格中的物体。

在本发明一个较佳实施例中，所述步骤（200）具体为以网格化的轮廓顶点为映射原点进行3Dwarping，映射后的点成为对应虚拟视点的网格化顶点。

在本发明一个较佳实施例中，所述步骤（300）具体为在多个参考视点生成的虚拟视点图像中选择合适的图像以备进行图像间的融合，选择的标准则是生成的图像有尽可能少的空洞和模糊区域。

在本发明一个较佳实施例中，所述步骤（300）中采用直接融合的方式，将不同的参考视点图像进行Alpha通道方式融合。

在本发明一个较佳实施例中，所述步骤（400）具体为：将步骤（300）中融合生成的虚拟视点图像进行一次空洞填补，其算法基础是多种空洞填补算法的结合。

在本发明一个较佳实施例中，所述步骤（400）中，对于图像修复过程中涉及的大空洞、细小空洞进行分类处理；

对于所述细小空洞，采用深度图预处理的方法，对深度图进行平滑滤波；

对于所述大空洞，一方面利用多个参考视点的纹理图，在不同的视点中寻找缺失的纹理信息；另一方面，利用图像修复算法填补空洞。

本发明的有益效果是：

1）、本发明给出的基于轮廓感知的虚拟视点合成方法，采用将二维图像网格化的方法形成三维轮廓便于传统3DWarping算法的计算量的降低，从而提高整体算法的实时性。

2）、本发明创新性的使用了图像网格化的方法简化图像表示方式，改变了处理二维图像的方式。

3）、本发明基于算法的特性更加适用于拥有规则物体的场景虚拟视点合成的需求。在最后的融合和修复中的运算量都得到了减少，加快了虚拟视点的合成效率。

本发明的方法适用于规则场景需要实时生成虚拟视点的需求。

附图说明

图1为本发明利用轮廓感知的虚拟视点合成方法的流程图；

图2为本发明利用轮廓感知的虚拟视点合成方法中修复图像算法演示图。

具体实施方式