[发明专利]一种自由视角视频流中3D目标显示方法

说明书

技术领域

本发明涉及视频数据处理和三维重建领域，特别是一种自由视角视频流中3D目标显示方法。

背景技术

随着技术发展，研究领域和消费市场上出现了一些显示立体效果的显示终端，主要有两大类型，其一是通过佩戴立体眼睛，根据人眼的视差在大脑中形成立体画面的显示装置；其二是通过物理光学装置让双眼看到不同的画面从而形成立体视觉效应。这两种方法都是被动式的立体显示方式，即观察者不能自主选择观察视角和距离，并且每个观察者不管处于什么位置和角度都只能看到同样的立体画面，和真实生活中的立体视觉完全不同，因此能够解决上述问题的主动式立体显示就成为该领域研究的新途径。

自由视角视频显示系统的实现目前主要可分为两大类：一类是利用精密的硬件设备，直接测量出物体表面的三维坐标或深度信息。这一类系统能够得到物体精确的三维结构，但成本高，操作复杂，而且适用范围窄；另一类则对硬件的依赖较少，仅从摄像机成像模型入手，利用图像本身以及图像之间的关联信息计算物体的三维结构。

传统的三维重建在特征点较少或物体较复杂情况下会无法正确重建物体的三维结构信息及纹理信息。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种自由视角视频流中3D目标显示方法，从而使得在被重建的纹理较单一，目标特征点较少(即使为规则或少曲面目标)，仍然能够准确的显示目标物体的物理结构及其纹理。

为了解决上述技术问题，本发明公开了一种自由视角视频流中3D目标显示方法，包括以下步骤：

步骤一，三维特征点分面：读取各摄像机同帧图像，提取三维特征点并分面；

步骤二，网格化各面的特征点并判断各面间的连通性：将各面特征点网格化；二维纹理图片的面面连通性判断法来确定是否需要面面延伸；

步骤三，填补面内“空洞”和面面间“缝隙”：采用纹理延伸技术填补这些空洞和缝隙，完成从而实现自由视角的3D目标显示。

本发明中，优选地，所述步骤一包括以下步骤：

步骤(11)，读取各摄像机同帧图像；包括使用多个摄像机捕捉一个场景，通过视频设备，读取各摄像机同帧图像。

步骤(12)，从各摄像机同帧图像中提取三维特征点；包括对图像使用基于哈里斯角点的特征点提取方法，得到三维特征点。

步骤(13)，对特征点进行分面；包括采用逐级距离约束方法查找疑似表面，即只有当某特征点到当前目标特征点的距离小于约束距离时才用它们创建疑似表面，这样来完成特征点的分面。

本发明中，优选地，所述步骤二包括以下步骤：

步骤(21)，在分面的基础上，采用二维三角网格化对各面特征点操作来完成三维网格化的工作；将需网格化的目标平面投影到与其夹角最小的坐标平面，然后在二维平面内进行基于特征点的三角划分，再将此划分反投回三维空间，就得到了三维空间点集的划分，完成三维网格化。

步骤(22)，二维纹理图片的面面连通性判断法来判断面面延伸；包括判断两面相交且交线上有无特征点，使用一种基于二维纹理图片的面面连通性判断法来判断是否需要面面延伸。

本发明中，优选地，所述步骤三包括以下步骤：

步骤(31)，基于线性算法的面内延伸用于填补由于分面造成的面内空洞；判断相连通面交线上有无特征点，完成面内延伸。

步骤(32)，判断两面连通但有无公共点，采用基于NURBS曲面的面面延伸的延伸填补策略完成进行面面延伸。

步骤(33)，根据物体颜色(灰度)对延伸三角网格进行颜色填充。

本发明的原理是通过对各摄像机同帧图像进行三维特征点分面，然后网格化各面的特征点并绘制相应纹理，判断各面间的连通性，应用基于线性算法的面内纹理延伸技术和基于NURBS曲面的面面纹理延伸技术填补面内“空洞”和面面间“缝隙”，根据物体颜色完成三维渲染，最终实现自由视角视频流中的3D目标显示。

有益效果：本发明在不增加额外装置的情况下，通过软件方法进行图像处理和3D目标显示，保证目标物体的三角网格内部不包含物体的棱角，能智能判断物体棱的存在性，并选择最好的延伸方法显示目标物体棱角区域或小曲面区域的纹理。本方法能够具有真实感的显示规则及少曲面刚体，特别是在少特征点情况下，相较于传统方法有较好的显示效果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本文方法重建效果和传统三维网格重建效果的示意图。

图2是本发明特征点分面的流程图。