[发明专利]一种多视点自由立体显示的三维增强现实方法

权利要求书

1.一种多视点自由立体显示的三维增强现实方法，其特征在于它的步骤如下：

1）双目相机立体拍摄自然场景，获取一路主相机图像序列和一路辅相机图像序列并输入计算机；

2）计算机中相机追踪模块提取主相机图像序列每一帧的特征点并匹配特征点，实时产生自然场景的三维点云图并计算主相机参数和辅相机参数；

3）多视点重建模块根据主相机图像、辅相机图像、主相机参数和辅相机参数计算主相机图像对应的深度图，根据主相机图像、计算出的深度图和指定的虚拟相机参数，用DIBR算法计算多视点自由立体显示需要的多路虚拟视点图像及其深度图，对于虚拟视点图像中存在的空洞和遮挡区域，结合辅相机图像序列，采用深度辅助的时空一致空洞修复算法进行修复；

4）由三维制作软件绘制三维虚拟模型，虚实融合模块根据主相机参数、三维点云图和三维虚拟模型、主视点深度图和虚拟视点深度图进行三维注册，实现虚实融合，光照计算单元计算虚实场景光照，实现虚实光照一致性，无缝融合单元平滑扩散虚实边界的差异性；

5）显示处理模块把主相机图像形成的主视点虚实融合图像，多个虚拟视点图像形成的虚拟视点虚实融合图像进行适当的合成，以适合多视点观察的需要；

6）三维显示器提供裸眼的、适合多人多角度观察的虚实融合图像。

2.根据权利要求1所述的多视点自由立体显示的三维增强现实方法，其特征在于所述的步骤2）为：

1）将相机追踪与特征点映射分为两个线程；

2）用立体匹配算法做三维点云的初始化，用FAST corner算法提取主相机图像序列每一帧的特征点，根据特征点的数量和匹配关系选择关键帧，将关键帧上的特征点映射到三维点云图，根据三维点云图中的特征点坐标与每一主相机图像帧上的特征点坐标之间的映射关系计算当前的相机位置。

3.根据权利要求1所述的多视点自由立体显示的三维增强现实方法，其特征在于所述的步骤4）为：

1）三维注册根据主相机参数、虚拟相机参数、深度图和三维点云中的特征点数据确定三维虚拟模型在主视点图像和虚拟视点图像中的位置，结合三维虚拟模型数据渲染相应视点中的虚拟物体；

2）光照计算单元采用Cook-Torrance模型计算虚实场景光照模型，实现虚实光照一致性；

3）无缝融合单元采用Poisson图像编辑算法将虚拟物体边缘与自然场景的差异作平滑扩散，使虚实融合更具有真实感。