[发明专利]多图像融合的立体布景视觉新角度构建绘制方法

权利要求书

1.多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，包括多图像深度融合、局部变形引导的视觉新角度构建、视觉新角度加工渲染，其中多图像深度融合包括实时拓扑保留的超像素分割算法、类似超像素集合的计算、最类似超像素的计算、深度样本插值，局部变形引导的视觉新角度构建包括三维点云约束的图像变形变换、超像素分割驱动的局部变形，视觉新角度加工渲染包括视觉新角度加工融合、空洞区域的填补修正。

2.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，针对基于图像集合的单目视觉立体重构，重构过程的第一步是得到布景的一个三维点云模型，把点云作为约束条件，提出一种基于超像素块的深度样本插值方法，找出没有重构出的超像素块，并在图像范围内找出在空间距离和色彩上最佳的并且含有深度信息的超像素块，然后利用已知的深度信息，对缺失的超像素块进行深度插值，得到一个每个区域都含有足够三维点云信息的布景三维点云模型；接下来利用三维点云信息进行视觉新角度构建，视觉新角度创建的关键步骤是图像的变形，把已知视角的图像内容变换到视觉新角度图像上的对应位置，基于超像素分割的结果，采用局部变形的方法，每个超像素块间的变形互不影响，可以并行的处理，得到视觉新角度的大部分图像内容，对细小的空洞区域或填补不真实的空洞区域，通过一种基于块修正的方法，按照图像的内容和结构，计算填补的优先级，不断对空洞区域进行顺序迭代的改良，直到空洞区域填补完成为止，最终呈现具有较强真实感的视觉新角度图像。

3.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，本发明提出一种多图像深度融合构建方法，构建有效且足够使用的三维点，首先把图像分割为超像素，利用分割结果和现存的深度信息确定重构质量差的超像素块，称为对象区域，然后在现存的深度信息中找出与对象区域在色彩上最类似并且空间距离最近的超像素块来填补这些深度缺失的对象区域，最终得到一个布景完整的三维模型，满足视觉新角度构建的需要；

本发明提出了一种实时拓扑保留的超像素分割算法，实现实时的、能够拓扑保留的并且由粗略到精细的超像素分割，实时拓扑保留的超像素分割算法采用由粗略到精细的更新方法，使最小化改良过程达到良好的效果，详细过程包括以下二个步骤：单张图像超像素估算和由粗略到精细的改良。

4.根据权利要求3所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，单张图像超像素估算中，对于一张图像，用a_c∈{1，...，F}表示每个超像素c所属的超像素F，a＝(a₁，...，a_N)表示分割的所有随机变量的集合，N表示图像尺寸，将分割问题构成一个目标函数，满足外观一致性同时也满足规则的形状，在超像素尺寸上增加约束；

定义d_i为第i个超像素的平均位置，e_i为第i个超像素的平均色彩；e＝(e₁,...,e_F),d＝(d₁,...,d_F)分别表示所有超像素的中心和平均位置集合；N₈表示像素c的八邻域,根据马尔科夫随机场能量公式，单张图像超像素估算包括以下部分：边界长度项、拓扑结构保留项、最小化尺寸、形状规则化项、外观一致性项；

边界长度项：通过保证超像素有较小的边界长度来保持它的规则化；

拓扑结构保留项：强制使超像素之间保持连接的特性，不连接的表示为无穷；

最小化尺寸：强制超像素的尺寸至少为初始尺寸的1/4；

形状规则化项：使超像素在形状上保持规则；

外观一致性项：保持每个超像素的色彩的均匀性。