[发明专利]一种基于全概率模型的多视点深度图增强系统

说明书

技术领域

本发明涉及多视点图像合成方法的改善，着重描述了一种基于全概率模型的深度图增强系统，从而达到提高多视点图像合成质量的目的。

背景技术

随着3D技术逐渐走入人们的生活，多视点视频作为一种应运而生的新兴数字媒体越来越受到大家的关注。多视点视频是通过在一个场景不同视角放置多台摄像机，可以更加真实、生动的还原场景，为用户提供交互式操作功能。但若想将这种3D视频表示方法应用到诸如自由视点电视(FTV)，远程医疗，交融式会议电视等多媒体业务中，图像质量，视频连贯性等还需要达到更高标准。

由于拍摄现场的摄像机数目限制，我们只能从有限的视角获取图景信息，若想流畅展示物体的全部视角，需要我们进行多视点图像合成。多视点图像合成大致分为三个步骤：图像的预处理、图像信息的处理与聚类、图像合成。其中，如何利用有限的信息以及如何有效的处理信息对多视点图像的合成质量有决定性作用。在数字图像处理中，图像的颜色作为最重要的视觉特征之一一直被广泛应用。K-means算法作为一种简单的聚类方法常被用于图像颜色信息的分割聚类。这一聚类方法虽然简单，但未能考虑像素间的关联性，且需要在聚类前确定聚类数目。因此，我们需要探索一种更高效的方法对图像的颜色信息进行聚类。

近年来，在图像合成过程中除了运用图像所包含的颜色信息，能够提供几何信息的深度图也开始得到广泛关注。深度图可以用一个二维矩阵表示，矩阵中每个像素值表示的是场景中各点与摄像机的距离。相比于2D的普通图像，深度信息可用于对场景内的物体进行更加精确的区分。然而，在多数研究中，深度图常用立体匹配算法进行估计，忽视了像素间的连续性，层次模糊的深度图可能会给图像合成造成负面影响。因此，如何充分利用图像信息对深度图进行增强，即得到分布更加紧凑、层次更加清晰的深度图，对基于深度的图像绘制结果具有重要意义。

另外，3D图像的合成需要对海量图片进行处理，加之图像高清化、超清化的趋势，如何对原图像进行预处理，从而迅速高效的进行图像合成，对于多视点视频的流畅性也具有十分重要的意义。

发明内容

为了解决基于深度的图像绘制技术中所使用的深度图连续性缺陷以及层次模糊的问题，本发明提供一种以基于全概率模型的深度图增强系统，改善了合成效果。

为达到上述目的，本发明提出的基于全概率模型的多视点深度图增强系统包括下列步骤：

步骤一.图像预处理步骤：针对高清(超清)图片包含的庞大像素数量，对原始图像进行超像素聚类，降低图像处理的计算复杂度；

步骤二.颜色信息聚类步骤：有效的颜色信息聚类是深度图增强的基础，本文使用狄利克雷混合模型(DMM-Dirichlet mixture model)逼近三维超像素向量的分布，并运用变分贝叶斯方法(VB-Variational Bayes)估计模型参数，从而获得作为颜色聚类依据的责任矩阵R；

步骤三.深度信息聚类及增强步骤：

A、深度信息聚类步骤：在颜色信息聚类结果的基础上，按照各像素的深度值再细分出不同子类，此处对一维深度像素矢量用贝塔混合模型(BMM–Beta Mixture Model)建模；

B、深度图增强步骤：计算步骤A中所得子类内像素矢量的深度均值，更新原始深度值，最终完成深度图的增强，得到层次更加清晰，结构更加紧凑的深度图。

在步骤一所述的图像预处理步骤中，可选用K-means，SLIC(Simple-Linear-Iterative-Clustering)等聚类方法将相似度高的像素聚合为超像素S_m，便于对图像的进一步处理。

在步骤二所述颜色信息聚类步骤中，对三维超像素矢量用狄利克雷混合模型进行逼近，并运用变分推断法估计分布参数，从而计算出像素矢量的概率密度，得到作为聚类依据的责任矩阵R。此步骤具体过程如下：

1)对步骤一所得三维超像素矢量S_m归一化，得到三维向量x_k，

2)用狄利克雷混合模型对超像素向量进行建模，模型表示为：