[发明专利]基于K-means模型的双视点立体视频融合方法

说明书

本发明方法公开了基于K‑means模型的双视点立体视频融合方法。本发明方法首先对左、右视点深度图进行预处理，得到左、右视点深度图像；然后分别对左、右视点深度图像运用K‑means方法进行分割，对分割后的前景和背景区域深度图像进行三维投射运算，得到左、右视点的前景和背景绘制图像；以前景绘制图像为蓝本，用背景绘制图像填充前景绘制图像的空缺区域，将填充后的左、右视点绘制图像进行图像融合，获得虚拟视点绘制图像；最后将虚拟视点绘制图像的空洞区域根据空洞周围的像素信息进行加权填充，获得最终输出图像。本发明方法采用像素级别的操作，对空洞区域进行精准处理，使绘制效果在视觉效果上更加优质，更加协和。

技术领域

本发明属于立体视频编解码技术领域，涉及一种基于K-means模型的双视点立体视频融合方法，是针对双视点图像融合过程的改进。

背景技术

目前基于深度图像的绘制方法(Depth Image Based Rendering，DIBR)是绘制不同视角观察图像的主要方法。根据现有的图像将另一视角的图像进行绘制，从而得到在不同视角下所观察到的图像。该绘制方法中最关键的部分是进行3D-WARPING过程。该过程是将一幅图像先恢复至三维模型，然后在另外一处目标视点附近将该三维模型重新投影到目标平面得到虚拟视点处的图像。在恢复三维模型和投影到平面的的过程中，图像的深度信息是非常关键的。每一个像素的深度信息都是非常关键的，两个视图深度信息之间的倍数会直接影响到绘制后的结果。

DIBR技术中最关键的部分为3D图像变换(3D Image Wraping)它是一种针对图像像素进行变化的操作。通过三维变换将参考图像像素点映射到目标视图中，从而形成和参考图像相对应的原始目标视图。

整个虚拟视点绘制过程可分为两部分，首先通过输入深度图像进行投射运算可以得到虚拟视点所对应的深度图。为了得到虚拟视点处的深度图像，最便捷的方法是通过三维投射运算过程(3d-warping)完成。此过程将一幅图像先反向投射至三维空间中形成立体模型，然后在虚拟视点将该立体模型重新投影到目标平面得到虚拟视点图像。

发明内容

本发明的目的是提供一种基于K-means模型的双视点立体视频融合方法。

本发明方法步骤是：

步骤(1)对左视点深度图和右视点深度图进行预处理，得到左视点深度图像和右视点深度图像；

步骤(2)分别对左视点深度图像和右视点深度图像运用K-means方法进行分割，分为前景区域深度图像和背景区域深度图像，分别对前景区域深度图像和背景区域深度图像进行三维投射运算，得到左视点的前景绘制图像和背景绘制图像、右视点的前景绘制图像和背景绘制图像；

步骤(3)分别将左视点和右视点的前景绘制图像和背景绘制图像进行融合：以前景绘制图像为蓝本，用背景绘制图像填充前景绘制图像的空缺区域；得到左视点绘制图像和右视点绘制图像；将填充后的左视点绘制图像和右视点绘制图像进行图像融合，获得虚拟视点绘制图像；

步骤(4)将虚拟视点绘制图像的空洞区域根据空洞周围的像素信息进行加权填充，获得最终输出图像。

进一步，步骤(1)中所述的预处理包括噪声去除处理和图像平滑处理；其中，噪声去除处理是选取残差神经网络进行处理，图像平滑处理是对噪声去除处理后图像进行开运算处理。

进一步，步骤(2)具体是：

通过K-means方法对输入的左视点深度图像进行聚类运算并进行分割，方法是：

输入深度图像的像素点像素值分布概率为{p₀,p₁,…,p₂₅₅}，p_i为像素值为i的像素点的分布概率，i＝0,1,…,255；