[发明专利]一种基于卷积字典的视差图修复方法

说明书

本发明涉及一种基于卷积字典的视差图修复方法，属于图形图像处理领域。本发明的修复方法的流程为：二维视差图卷积字典学习、M矩阵估计、视差图修复三个步骤。与常用的基于均值滤波的视差图修复方法相比，本发明提出的技术方案能够利用卷积稀疏编码对视差图学习得到的卷积字典进行修复，该修复方法利用卷积字典中提取到的视差图的图像特征，同时根据空洞大小使用多尺度卷积字典进行视差图修复，在这种机制下能够对视差图的空洞进行较为精确的修复。

技术领域

本发明属于图形图像处理领域，具体涉及一种基于卷积字典的视差图修复方法。

背景技术

双目立体视觉是基于视差原理利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。通过视差图利用相机参数得到的深度图具有广泛的应用，可以用于距离测量、三维重建、虚拟视点生成等方面。传统的双目立体匹配算法通过将左右视图中的像素点进行匹配来得到视差，但是由于遮挡、无纹理区域的存在，会导致有一些像素点无法匹配，最终生成的视差图中会有很多空洞，这些空洞会影响基于视差图应用的准确度。目前对于视差图的空洞填充常采用多层次均值滤波的方法，首先使用较大的窗口做均值滤波，填充大的空洞，然后将窗口尺寸进行缩小，填充较小空洞。多层均值滤波方法的滤波器采用的结构为如图1所示，该滤波器没有包含任何的特征信息，导致多层均值滤波之后的视差图的每个像素的精确度较低，这会严重影响基于精确视差图的应用，例如基于深度图的三维重建算法会因像素的准确度不够而导致最终重建的三维模型发生形变。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何提供一种基于卷积字典的视差图修复方法，以解决传统的双目立体匹配算法生成的视差图中会有很多空洞，采用多层次均值滤波的方法进行空洞填充之后的视差图的每个像素的精确度较低，严重影响基于精确视差图的应用的问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种基于卷积字典的视差图修复方法，其特征在于，该方法包括如下步骤：

S1、二维视差图卷积字典学习

使用视差图数据集中的视差图进行卷积字典学习得到二维视差图卷积字典，其中卷积字典学习算法的表达式为，

包括一个数据项和一个正则化项，求解字典{d_k}和稀疏系数{z_j,k}，j表示图像的编号，j＝1,…,J，k表示字典d的编号，k＝1,…,K；其中b为训练图像，*为卷积操作，矩阵M用来消除边界影响，其中λ为稀疏正则化约束的惩罚因子；

S2、M矩阵估计

根据待修复视差图中的空洞位置来确定矩阵M，首先将视差图中视差不为0的像素位置置1，视差为0的像素位置置0，然后通过动态规划的方法得到每个像素为0的位置距离最近的像素不为0的位置的最短距离，进而得到一个空洞程度图，空洞程度图中的值的大小为视差空洞距离有视差位置像素的远近的空洞程度图，对空洞程度图中的像素值进行设置获得视差图修复的M矩阵；

S3、视差图修复

使用卷积字典对待修复视差图进行卷积稀疏编码，公式为，

固定字典D来求解稀疏系数z，通过增广拉格朗日方法来进行迭代求解，最终字典D和稀疏系数z的卷积即为修复之后的视差图；其中，定义字典矩阵为包含向量化的字典{d_k}，稀疏向量表示为包含稀疏系数{z_j,k}，M₁,…,M_J相同，均为公式(1)中的M，包含训练图像{b_j}。

进一步地，所述步骤S1中的视差图数据集为Middlebury视差图数据集。