[发明专利]一种基于多方向字典的深度图像超分辨率方法

权利要求书

1.一种基于多方向字典的深度图像超分辨率方法，其特征在于，包括以下步骤：

步骤一：提取彩色图像特征，获得轮廓图；

步骤二：对低分辨率深度图像进行插值，用高通滤波来表示其特征；

步骤三：将低分辨率深度图像进行分块，计算每个图像块的几何方向；

步骤四：进行字典训练；

步骤五：根据步骤三中得到的几何方向，选择字典，重建深度图像；

步骤五的具体操作：首先对于每个低分辨率的图像块，通过自回归模型得到约束项Z：

式中，η是权重参数，且η＝0.01，函数是数据保真项，

式中，Z_x表示在位置x处的像素值，Ω表示x周围相邻的像素；

E_AR(Z)表示自回归项：

式中，N(x)表示与像素x邻近的像素，a_x,y表示自回归系数；

然后计算系数：

式中，是根据图像块的几何方向选择的字典，λ_l，λ_c，λ_h及λ为参数；

最后重建深度图像块：

将所有的图像块拼接在一起，重叠区域取平均值，就得到了重建后的深度图像。

2.如权利要求1所述的基于多方向字典的深度图像超分辨率方法，其特征在于，

步骤一的具体操作：将低分辨率深度图像插值放大到彩色图像的分辨率大小，对于每个彩色图像块：

式中，对于图像块i,C_i表示彩色图像的轮廓图的块，▽表示边缘提取操作，表示彩色图像块，表示插值后的深度图像块。

3.如权利要求2所述的基于多方向字典的深度图像超分辨率方法，其特征在于，

步骤二的具体操作：首先将低分辨率深度图像插值放大到彩色图像分辨率大小，然后用一阶二阶导数作为高通滤波来表示每个块的特征：

式中，L_i表示低分辨率图像块的特征，表示插值后的深度图像块。

4.如权利要求3所述的基于多方向字典的深度图像超分辨率方法，其特征在于，

步骤三的具体操作：对于低分辨率深度图像块j，计算其几何方向ω：

式中，G_ω表示沿着已定义的几何方向重新排列像素值，{θ₁,θ₂,…,θ_Q}表示自定义的几何方向，W^T表示一维正交Haar小波变换，表示前25％个最大的小波系数，x_j表示低分辨率深度图像块。

5.如权利要求4所述的基于多方向字典的深度图像超分辨率方法，其特征在于，

步骤四的具体操作：步骤三计算得到每个块的几何方向，将具有同一个方向的块收集到一类里；训练集里的高分辨率深度图像的特征可以表示为：

Y_i＝Y_i-mean(Y_i) (4)

式中，Y_i表示高分辨率深度图像块，mean()表示取平均；

字典的训练在拥有相同方向的每个类里进行，图像块S＝{S₁,S₂,…,S_M}以及定义的几何方向{θ₁,θ₂,…,θ_Q}，通过步骤三，将图像块集S分为Q类，即{S₁,S₂,…,S_Q}，然后在每一个类里训练一个字典D_ω，ω＝1,2,…,Q：

式中，A表示系数矩阵，λ为参数，且λ＝1；

对于低分辨率深度图像、彩色图像和高分辨率深度图像，通过使其稀疏系数保持一致来约束它们的特征，进一步得到字典：

式中，分别表示相应于低分辨率深度图l、彩色图像c和高分辨率深度图h在！方向的字典，λ_l，λ_c，λ_h及λ为权重参数，其参数均等于1。