[发明专利]基于频带修复和超分辨的双焦相机数字变焦方法

权利要求书

1.一种基于频带修复和超分辨的双焦相机数字变焦方法，其特征在于，该方法包括以下步骤：

(1)利用低分辨相机获得的图像，使用单帧图像超分辨算法，重建不同频带分量，得到一张与高分辨相机获得的图像空间采样率匹配的超分辨图像，并与高分辨相机获得的图像进行配准操作；具体如下：

a)假设双焦成像系统的广角相机和长焦相机之间空间采样率之差为M，令输入广角图像为I_W，长焦图像为I_T，将图片分为N个频带，定义上采样算子为U(x)，下采样算子为D(x)，采用双三次插值；每次上采样和下采样的倍率均为

b)在训练阶段，需要准备广角相机获得的广角图像I_W和其对应的高分辨版本I_W，h，I_W，h应与I_T具有匹配的空间分辨率；第i个频带对应的广角频带信息为[I_W]_i，对应的长焦频带信息为[I_T]_i，那么定义：

是重建到第i-1个频带下的超分辨图像；定义每一个频段的生成函数G_i(x)，使得：

在训练完成后的测试阶段中，通过训练阶段得到的G_i(x)估算[I_W]_i，利用[I_W]_i计算并将长焦图像I_T和进行配准，记配准对应的变换为R(x)；

c)训练过程中，采用单帧图像超分辨常用的方法，逐图像小块对低分辨图像进行重建；

在重建过程中，即可以利用式(1)和式(2)，以及训练过程中获得的模型，逐层计算从而进一步估算出[I_W]_i；当i＝N+1时，看作是通过超分辨算法和离线数据库获得的超分辨图像；经过若干次迭代得到的各频带信息[I_W]_i将被用于后续的频带修复过程，测试过程中得到的图像金字塔[I_W]_i；

(2)利用步骤(1)中低分辨相机获得的超分辨图像和配准信息，结合高分辨相机获得的图像，提取出超分辨算法重建精度不合格的区域，作为各个频带上的重建区域；具体为：利用在步骤(1)中获得的配准函数R(x)，建立广角图像频带[I_W]_i所对应的长焦图像频带[I_T]_i，对[I_T]_i的定义如下：

其中是重建到第i-1个频带信息下的图像；

可见，在给定高分辨图像I_T，并且计算得到R(x)后，可以直接计算得到长焦相机对应于短焦相机的图像金字塔；

(3)将高分辨相机获得的图像中，与步骤(2)得到的重建区域对应的区域提取出来，针对每一个提取区域分别构建用于频带修复的样本集，用于对提取区域的频带信息进行修复；具体为：在步骤(2)获得重建区域后，利用步骤(2)计算得到的[I_T]_i，对步骤(1)计算得到的[I_W]_i进行频带修复，其中0＜i≤N；将修复后的频带信息进行融合，并插值到所需的变焦倍率，保留该变焦倍率视场内的图像，得到最终的双焦相机变焦图像。

2.如权利要求1所述的一种基于频带修复和超分辨的双焦相机数字变焦方法，其特征在于，所述步骤(1)中，针对不同颜色信息的图像采用不同的预处理方法，具体如下：

如果输入为单通道灰度图，只包含图像的亮度信息，那么将图像的像素值归一化到0-1之间，作为输入图像；

如果输入为多通道图，不仅包含图像的亮度信息，同时包含图像的颜色信息，那么将图像从原来的颜色空间先转换到YCbCr颜色空间中，将Y通道的信息作为图像的亮度信息，并进行归一化后，作为输入图像；而Cb和Cr通道也进行归一化，然后采用一次双三次插值保证与最终生成的变焦图像视场一致，与超分辨处理后的图像亮度信息合并，并且转换到原来的颜色空间中，作为最终输出图像。