[发明专利]基于频带修复和超分辨的双焦相机数字变焦方法

说明书

本发明公开了一种基于频带修复和超分辨的双焦相机数字变焦方法，包括如下步骤：利用低分辨相机获得的图像，使用单帧图像超分辨算法，重建不同频带分量，得到一张与高分辨相机获得的图像空间采样率匹配的超分辨图像，并与高分辨相机获得的图像进行配准操作；利用低分辨相机获得的超分辨图像和配准信息，结合高分辨相机获得的图像，提取出超分辨算法重建精度不合格的区域，作为各个频带上的重建区域；将高分辨相机获得的图像中重建区域对应的区域提取出来，针对每一个提取区域分别构建用于频带修复的样本；本发明方法可以利用有限个超分辨成像模型实现连续倍率的数字变焦图像合成，并且可以有效利用长焦相机提供的丰富的纹理细节。

技术领域

本发明涉及双焦成像系统和计算机图像处理计算，尤其涉及一种基于频带修复和超分辨成像的双焦相机数字变焦方法。

背景技术

数码相机已经渐渐成为大批量生产的智能手机上的标配，工业界从这些数码相机出发设计了大量基于他们工作的软件程序，这些软件程序反过来也对智能终端上的数码相机提出越来越高的要求。但是由于手机对搭载在其上的设备的功耗、体积、成本都有比较高的要求，所以手机上使用光学变焦的相机较为罕见，取而代之的是使用双焦相机系统：用两个焦距不同的定焦相机组成一个非对称的光学系统来模拟光学变焦相机，以实现背景虚化等种种功能。

在使用双焦相机系统时，必然会引进一个新的问题：如何设计该系统的数字变焦算法，从而一方面可以利用广角相机大视场的优点，另一方面可以充分利用高分辨长焦相机获得的丰富的纹理细节信息。传统的图像融合算法无法将高分辨相机获得的纹理信息转移到长焦相机视场外，广角相机获得图像的其它区域上，而目前取得广泛研究的超分辨算法只能有限提高广角相机所获得图像的质量，也无法有效利用长焦相机获得的大量细节信息，同时也只能进行固定倍率的变焦。因此研究的重点就是如何同时充分利用广角相机的视场优势和长焦相机的细节优势，合成高品质的数字变焦图片。

发明内容

本发明要主要解决的问题是提供一种技术手段，针对两张分别来自短焦广角镜头和长焦望远镜头的照片，合成数字变焦图片。

为解决上述技术问题，本发明采用的技术方案为：一种基于频带修复和超分辨的双焦相机数字变焦方法，该方法包括以下步骤：

(1)利用低分辨相机获得的图像，使用单帧图像超分辨算法，重建不同频带分量，得到一张与高分辨相机获得的图像空间采样率匹配的超分辨图像，并与高分辨相机获得的图像进行配准操作；

(2)利用步骤(1)中低分辨相机获得的超分辨图像和配准信息，结合高分辨相机获得的图像，提取出超分辨算法重建精度不合格的区域，作为各个频带上的重建区域；

(3)将高分辨相机获得的图像中，与步骤(2)得到的重建区域对应的区域提取出来，针对每一个提取区域分别构建用于频带修复的样本集，用于对提取区域的频带信息进行修复；将修复后的频带信息进行融合，并插值到所需的变焦倍率，保留该变焦倍率视场内的图像，得到最终的双焦相机变焦图像。

进一步地，所述步骤1中，针对不同颜色信息的图像采用不同的预处理方法，具体如下：

如果输入为单通道灰度图，只包含图像的亮度信息，那么将图像的像素值从原先的取值范围(例如0-255等)归一化到0-1之间，作为输入图像。

如果输入为多通道图，不仅包含图像的亮度信息，同时包含图像的颜色信息，那么将图像从原来的颜色空间(RGB等)先转换到YCbCr颜色空间中，将Y通道的信息作为图像的亮度信息，并进行归一化后，作为输入图像；而Cb和Cr通道也进行归一化，然后采用一次双三次插值保证与最终生成的变焦图像视场一致，与超分辨处理后的图像亮度信息合并，并且转换到原来的颜色空间中，作为最终输出图像。

进一步地，所述步骤1具体为：