[发明专利]一种图像、视频放大方法和系统

说明书

本发明公开了一种图像、视频放大方法和系统，该方法包括：对采集的原始图像进行上采样，得到放大后图像；对放大后图像进行反卷积处理，得到反卷积图像；判断当前得到的反卷积图像的能量函数值是否达到最小值；若达到最小值，则将当前得到的反卷积图像作为目标图像。本发明能够保证放大效果且同时满足实时性。

技术领域

本发明实施例涉及视频图像处理技术领域，特别涉及一种图像、视频放大方法和系统。

背景技术

视频放大技术是针对低分辨率的视频无法满足观看需求，在保证视频清晰度的前提下实现视频放大的技术。

目前，视频放大技术仅是对图像的放大，图像放大技术主要包括基于插值放大和基于分辨率重建的放大。插值放大技术有很多种算法。但其都是通过对自身图像进行运算插值。而图像放大过程是一个图像数据再生过程，该过程利用已知像素点估计未知像素点，不同的插值技术得到的图像清晰度不同。因此需要在插值后的图像进行进一步的细节预测处理。图像超分辨率技术主要分为基于学习的超分辨率和重建的超分辨率。主要包括基于主成分分析的超分辨率算法、基于流形学习的超分辨率算法和基于超完备字典的图像稀疏表示的超分辨率复原算法等等。上述算法能够通过一系列的处理还原放大后图像的细节，算法效果相较于现有技术中的很多插值技术有有所提升，但是由于算法复杂，使得完成视频的整个放大过程需要大量的时间，因而无法满足对实时性要求较高的视频直播等领域。

在实现本发明的过程中，发明人发现至少存在如下问题：

目前，基于插值的算法主要是辅助性的应用较多，通过改变这些基础的插值技术，进行其他图像处理领域操作，如通过图像上采样和下采样技术构建多尺度金字塔模型，提取图像特征，实现图像检索和识别等。同时也有直接应用在视频放大领域的插值技术，但是由于算法单一，仅仅是改变插值算法没有后续细节的补充和完善，导致算法的实现效果无法满足需求。基于超分辨率的重建算法虽然能够实现细节的完善，但是却无法满足对实时性要求较高的网络电视直播等领域。

发明内容

本发明的目的是提供一种在保证放大后图像清晰度效果的同时满足实时性的图像、视频放大方法和系统。

根据本发明实施例的一个方面，提供一种图像放大方法，该放大方法包括：对采集的原始图像进行上采样，得到放大后图像；对放大后图像进行反卷积处理，得到反卷积图像；判断当前得到的反卷积图像的能量函数值是否达到最小值；若达到最小值，则将当前得到的反卷积图像作为目标图像。

进一步，若未达到最小值，对反卷积图像进行滤波处理，得到滤波图像；采用原始图像对滤波图像进行像素替换，得到像素替换图像；对像素替换图像进行反卷积处理，得到反卷积图像，并循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。

进一步，确定反卷积图像的能量函数值，具体包括：获取原始图像经卷积后得到的图像与反卷积图像之间的误差，以及获取放大后图像的梯度密度；基于获取的误差和梯度密度，得到能量函数值；获取放大后图像的梯度密度，具体包括：采用概率密度先验分布函数表示放大后图像的梯度分布，得到放大后图像的梯度分布函数；基于放大后图像的梯度分布函数，得到放大后图像的梯度密度；反卷积图像的能量函数值根据如下公式确定：E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；式中，E(x)是得到的反卷积图像的能量函数值；H'X是放大后图像在X方向上的像素的梯度值，φ(H'X)是放大后图像在X方向上的梯度密度；H'Y是放大后图像在Y方向上的像素的梯度值，φ(H'Y)是放大后图像在Y方向上的梯度密度；H1是指反卷积图像；f为卷积核，为已知量；x为采集的原始图像；t_x是指卷积扫描过程中，扫描中心和放大后图像在X方向上的交点；t_y是指卷积扫描过程中，扫描中心和放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。