[发明专利]一种视频图像超分辨率重建方法

说明书

技术领域

本发明涉及一种视频图像处理方法，特别是涉及一种基于亚像素样本序列和块状目标运动估计的视频图像超分辨率重建方法。

背景技术

随着我国平安城市建设的开展以及智慧城市建设的启动，遍布城市各个角落的摄像头捕捉的各种视频信息在保障城市安全、提高城市管理效能等方面无疑发挥了重要的作用。尽管高清摄像头的安装极大地提高了静态图像质量，但是在一些特殊的场景下，比如雨天、雾天以及远景大范围的细节观测等情景下获取的视频图像依然无法达到令人满意的效果，特别是在一些对现场信息还原要求较高的应用，比如刑事案件侦测、交通肇事逃逸等对车、人等目标的信息获取，尽管图像质量较以往有所提高，但依然无法满足特殊事件的需要。因此，在现有的条件下，如果能够利用某种方法从低分辨率视频中获得高分辨率图像信息，则是一种经济、有效的方法。

视频传输是通信和多媒体技术发展的一个关键问题，从传输效率的角度来说，希望信道中传输较少带宽的低分辨率视频；从视觉感受来说，希望获得高分辨率的视觉信号。超分辨率重建是新近发展的一种图像处理技术，利用一幅或多幅低分辨率图像，运用相应的算法来获得一幅清晰的高分辨率图像，在接收端将低分辨率视频转换为高分辨率信号，可以有效的兼顾传输效率和视觉品质。

现在的超分辨率重建方法特别是对压缩域的视频图像超分辨率重建大多停留在模拟仿真阶段，无法达到实用的目标。这是由于导致图像质量下降的成像退化模型无法真实建立，现场环境的模拟重现难以实现，因而超分辨率重建所需要的最基本的两个条件：病态求解和运动估计无法满足。

城市安防工程中所获取的视频数据极为庞大，堪称海量。而如何在这些海量数据中提取到有用的信息，如用于视频检索、异常行为分析等，目前的工作还极为有限。

发明内容

本发明针对现有技术不足，提出一种视频图像超分辨率重建方法，基于采用块状目标匹配的运动估计方法，对视频图像中的兴趣点（如车辆、行人等）进行块状分割，从若干幅与本场景相关的连续视频图像序列中重建一副高分辨率的图像。

为了实现上述目的，本发明所采用的技术方案是：

一种视频图像超分辨率重建方法，其实现步骤如下：

1）对于通过同一场景可以获取的多幅低分辨率图像，首先根据要求选定所需视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个象元内连续多帧的亚像素图像；

2）根据多帧亚像素图像的图像序列帧，选择目标兴趣点，并进行块状目标的运动估计，其步骤如下：

（1）将视频编码帧划分为互不重叠的固定大小运动块状目标，在选定的匹配准则下，各个运动块状目标都在参考帧中搜索与其最匹配的像块作为预测；

（2）搜索限定在关于当前运动块状目标位置对称的一个局部矩形窗内进行，在预先定义的搜索窗内，按像素逐块与当前运动块状目标比较，找到与当前运动块状目标最相似的一块；

（3）将搜索窗口锁定在目标兴趣点上；

3）根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像。

所述的视频图像超分辨率重建方法，步骤1）中，亚像素图像样本提取的具体步骤如下：

（1）根据现场视频监控摄像头照射距离和镜头焦距，根据光学成像几何关系，测算特征目标的运行轨迹，并换成位移，根据视频监控的时间测算出目标的运行速度；

（2）根据目标的运行速度，结合视频监控摄像头的像素分辨率，分别选取三到五帧一个象元内的移动图像作为重建帧，在连续的视频帧中找到多副图像样本。

所述的视频图像超分辨率重建方法，步骤3）中，插值重建高分辨率图像的步骤如下：

（1）首先估计各帧图像之间的相对运动信息，获得超分辨率图像在非均匀间距采样点上的像素值，

（2) 接着通过非均匀插值得到超分辨率图像栅格上的像素值，采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理；

（3）然后再把处理后的图像块拼接到一起重建一副高分辨率的图像。

所述的视频图像超分辨率重建方法，步骤2）中，搜索与各个运动块状目标最匹配的像块，其匹配准则是：如果运动目标在不同的图像中图像块具有相同的形状，且在局部范围内做平移运动，则采用最小绝对误差和最小均方误差作为匹配准则。