[发明专利]基于超分辨重建的目标检测系统及方法

说明书

本申请公开了一种基于超分辨重建的目标检测系统及方法。该系统包括：数据采集模块，被配置为采集待检测的图像数据；超分辨率重建模块，被配置为接收所述数据采集模块所采集的图像数据，并对所述图像数据进行超分辨率重建处理；目标检测模块，被配置为对经过超分辨率重建处理的所述图像数据进行目标检测；以及划分和融合模块，被配置为将经过目标检测的所述图像数据裁剪为多个子图像数据，并将各个所述子图像数据的检测结果映射至组合后的图像数据中以进行坐标融合，从而得到目标检测结果。

技术领域

本发明涉及图像处理领域。具体地，本发明涉及基于超分辨重建的目标检测系统及方法。

背景技术

图像超分辨率技术是在现有成像设备基础上提高图像或目标空间分辨率的信号处理技术，该技术解决在某些基于视频和图像的应用中可能存在场景或目标成像分辨率过低的问题。图像超分辨率技术包括：单帧图像超分辨率技术，其仅利用单张图像本身提高其分辨率，例如SRCNN和EDSR等；以及，多帧图像超分辨率技术，其利用相邻多帧图像提高某一特定帧的图像分辨率，例如亚像素卷积神经网络和ESPCN等。此外，图像超分辨率技术还涉及图像质量评估算法，该评估算法主要包括：利用卷积神经网络的图像质量评估算法；以及利用图像梯度特征的图像质量评估算法。本发明主要涉及通过多个图像帧进行超分辨率重建的图像超分辨率技术。

在进行视频超分辨率的处理中，主要关注三个问题：1)如何充分利用多帧之间的关联信息；2)如何有效地将图像细节融合到高分辨率图像中；以及3)如何提高计算速度。在进行视频超分辨率的处理中，有时需要首先通过上采样将低分辨率图像映射到高清网格上，但这种操作会导致计算复杂度上升。针对上述问题，Shi，Wenzhe等人于2016年发表的“Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network.(2016):1874-1883文章中，提出一种实时的图像超分辨率算法ESPCN(Efficient Sub-Pixel Convolutional Neural Network)，在网络输出层之前进行上采样。网络的前层均为设置了激活函数层的普通(整数像素)卷积层，在网络的最后一层设置新的亚像素卷积层，将像素按照通道重新排列代替卷积操作，即H×W×C×r²的特征图重新排列为(r×H)×(r×W)×C作为输出。为进一步提高速度，Caballero，Jose等人在2016年发表了“Real-Time Video Super-Resolution withSpatio-Temporal Networks and Motion Compensation”，(2016):2848-2857，该文章中提出了一个端到端联合训练运动补偿和视频超分辨率算法，引入时空亚像素卷积网络来达到实时的视频图像超分辨率。该网络主要利用早融合(early fusion)和慢融合(slowfusion)来处理时间维度，然后基于空间转换建立了运动补偿框架，再与ESPCN时空网络结合实现视频超分辨率重建的实时计算。在实现视频超分辨率重建的现有技术中，存在以下问题：(1)使用传统的超分辨率重建(插值)及目标检测方法，性能已被基于深度学习的方法超越，传统的超分辨率重建(插值)及目标检测方法的重建质量较低，且基于模板的检测方法描述能力有限，可描述的语义信息少；(2)先验知识的依赖性：算法依赖于先验知识的准确性(目标图像模板)，当实际应用场景与引入的先验知识不符时，算法的准确性将会降低。问了解决传统的超分辨率重建(插值)及目标检测方法的上述问题，已经提出了针对通过增加context(上下文)的信息来提高目标检测的准确率的方法，DSSD里面尝试通过加入context来改善SSD的性能，然而该方法同样存在以下问题：(1)参数(计算)量大，算法速度慢；(2)参数数量较多使得模型占用储存空间较大。