[发明专利]一种图像超分辨方法及装置

权利要求书

1.一种图像超分辨方法，其特征在于，包括：

获取拍摄的电力设备视频，根据所述电力设备视频中图像帧的时间顺序，提取电力设备的外观图像，组成外观图像集，所述外观图像集的图像总张数大于2N；

将外观图像集中前N张图像剔除，以及将外观图像集中后N张图像剔除，所述外观图像集中余下的图像共同组成基准图像集；选取所述基准图像集中任一张图像作为基准图像；

根据基准图像中图像帧时间，在外观图像集中，获取在所述基准图像中图像帧时间之前的N张图像，以及获取在所述基准图像中图像帧时间之后的N张图像，并合并为目标图像集；

获取目标图像集中任意一张图像，作为目标图像，提取所述目标图像中任一像素点的位置坐标，作为第一位置坐标；获取所述任一像素点相对于基准图像的位置坐标，作为第二位置坐标；根据第一位置坐标与第二位置坐标，获得所述任一像素点从第一位置坐标运动到第二位置坐标的运动矢量，利用所述目标图像中所有像素点的运动矢量，建立运动场；

获取运动场中任一像素点的运动矢量，并将所述运动场中任一像素点的运动矢量分解为对应的水平运动矢量，以及对应的垂直运动矢量；

将所述任一像素点对应的水平运动矢量进行线性化处理，得到水平目标模型，将所述任一像素点对应的垂直运动矢量进行线性化处理，得到垂直目标模型；

根据所述任一像素点对应的水平目标模型，以及所述任一像素点对应的垂直目标模型，对所述目标图像中组成电力设备的外观图像中全部像素点进行位移处理，获得全部目标图像在基准图像中图像帧时间的2N张准基准图像；

将所述2N张准基准图像，以及所述基准图像，作为2N+1张通道图像，将所述2N+1张通道图像，作为输入图像的2N+1张通道图像；

将输入图像输入预先建立的时空亚像素卷积网络，最终输出二维的超分辨图像，所述时空亚像素卷积网络包括二维卷积模块和三维卷积模块，所述输入图像中任一张通道图像通过二维卷积核模块进行二维卷积处理，获得2N+1张二维卷积图像，然后将所述2N+1张二维卷积图像进行垛叠，获得2N+1维的多维特征图像，再通过三维卷积模块对所述多维特征图像进行三维卷积处理，将所述多维特征图像中的信息进行集成，获得二维的超分辨图像。

2.根据权利要求1所述的一种图像超分辨方法，其特征在于，在将输入图像输入预先建立的时空亚像素卷积网络的步骤之前，还包括：利用预先建立的数据集对预先建立的亚像素卷积网络进行训练，获得时空亚像素卷积网络。

3.根据权利要求2所述的一种图像超分辨方法，其特征在于，所述预先建立的数据集包括不同种图像污染的数据，所述不同种污染为不同强度的噪声图像、雨雾污染以及曝光色温偏移。

4.根据权利要求1所述的一种图像超分辨方法，其特征在于，在获得全部目标图像在基准图像中图像帧时间的2N张准基准图像的步骤之后，还包括：

获取基准图像中任一坐标像素点的强度数值，作为第一强度值，获取任一准基准图像中所述坐标像素点的强度数值，作为第二强度值，比较基准图像与准基准图像所述坐标像素点的第一强度值与第二强度值是否相等，若不相等，则第一强度值替换第二强度值，第一强度值不变；若相等，第一强度值和第二强度值均不变。

5.根据权利要求1所述的一种图像超分辨方法，其特征在于，二维卷积模块中的二维卷积核大小为5×5，步长为1，边缘扩展像素为2。

6.根据权利要求1所述的一种图像超分辨方法，其特征在于，三维卷积模块中的三维卷积核大小为3×3。