[发明专利]数据处理方法和数据处理装置

说明书

本申请实施例公开了一种数据处理方法，应用于人工智能领域，具体为图像处理技术，包括：获取帧序列，帧序列中的帧具有第一分辨率；从帧序列中确定至少两个帧组，帧组包括第一目标帧和第一目标帧的至少两个邻近帧，第一目标帧为帧序列中的任意一帧，邻近帧为帧序列中除第一目标帧以外的帧；通过三维卷积神经网络确定至少两个帧组中每个帧组的特征，三维卷积神经网络中卷积核在时间维度的尺寸与帧组中帧的数量正相关；融合至少两个帧组中每个帧组的特征，以确定第一目标帧的细节特征；根据细节特征和第一目标帧，获取具有第二分辨率的第一目标帧，第二分辨率大于第一分辨率。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种数据处理方法和数据处理装置。

背景技术

超分辨率(super resolution，SR)，简称超分，是指根据低分辨率图像重建出相应的高分辨率图像的技术。通过将低分辨率的图像上采样放大，借助图像先验知识等手段填充细节，生成对应的高分辨率图像。超分辨率技术在高清电视、监控设备、卫星图像和医学影像等领域有重要的应用价值。

视频超分辨率(video super resolution，VSR)，简称视频超分，是将低分辨率的视频生成对应的高分辨率视频，视频超分区别于图像超分的一个核心操作是运动补偿，即对目标帧附近的多帧图像进行信息提取和融合，利用目标帧前后的邻近帧的相似性获取细节信息，进而生成高分辨率视频。具体地，现有技术中，将包含目标帧的至少7帧低分辨率帧序列输入三维(3D)卷积神经网络，通过3*3*3尺寸的卷积核隐式地进行细节信息的提取和融合，由于3*3*3尺寸的卷积核在时间维度的尺寸为3，即一次可以同时处理3帧，然后通过卷积核依次滑动1帧进行信息提取，获取细节信息，根据该细节信息并通过上采样放大低分辨率的目标帧，最终获取高分辨的目标帧。

现有技术利用3D卷积神经网络进行运动补偿时，受限于卷积核的尺寸限制，每次滑动处理3帧，以输入7帧的帧序列，且第4帧为目标帧为例，卷积核滑动至第1、2、3帧时，由于缺少目标帧的指导信息，将导致特征提取较为盲目，特征提取效率低。

发明内容

本申请实施例提供了一种数据处理方法，用于帧序列超分辨率，可以提高特征提取效率，减少计算量。

本申请实施例第一方面提供了一种数据处理方法，包括：数据处理装置获取帧序列，所述帧序列中的帧具有第一分辨率；所述数据处理装置从所述帧序列中确定至少两个帧组，所述帧组包括第一目标帧和所述第一目标帧的至少两个邻近帧，所述第一目标帧为所述帧序列中的任意一帧，所述邻近帧为所述帧序列中除所述第一目标帧以外的帧；所述数据处理装置通过三维卷积神经网络确定所述至少两个帧组中每个帧组的特征，所述每个帧组的特征指示基于所述第一目标帧，从所述每个帧组内的邻近帧中获取的细节信息，所述三维卷积神经网络中卷积核在时间维度的尺寸与所述帧组中帧的数量正相关；所述数据处理装置融合所述至少两个帧组中每个帧组的特征，以确定所述第一目标帧的细节特征，所述细节特征指示基于所述第一目标帧，从所述至少两个帧组内的邻近帧中获取的细节信息；所述数据处理装置根据所述细节特征和所述第一目标帧，获取具有第二分辨率的第一目标帧，所述第二分辨率大于所述第一分辨率。可选地，所述三维卷积神经网络中卷积核在时间维度的尺寸越大，帧组中帧的数量也越大，可选地，所述三维卷积神经网络中卷积核在时间维度的尺寸与所述帧组中帧的数量相等。

本申请实施例提供的数据处理方法，帧序列中第一目标帧超分过程中，先从帧序列中确定至少两个帧组，帧组中包括该第一目标帧，分别将帧组输入三维卷积神经网络提取帧组的组特征，然后将组特征融合，确定第一目标帧的细节特征，根据该细节特征将第一分辨率的第一目标帧转换为第二分辨率的第一目标帧。该数据处理方法，由于从帧序列中确定的帧组中包含第一目标帧，且三维卷积神经网络中卷积核在时间维度的尺寸与所述帧组中帧的数量正相关，根据三维卷积神经网络中卷积核在时间维度的尺寸，设置帧组中帧的室内，由此，通过三维卷积神经网络提取帧组的特征时，不仅可以减少卷积核滑动，降低计算量，还可以得到目标帧的指导，细节特征提取效率高。