[发明专利]图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：根据第一时间间隔对预设场景的第一时间段内的动态视觉信息进行分割，生成多个动态视觉图像；将第一时间段内的第一色彩图像及动态视觉图像输入图像生成网络进行处理，得到第二色彩图像。根据本公开的实施例的图像处理方法，可对第一时间段内的多个动态视觉信息进行分割，生成多个动态视觉图像，可在第一时间段中保留多个动态视觉图像，有利于对运动物体的轨迹进行跟踪。图像生成网络经过真实性对抗训练和准确度对抗训练，所生成第二色彩图像具有较高的真实性和准确性，可减少生成图像失真的可能性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

动态视觉感受器(Dynamic visual receptors，DVS)与普通相机使用快门控制帧率，并按帧记录光强不同，动态视觉感受器对光强变化率敏感，并且每个像素可记录该像素位置处光强对数值的变化量，当变化量超过阈值后产生一个正向或负向脉冲。动态视觉感受器的帧率高于普通相机，可利用其对变化率敏感的特性以及高帧率的特性来监测运动物体。

在相关技术中，可利用动态视觉感受器采集的动态视觉信息来进行视频重建，即，通过动态视觉信息来生成视频帧。然而，由于动态视觉感受器以异步事件的形式传输强度变化，这些异步事件可传递强度变化的时空坐标天然地具备稀疏性，即，每一帧动态视觉信息中像素稀疏，信息量较少，难以通过单帧动态视觉信息。为进行视频重建，可将两个视频帧之间的所有动态视觉信息合成动态视觉帧，进而通过用于生成图像的卷积神经网络或者对抗训练后的图像生成网络，基于动态视觉帧生成视频帧。

然而，动态视觉帧的图像信息(例如色彩信息、形状信息)等不足，所生成的图像可能失真或过拟合。另外，将两个视频帧之间的所有动态视觉信息合成一个动态视觉帧会直接丢失时间维度的信息，没有充分利用动态视觉感受器高帧率的优势，最终只能获得两个视频帧之间的光强变化，难以对两个视频帧之间的物体的动作和运动轨迹进行追踪。

发明内容

本公开提出了一种图像处理方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：根据第一时间间隔，对预设场景的第一时间段内的动态视觉信息进行分割，生成所述预设场景的多个动态视觉图像，所述第一时间间隔小于第二时间间隔，所述第二时间间隔为像素采集设备采集所述预设场景的第一色彩图像的时间间隔；将第一时间段内的第一色彩图像及动态视觉图像，输入图像生成网络进行处理，得到与所述第一时间段内的动态视觉图像分别对应的第二色彩图像；其中，所述图像生成网络是经过真实性对抗训练和准确性对抗训练得到的，所述真实性对抗训练用于训练所述图像生成网络生成的图像的真实度，准确性对抗训练用于训练所述图像生成网络生成的图像中目标位置和动作的准确度。

在一种可能的实现方式中，根据第一时间间隔，对预设场景的动态视觉信息进行分割，生成所述预设场景的多个动态视觉图像，包括：根据所述第一时间间隔对所述第一时间段内的多个动态视觉信息进行分割，获得多个动态视觉信息组；将所述多个动态视觉信息组内的动态视觉信息分别进行融合处理，获得与多个所述动态视觉信息组对应的动态视觉图像。

在一种可能的实现方式中，所述图像生成网络包括用于提取动态视觉图像的时序特征信息的第一特征提取子网络以及用于提取色彩图像的图像特征信息的第二特征提取子网络。

在一种可能的实现方式中，将第一时间段内的第一色彩图像及动态视觉图像，输入图像生成网络进行处理，得到与所述第一时间段内的动态视觉图像分别对应的第二色彩图像，包括：将所述多个动态视觉图像输入第一特征提取子网络进行处理，分别获得多个动态视觉图像的第一特征图；将所述第一色彩图像输入第二特征提取子网络进行处理，获得第二特征图；将所述第一特征图和所述第二特征图进行特征融合处理，获得与所述第一特征图像对应的第三特征图；根据所述第三特征图进行图像重构处理，获得所述第二色彩图像。