[发明专利]图像处理设备及其操作方法

权利要求书

1.一种用于生成高分辨率运动图像的图像处理设备，所述图像处理设备包括：

存储器，存储一个或多个指令；以及

处理器，配置为执行存储在所述存储器中的所述一个或多个指令，

其中，所述处理器配置为通过使用第一卷积神经网络(CNN)来提取关于当前帧的低分辨率图像的特征信息，基于所述特征信息生成所述当前帧的第一高分辨率图像，通过使用先前帧的高分辨率图像来去除所述第一高分辨率图像的闪烁，以及通过使用所述当前帧的已去除闪烁的第二高分辨率图像或特征信息中的至少一个来去除下一帧的高分辨率图像的闪烁。

2.根据权利要求1所述的图像处理设备，其中，所述第一卷积神经网络包括N个卷积层，以及

所述处理器进一步配置为通过将所述当前帧的所述低分辨率图像输入到所述第一卷积神经网络并与所述N个卷积层中的每一个中的一个或多个内核执行卷积运算，来提取所述特征信息。

3.根据权利要求1所述的图像处理设备，其中，所述处理器进一步配置为通过对所述特征信息应用双线性内插方法、双立方内插方法或卷积内插方法中的至少一种来生成所述第一高分辨率图像。

4.根据权利要求1所述的图像处理设备，其中，所述处理器进一步配置为通过将所述当前帧的所述第一高分辨率图像和所述先前帧的所述高分辨率图像输入到第二卷积神经网络并与M个卷积层中的每一个中的一个或多个内核执行卷积运算，来去除所述第一高分辨率图像的闪烁。

5.根据权利要求4所述的图像处理设备，其中，所述处理器进一步配置为提取对应于所述第二高分辨率图像的第一特征信息及对应于所述当前帧的实际高分辨率图像的第二特征信息，且基于所述第一特征信息及所述第二特征信息来更新所述第一卷积神经网络或所述第二卷积神经网络中的至少一个。

6.根据权利要求5所述的图像处理设备，其中，所述处理器进一步配置为调整包括在所述第一卷积神经网络或所述第二卷积神经网络中的至少一个中的一个或多个内核的权重值。

7.根据权利要求6所述的图像处理设备，其中，所述处理器进一步配置为调整包括在所述第一卷积神经网络中的一个或多个内核的权重值，以减小所述第一特征信息与所述第二特征信息之间的差异。

8.根据权利要求6所述的图像处理设备，其中，所述处理器进一步配置为计算所述第一特征信息与所述第二特征信息之间的第一差值以及对应于所述先前帧的所生成的高分辨率图像的第三特征信息与对应于所述先前帧的实际高分辨率图像的第四特征信息之间的第二差值，并调整包括在所述第二卷积神经网络中的一个或多个内核的权重值以减小所述第一差值与所述第二差值之间的差。

9.根据权利要求1所述的图像处理设备，其中，所述存储器存储所述第二高分辨率图像或所述特征信息中的至少一个。

10.根据权利要求9所述的图像处理设备，其中，所述处理器进一步配置为基于存储在所述存储器中的所述当前帧的特征信息来生成所述第一高分辨率图像，并通过使用所述第一高分辨率图像来去除所述下一帧的所述高分辨率图像的闪烁。

11.一种用于生成高分辨率运动图像的图像处理设备的操作方法，所述操作方法包括：

通过使用第一卷积神经网络提取有关当前帧的低分辨率图像的特征信息；

基于所述特征信息生成所述当前帧的第一高分辨率图像；

通过使用先前帧的高分辨率图像来去除所述第一高分辨率图像的闪烁；以及

通过使用所述当前帧的已去除闪烁的第二高分辨率图像或所述特征信息中的至少一个来去除下一帧的高分辨率图像的闪烁。

12.根据权利要求11所述的操作方法，其中，提取特征信息包括：

通过将所述当前帧的所述低分辨率图像输入到所述第一卷积神经网络并与所述N个卷积层中的每一个中的一个或多个内核执行卷积运算。