[发明专利]图像处理方法、图像处理装置和存储介质

说明书

一种图像处理方法、图像处理装置和计算机可读存储介质。图像处理方法包括：获取输入图像；利用图像重建网络对输入图像进行N次重建操作，以得到输入图像对应的重建图像。图像重建网络包括编码子网络、解码子网络和连接子网络，编码子网络包括至少一个编码块，每个编码块包括多个自注意力算子，解码子网络包括至少一个解码块，每个解码块包括多个自注意力算子，连接子网络包括连接层，一个编码块与一个解码块通过连接层映射连接。每次重建操作包括：通过编码子网络对编码子网络的输入进行特征提取处理，以得到第一特征图和至少一个编码块的输出；利用解码子网络和连接子网络对第一特征图和至少一个编码块的输出进行处理，以得到解码子网络的输出。

技术领域

本公开的实施例涉及一种图像处理方法、图像处理装置和计算机可读存储介质。

背景技术

图像重建在视频、遥感、医学及信号处理等领域均有十分重要的应用。例如，在不改变卫星图像探测系统的条件下，采集清晰度高的气象遥感图像更利于观测；磁共振成像能提供相比于计算机断层扫描更好的软组织对比度和安全性(例如，避免患者被核辐射等)，然而，缓慢的磁共振成像速度将降低患者的舒适性并导致高昂的成本；在银行、交通等监控系统中，往往需要获取高分辨率的图像，以提取重要的线索。

发明内容

本公开至少一个实施例提供一种图像处理方法，包括：获取输入图像；利用图像重建网络对所述输入图像进行N次重建操作，以得到所述输入图像对应的重建图像，其中，N为大于等于1的正整数，所述图像重建网络包括编码子网络、解码子网络和连接子网络，所述编码子网络包括至少一个编码块，每个编码块包括多个自注意力算子，所述解码子网络包括至少一个解码块，每个解码块包括多个自注意力算子，所述连接子网络包括连接层，所述至少一个编码块中的一个编码块与所述至少一个解码块中的一个解码块通过所述连接层映射连接，其中，每次重建操作包括：通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出；利用所述解码子网络和所述连接子网络对所述第一特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出。

例如，在本公开至少一个实施例提供的图像处理方法中，所述图像重建网络还包括瓶颈层，其中，在所述图像重建网络包括所述瓶颈层的情况下，每次重建操作包括：通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到所述第一特征图和所述至少一个编码块的输出；利用所述瓶颈层对所述第一特征图进行处理，以得到第二特征图；利用所述解码子网络和所述连接子网络对所述第二特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出。

例如，在本公开至少一个实施例提供的图像处理方法中，所述瓶颈层包括多个自注意力算子，利用所述瓶颈层对所述第一特征图进行处理，以得到第二特征图，包括：利用所述瓶颈层的多个自注意力算子对所述第一特征图进行表示学习，以得到所述第二特征图。

例如，在本公开至少一个实施例提供的图像处理方法中，所述瓶颈层的多个自注意力算子包括依次交替连接的基于窗口的自注意力算子和基于移动窗口的自注意力算子，所述瓶颈层中的基于窗口的自注意力算子的数量比基于移动窗口的自注意力算子的数量多1。

例如，在本公开至少一个实施例提供的图像处理方法中，当N为1，对于所述N次重建操作，所述编码子网络的输入为所述输入图像，所述解码子网络的输出为所述重建图像，当N大于1，对所述N次重建操作中的第i次重建操作中所述解码子网络的输出进行数据拟合处理和数据修正处理，以得到所述N次重建操作中的第i+1次重建操作中所述编码子网络的输入，i为正整数且小于N，i为1时，所述第i次重建操作中所述编码子网络的输入为所述输入图像，i为N-1时，所述第i+1次重建操作中所述解码子网络的输出为所述重建图像。

例如，在本公开至少一个实施例提供的图像处理方法中，所述连接子网络包括至少一个连接层，所述至少一个编码块与所述至少一个解码块通过所述至少一个连接层一一对应映射连接，每个所述连接层用于将具有相同尺寸特征的编码块和解码块进行映射连接。