[发明专利]基于显微镜的超分辨率方法、装置、设备及介质

权利要求书

1.一种基于显微镜的超分辨率方法，其特征在于，所述方法包括：

从第一分辨率的显微镜图像序列中获取待测图像和至少两张辅助图像，所述待测图像包含目标区域，所述辅助图像的显示区域与所述目标区域存在重叠区域；

将所述待测图像和所述辅助图像进行配准，得到配准图像；

从所述配准图像中提取高分辨率特征，所述高分辨率特征用于表示所述目标区域在第二分辨率的情况下的图像特征，所述第二分辨率大于所述第一分辨率；

重建所述高分辨率特征，得到与所述待测图像对应的所述第二分辨率的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述待测图像和所述辅助图像进行配准，得到配准图像，包括：

计算所述待测图像和所述辅助图像之间的光流预测图，所述光流预测图用于预测所述待测图像和所述辅助图像之间的光流变化；

根据所述光流预测图和所述辅助图像得到具有运动补偿的补偿图像；

对所述补偿图像进行编码和解码得到所述配准图像。

3.根据权利要求2所述的方法，其特征在于，所述计算所述待测图像和所述辅助图像之间的光流预测图，包括：

调用光流预测网络，根据所述待测图像的待测光流场和所述辅助图像的辅助光流场计算所述光流预测图。

4.根据权利要求2所述的方法，其特征在于，所述根据所述光流预测图和所述辅助图像得到具有运动补偿的补偿图像，包括：

调用超分网络，对所述光流预测图进行升采样得到升采样图；

通过所述辅助图像对所述升采样图进行双线性插值，得到具有运动补偿的所述补偿图像。

5.根据权利要求2所述的方法，其特征在于，所述对所述补偿图像进行编码和解码得到所述配准图像，包括：

调用反卷积网络，对所述补偿图像进行编码和解码得到图像残差；

将所述图像残差与所述待测图像进行融合，得到所述配准图像。

6.根据权利要求1至5任一所述的方法，其特征在于，所述从所述配准图像中提取高分辨率特征，包括：

从所述配准图像中提取出低分辨率特征，所述低分辨率特征用于表示所述目标区域在所述第一分辨率的情况下的图像特征；

对所述低分辨率特征进行映射，得到所述高分辨率特征。

7.根据权利要求1至5任一所述的方法，其特征在于，所述从所述配准图像中提取高分辨率特征，包括：

融合所述配准图像与辅助图像，得到融合图像；

从所述融合图像中提取出所述高分辨率特征。

8.根据权利要求1至5任一所述的方法，其特征在于，所述重建所述融合特征，得到与所述待测图像对应的第二分辨率的目标图像，包括：

通过图像重建网络，将所述高分辨率特征转化为所述目标图像中像素点的像素值；

通过所述像素点的像素值得到与所述待测图像对应的所述第二分辨率的所述目标图像。

9.根据权利要求1至5任一所述的方法，其特征在于，所述从所述图像序列中确定与所述目标区域存在重叠区域的所述辅助图像，包括：

在所述待测图像的附近图像中，将与所述目标区域存在所述重叠区域且所述重叠区域占比大于预设值的图像确定为所述辅助图像。

10.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

获取训练数据集，所述训练数据集包括所述第一分辨率的样本待测图像和所述第二分辨率的真实标注，所述真实标注对应至少两张样本待测图像；

对所述样本待测图像和所述样本辅助图像进行配准，得到样本配准图像；

从所述样本配准图像中提取样本高分辨率特征；

重建所述样本高分辨率特征，得到与所述样本待测图像对应的所述第二分辨率的样本目标图像；

根据所述样本目标图像和所述真实标注之间的差值，对超分辨率模型进行训练。