[发明专利]图像配准方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像配准方法及装置、电子设备和存储介质，所述方法包括：获取针对同一场景同步采集的第一图像和第二图像；分别提取所述第一图像的图像特征和所述第二图像的图像特征；根据所述第一图像的图像特征和所述第二图像的图像特征，得到所述第一图像的图像坐标与所述第二图像的图像坐标的转换关系；基于所述转换关系和所述第一图像的第一关键点的图像坐标，确定所述第二图像中对应于所述第一关键点的第二关键点。本公开实施例可提高图像配准的鲁棒性和效率。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种图像配准方法及装置、电子设备和存储介质。

背景技术

双目相机的图像配准技术在很多领域都有重要应用，比如在人脸识别领域，随着对人脸识别安全性的要求越来越高，通过双目相机采集的图像进行人脸识别逐渐成为人脸识别的标配。双目相机可以利用仿生学原理，通过双摄像头同步采集图像，根据两个图像的差异，还可以得到图像的深度信息，从而可以适用于更多的应用场景。随着双目相机越来越广泛的使用，亟需更加高效和快捷的图像配准技术。

发明内容

本公开提出了一种图像配准技术方案。

根据本公开的一方面，提供了一种图像配准方法，包括：

获取针对同一场景同步采集的第一图像和第二图像；

分别提取所述第一图像的图像特征和所述第二图像的图像特征；

根据所述第一图像的图像特征和所述第二图像的图像特征，得到所述第一图像的图像坐标与所述第二图像的图像坐标的转换关系；

基于所述转换关系和所述第一图像的第一关键点的图像坐标，确定所述第二图像中对应于所述第一关键点的第二关键点。

在一种或多种可能的实现方式中，所述第一图像是RGB图像，所述第二图像是热成像图像，所述方法还包括：根据所述热成像图像中对应于所述第一关键点的第二关键点，确定所述热成像图像的目标图像区域。

在一种或多种可能的实现方式中，所述第一关键点包括人脸关键点，所述目标图像区域包括人脸区域，所述根据所述热成像图像中对应于所述第一关键点的第二关键点，确定所述热成像图像的目标图像区域，包括：根据所述热成像图像中对应于所述RGB图像的人脸关键点的所述第二关键点，确定所述热成像图像中的人脸区域。

在一种或多种可能的实现方式中，所述方法还包括：获取针对所述场景采集的两个视频；根据所述两个视频中图像帧的图像质量，在所述两个视频中分别抽取一个图像，得到所述第一图像和所述第二图像，其中，所述第一图像和所述第二图像的采集时间相同。

在一种或多种可能的实现方式中，所述方法还包括：对所述第一图像进行兴趣区域检测，确定所述第一图像中的兴趣区域；根据所述第一图像中的兴趣区域，确定所述第一图像的第一关键点。

在一种或多种可能的实现方式中，所述根据所述第一图像的图像特征和所述第二图像的图像特征，得到所述第一图像的图像坐标与所述第二图像的图像坐标的转换关系，包括：将所述第一图像的图像特征和所述第二图像的图像特征输入已训练的图像配准网络的配准层中，得到所述第一图像的图像坐标与所述第二图像的图像坐标的转换关系，其中，所述图像配准网络是基于对网络损失进行反向传播得到的，所述网络损失是基于对多个场景采集的样本图像进行配准得到的输出结果和预先获取的标注信息确定的。

在一种或多种可能的实现方式中，所述方法还包括：获取在多个场景采集的样本图像，其中，所述样本图像包括在同一场景同时采集的第一样本和第二样本；将所述第一样本和所述第二样本输入图像配准网络，得到所述图像配准网络的输出结果；根据所述输出结果与所述标注信息之间的比对结果，确定所述图像配准网络的网络损失，其中，所述标注信息包括所述第一样本的图像坐标和所述第二样本的图像坐标的转换关系；对所述网络损失进行反向传播，得到一轮训练后的图像配准网络；对所述图像配准网络进行多轮训练后，得到所述已训练的图像配准网络。