[发明专利]一种红外图像与可见光图像的配准方法及相关装置

说明书

本申请提供了红外图像与可见光图像的配准方法及相关装置，其中，方法包括：获取预设模组采集的待配准红外图像与待配准可见光图像；将待配准红外图像与待配准可见光图像在垂直方向进行对齐；依据坐标对应关系，对对齐后的可见光图像进行变换，得到初始配准红外图像；依据待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及参考深度值对应的视差值，确定相对于对齐后的可见光图像，初始配准红外图像的像素点横坐标偏移量；按照偏移量对初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。本申请可以提高红外图像与可见光图像之间在配准目标上的配准准确性。

技术领域

本申请涉及图像配准领域，尤其涉及一种红外图像与可见光图像的配准方法及相关装置。

背景技术

由红外发射器、红外相机与可见光相机组成的3D视觉模组作为3D视觉多传感器集成体被越来越多地应用到增强现实(Augmented Reality，AR)、虚拟现实(VirtualReality，VR)、混合现实(Mixed Reality，MR)、同时定位与建图(SimultaneousLocalization And Mapping，SLAM)、智能家居、刷脸支付、机器人导航、无人驾驶等人工智能(Artificial Intelligence，AI)领域。3D视觉模组可同时获取深度图像、红外图像和可见光图像，为了发挥多传感器融合的优势，对深度图像与可见光图像的配准、红外图像与可见光图像的配准成为必须要解决的问题。目前，大多数3D视觉模组都自带深度图像与可见光图像的配准，但缺少红外图像与可见光图像的配准。

红外图像与可见光图像之间可以采用Rt配准方法，该配准方法分为三步:第一，利用张正友标定法标出红外相机、可见光相机的内参以及两个相机之间的位姿关系R、t；第二，获取可见光图像相对红外图像的偏移像素，该偏移像素可通过标定可见光图像与红外图像计算得到，也可直接联系模组厂家获取；第三，对红外图像做偏移处理，然后，使用红外相机内参、红外图像像素值、位姿R和t、可见光相机内参结合多视图几何成像原理得到配准后的红外图像。

但是，由于该方法存在配准过程中可见光图像与配准后的红外图像之间配准目标对应像素点的坐标偏差较大，即对配准目标的配准准确性较低。

发明内容

本申请提供了一种红外图像与可见光图像的配准方法及装置，目的在于解决对配准目标的配准准确性低的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请提供了一种红外图像与可见光图像的配准方法，包括：

获取预设模组采集的待配准红外图像与待配准可见光图像；

将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；

依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述模组采集的红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；

依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；

按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。

可选的，所述坐标对应关系的确定过程，包括：

获取在所述参考深度值下拍摄的棋盘格红外图像和棋盘格可见光图像；

对所述棋盘格红外图像和所述棋盘格可见光图像在垂直方向上对齐；