[发明专利]基于图像分割与融合的增强现实的方法、装置及电子设备

权利要求书

1.一种基于图像分割与融合的增强现实的方法，该方法应用于AR眼镜，在AR眼镜上设置有微光夜视摄像头和红外摄像头，并通过物理方式校准光轴，确保微光夜视摄像头和红外摄像头的摄像端瞄准同一位置，其特征在于：该方法包括：

获取微光夜视摄像头输出的微光夜视仪图像和红外摄像头输出的红外热成像图像；

根据预设的目标检测方法检测所述红外热成像图像中的目标图像，并判断是否检测到目标图像；

若是，并根据预设的图像分割算法将检测到的目标图像从红外热成像图像中分割；

根据预设的确定规则，在红外热成像图像中确定第一基点，在微光夜视仪图像中确定第二基点；

基于预设的直角坐标系建立规则以第一基点为原点建第一平面直角坐标系，以第二基点为原点建第二平面直角坐标系；

确定目标图像在第一平面直角坐标系中的坐标；

获取红外热成像图像的垂直方向的像素数和水平方向的像素数和微光夜视仪图像的垂直方向的像素数和水平方向的像素数；

基于预设的调整方式，根据红外热成像图像的垂直方向的像素数和水平方向的像素数和微光夜视仪图像的垂直方向的像素数和水平方向的像素数调整目标图像，形成待融合目标图像；

基于预设的计算方式，根据红外热成像图像的垂直方向的像素数和水平方向的像素数和微光夜视仪图像的垂直方向的像素数和水平方向的像素数以及目标图像在第一平面直角坐标系中的坐标，确定待融合目标图像在第二直角坐标系中的坐标；

根据待融合目标图像在第二直角坐标系中的坐标将目标图像叠加到微光夜视仪图像中，形成显示图像。

2.根据权利要求1所述的基于图像分割与融合的增强现实的方法，其特征在于：所述根据预设的目标检测方法检测所述红外热成像图像中的目标图像，并判断是否检测到目标图像的方法，具体包括：

获取目标图像素材，根据预设的转化算法将所述目标图像素材转化为第一特征值，并存储；

根据YOLO或Faster R-CNN对目标图像进行检测；

根据预设的转化算法，将检测到的目标图像转化为第二特征值；

将第一特征值与第二特征值进行对比，当所述第一特征值和第二特征值相似度达到阈值时，则判断检测到目标图像。

3.根据权利要求2所述的基于图像分割与融合的增强现实的方法，其特征在于：根据预设的目标检测方法检测所述红外热成像图像中的目标图像并判断是否检测到目标图像的方法之后，该方法还包括：

若否，根据预设的目标检测方法检测红外热成像图像中的目标图像，并判断是否检测到目标图像。

4.根据权利要求3所述的基于图像分割与融合的增强现实的方法，其特征在于：预设的图像分割算法为Trimap-based、Adobe Deep Image Matting和Background Matting中的任意一种。

5.根据权利要求1所述的基于图像分割与融合的增强现实的方法，其特征在于：根据待融合目标图像在第二直角坐标系中的坐标将目标图像叠加到微光夜视仪图像中，形成显示图像的方法之后，该方法还包括：

获取人工输入的待融合目标图像的坐标；

根据人工输入的待融合目标图像的坐标调整待融合目标图像在微光夜视仪图像中的位置，形成最终图像。