[发明专利]基于图像分割与融合的增强现实的方法、装置及电子设备

说明书

本申请涉及一种基于图像分割与融合的增强现实方法、装置及电子设备，在AR眼镜上设置有微光夜视摄像头和红外摄像头，并通过物理方式校准光轴，确保微光夜视摄像头和红外摄像头的摄像端瞄准同一位置，该方法包括：获取微光夜视摄像头输出的微光夜视仪图像和红外摄像头输出的红外热成像图像；根据预设的目标检测方法检测所述红外热成像图像中的目标图像，并判断是否检测到目标图像；若是，并根据预设的图像分割算法将检测到的目标图像从红外热成像图像中分割；基于预设的叠加规则，将分割出的目标图像叠加到微光夜视仪图像中形成显示图像。本申请便于综合感知目标和环境信息。

技术领域

本申请涉及图像融合的领域，尤其是涉及一种基于图像分割与融合的增强现实的方法、装置及电子设备。

背景技术

夜视仪以像增强器为核心器件的夜间外瞄准具，其工作时不用红外探照灯照明目标，而利用微弱光照下目标所反射光线通过像增强器在荧光屏上增强为人眼可感受的可见图像来观察和瞄准目标。

目前，常用的夜视仪主要包括微光夜视仪和红外热成像夜视仪，微弱的自然光经由目标表面放射，进入微光夜视仪，在强光力物镜作用下聚焦于像增强器的光阴极面（与物镜后焦面重合），激发出光电子，在增强器的作用下将一个只被微弱自然光照明的远方目标变成适于人眼观察的可见光图像；红外热成像夜视仪依靠目标自身的红外辐射形成 “热图像”，故又称为”热像仪”。

微光夜视仪能够帮助用户查看周围环境，但很难找到目标，红外热成像夜视仪有利于用户发现有红外特征的目标，但很难看清环境细节。

发明内容

为了便于综合感知目标和环境信息，本申请提供了一种基于图像分割与融合的增强现实的方法、装置及电子设备。

第一方面，本申请提供一种基于图像分割与融合的增强现实的方法，采用如下的技术方案：

一种基于图像分割与融合的增强现实的方法，该方法应用于AR眼镜，在AR眼镜上设置有微光夜视摄像头和红外摄像头，并通过物理方式校准光轴，确保微光夜视摄像头和红外摄像头的摄像端瞄准同一位置，该方法包括：

获取微光夜视摄像头输出的微光夜视仪图像和红外摄像头输出的红外热成像图像；

根据预设的目标检测方法检测所述红外热成像图像中的目标图像，并判断是否检测到目标图像；

若是，并根据预设的图像分割算法将检测到的目标图像从红外热成像图像中分割；

基于预设的叠加规则，将分割出的目标图像叠加到微光夜视仪图像中形成显示图像。

通过采用上述技术方案，获取微光夜视摄像头输出的微光夜视仪图像和红外摄像头输出的红外热成像图像，获取红外热成像图像后根据预设的目标检测方法实时检测红外热成像图像中的目标图像，并判断是否检测到目标图像，当检测到目标图像后将目标图像从红外热成像图像中分割出来，然后基于预设的叠加规则，将分割出的目标图像叠加到微光夜视仪图像中形成显示图像，上述方案将微光夜视仪图像易观察环境和红外热成像图像易发现目标的优势结合，无需用户频繁的切换视频源来了解这些信息，便于综合感知目标和环境信息。

可选的，所述据预设的目标检测方法检测红外热成像图像中的目标图像，并判断是否检测到目标图像的方法，具体包括：

获取目标图像素材，根据预设的转化算法将所述目标图像素材转化为第一特征值，并存储；

根据YOLO或Faster R-CNN对目标图像进行检测；

根据预设的转化算法，将检测到的目标图像转化为第二特征值；

将第一特征值与第二特征值进行对比，当所述第一特征值和第二特征值相似度达到阈值时，则判断检测到目标图像。