[发明专利]一种融合三模态图像的显著性目标检测系统及方法

权利要求书

1.一种融合三模态图像的显著性目标检测系统，其特征在于，包括：图像采集模块、图像配准与注释模块、特征提取模块、解码模块；

所述图像采集模块用于采集三模态图像，所述三模态图像包括RGB图像、深度图像、红外热图像；

所述图像配准与注释模块用于根据标定参数对采集到的三模态图像进行配准对齐，并对对齐后的图像注释显著对象，得到注释后的三模态图像；

所述特征提取模块用于对对齐后的三模态图像分别提取各自的5级分辨率不同的特征；

所述解码模块用于获取三模态图像的5级特征，并进行逐级融合后输出显著性图。

2.根据权利要求1所述的一种融合三模态图像的显著性目标检测系统，其特征在于，所述图像配准与注释模块包括：图像配准模块、图像注释模块；

所述图像配准模块用于根据相机的固有参数和外部参数计算得到标定参数，利用标定参数对获取的三模态图像进行配准，对齐三模态的图像；

所述图像注释模块用于注释对齐后的三模态图像的显著对象。

3.根据权利要求1所述的一种融合三模态图像的显著性目标检测系统，其特征在于，所述解码模块包括：GAWFM模块、5级的DMAFM模块、5级的TMIWM模块、每级DMAFM模块中包含2个DMAFM模块；

所述GAWFM模块用于对三模态图像的最高级特征V4、D4、T4进行全局注意力加权融合得到全局语义特征；其中从RGB图像提取的5级特征分别记为V0～V4，从深度图像提取的5级特征分别记为D0～D4，从热红外图像提取的5级特征分别记为T0～T4；

所述DMAFM模块用于对RGB图像和深度图像的特征逐级进行双模态注意力融合，得到融合后的特征，对热红外图像和深度图像的特征逐级进行双模态注意力融合，得到融合后的特征；

所述TMIWM模块用于对DMAFM模块输出的两个融合后的特征以及GAWFM模块或上一级TMIWM模块输出的语义特征进行三模态交互加权融合，输出最终融合后的显著性图。

4.根据权利要求3所述的一种融合三模态图像的显著性目标检测系统，其特征在于，所述5级的TMIWM模块分别记为TMIWM模块I、TMIWM模块II、TMIWM模块III、TMIWM模块IV、TMIWM模块V；

第5级的两个DMAFM模块用于从特征提取模块获取三模态图像的最高级特征V4、D4以及T4、D4；以D4为中间模态作为连接V4与T4的桥梁，两个DMAFM模块分别对D4、V4以及D4、T4进行双模态注意力融合，得到两个输出并发送给TMIWM模块V；

TMIWM模块V用于对GAWFM模块输出的一个特征以及第5级DMAFM模块输出的两个特征进行三模态交互加权融合，融合后的特征发送给TMIWM模块IV；

第4级的两个DMAFM模块用于从特征提取模块获取三模态图像的第4级特征V3、D3以及T3、D3；以D3为中间模态作为连接V3与T3的桥梁，两个DMAFM模块分别对D3、V3以及D3、T3进行双模态注意力融合，得到两个输出并发送给TMIWM模块IV；

TMIWM模块IV用于对TMIWM模块V输出的一个特征以及第4级DMAFM模块输出的两个特征进行三模态交互加权融合，融合后的特征发送给TMIWM模块III；

第3级的两个DMAFM模块用于从特征提取模块获取三模态图像的第3级特征V2、D2以及T2、D2；以D2为中间模态作为连接V2与T2的桥梁，两个DMAFM模块分别对D2、V2以及D2、T2进行双模态注意力融合，得到两个输出并发送给TMIWM模块III；

TMIWM模块III用于对TMIWM模块IV输出的一个特征以及第3级DMAFM模块输出的两个特征进行三模态交互加权融合，融合后的特征发送给TMIWM模块II；

第2级的两个DMAFM模块用于从特征提取模块获取三模态图像的第2级特征V1、D1以及T1、D1；以D1为中间模态作为连接V1与T1的桥梁，两个DMAFM模块分别对D1、V1以及D1、T1进行双模态注意力融合，得到两个输出并发送给TMIWM模块II；

TMIWM模块II用于对TMIWM模块III输出的一个特征以及第2级DMAFM模块输出的两个特征进行三模态交互加权融合，融合后的特征发送给TMIWM模块I；

第1级的两个DMAFM模块用于从特征提取模块获取三模态图像的第1级特征V0、D0以及T0、D0；以D0为中间模态作为连接V0与T0的桥梁，两个DMAFM模块分别对D0、V0以及D0、T0进行双模态注意力融合，得到两个输出并发送给TMIWM模块I；

TMIWM模块I用于对TMIWM模块II输出的一个特征以及第1级DMAFM模块输出的两个特征进行三模态交互加权融合，融合后的特征进行卷积处理、二值化处理得到最后的显著性图。