[发明专利]一种融合三模态图像的显著性目标检测系统及方法

摘要

本发明提供一种融合三模态图像的显著性目标检测系统及方法，属于图像显著性检测技术领域，所述系统通过全局注意力加权融合实现了对三个模态的高级特征更细致的融合，并通过空洞卷积操作得到大尺度特征，对大尺度特征使用特征矩阵相乘的方式，保存了特征图整体间信息的关联性；通过双模态注意融合实现了跨模态信息的更充分融合，以深度图像为主要引导，另外两模态特图像分别作为辅助补充，两模态相辅相成，再结合使用空洞卷积、矩阵相乘、矩阵相加等方式处理特征，从而实现了更好的跨模态融合；通过三模态交互加权实现了对三模态信息的互补融合，同时在继承上一层解码特征的基础上，补充了当前层的详细特征，使整个解码过程不断丰富信息。