[发明专利]一种基于多模态光谱图像的像素级图像分割系统及方法

摘要

本发明公开了一种基于多模态光谱图像的像素级图像分割系统，多个可见光相机和热成像传感器构成相机阵列，可见光相机搭建为多模态相机阵列组，构成多模态的信息源；图形采集卡连接多模态的信息源与采集工作站，将采集的图像数据存储在采集工作站中；服务器对采集工作站中的图形数据进行配准、后处理。本发明还公开了一种基于多模态光谱图像的像素级图像分割方法，通过将单模态的图像分割算法扩展成多模态输入，并在网络中间层将多模态特征图融合，提高了Mask‑RCNN图像分割算法的精度。同时构建一套多模态光谱图像采集系统，可用于构建多模态数据集，应用于目标检测、图像分割、语义分割等相关机器视觉任务，具有现实的应用前景。