[发明专利]一种基于可见光和红外图像的多船舶融合跟踪方法

权利要求书

1.一种基于可见光和红外图像的多船舶融合跟踪方法，其特征在于：步骤如下：

S1：检测视频的每帧图像中的船舶对象，具体为：将一帧图像作为检测阶段的输入，并为该帧图像中的船舶对象输出一组边界框，根据输出的边界框，计算出该帧图像中目标的中心位置；

S2：将所有待输入的红外和可见光图像对进行预处理；

S3：将预处理后的两帧图像对及图像中船舶目标的中心位置信息输入特征提取网络，提取船舶的特征向量，实现对船舶外观特征的建模；

S4：将获得的船舶的外观特征输入相似度估计模块中，求取前后两视频帧的关联矩阵，即当前帧中的船舶与先前帧中的船舶之间的相似度矩阵；

S5：借助匈牙利算法关联船舶目标，增添新目标，更新目标跟踪轨迹，实现多船舶的稳定跟踪。

2.根据权利要求1所述的一种基于可见光和红外图像的多船舶融合跟踪方法，其特征在于：步骤S2具体包括：

S21：红外图像属于单通道图像，增加红外图像的通道数使之成为三通道图像，即红外图像复制两次，然后与原红外图像在通道维度上拼接，接着将红外和可见光图像对并行输入后续的图像预处理层，做相同的处理操作；

S22：首先光度失真处理，以随机概率按顺序对输入图像进行如下处理操作：图像像素值缩放、转换HSV格式、饱和度的缩放和转换RGB格式；接着图像放大处理，采用缩放因子为[1，1.2]的随机值对图像进行放大，用数据的平均像素值来填充放大的图像中的像素值；其次图像裁剪处理，采用随机比率裁剪图片，只保留包含所有检测目标中心点的裁剪；最后将所有的输入图像调整为固定值大小并以0.5的概率进行图像的水平反转操作。

3.根据权利要求1或2所述的一种基于可见光和红外图像的多船舶融合跟踪方法，其特征在于：S3具体为：首先增添红外图像特征提取流，将图像对并行输入特征提取流以提取特征图；在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；将提取的9层不同空间尺度的特征图对输入引入的特征图融合层，利用设计的融合策略分配融合权重，实现红外和可见光特征图对的自适应融合；将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；具体步骤如下：

S31：特征图提取部分以第t帧和第t-n帧两帧红外和可见光图像对及其目标的中心位置信息作为输入；首先将两帧图像对分别从上下两层特征提取流并行输入并提取特征图；针对前后两帧图像对，分别在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；将抽取的特征图通过附加卷积层实现在通道上的降维；特征图提取层对输入的前后两个图像对，分别提取了9层不同空间尺度的特征图对；

S32：将S31中获得的特征图对输入特征图融合层，根据设计的基于L₁范数的融合策略给不同模态的特征图分配不同的融合权重值，实现红外和可见光特征图对的自适应融合；

S33：将融合后的特征图输入特征向量提取层；利用输入的目标中心位置信息，从融合特征图中抽取目标的中心像素值作为特征值，并将从9层融合特征图中获取的特征进行拼接，这样每个船舶目标形成了520维的特征向量，每帧图像中包含多个船舶目标，将每帧图像中所有船舶的特征向量放在一个二维矩阵中，形成一个Nm*520的特征矩阵，其中Nm表示规定的允许一帧图像中最大目标数；若帧中的目标数目少于Nm，则特征矩阵中非真实的目标的特征向量为零向量；实现了对每帧图像中船舶的外观特征的建模。