[发明专利]一种基于多帧回归深度网络的红外小目标检测方法

权利要求书

1.一种基于多帧回归深度网络的红外小目标检测方法，其特征在于：包括如下步骤：

步骤1：制作多帧的红外小目标数据集，并对数据集进行图像预处理得到图像序列；

步骤2：对步骤1中图像预处理后的图像序列通过相邻图像的灰度值进行差分得到差分图，对差分图再进行取并处理，实现单帧小目标检测，基于局部可变阈值对图像进行阈值分割，得到单帧目标候选区域；

步骤3：对步骤2中得到的单帧目标候选区域进行多帧上的轨迹关联，并提取每个候选区域在多帧上随时间变化的两个一维特征，创建对应的特征数据集，然后对特征数据集进行数据预处理，并将特征数据集划分为训练集、验证集和测试集；

步骤4：将步骤3中得到的训练集输入长短期记忆网络回归网络进行训练，同时通过验证集对LSTM回归网络进行验证，保存训练好的LSTM回归网络；

步骤5：将步骤3得到的测试集输入到步骤4训练好的LSTM回归网络，根据网络输出得到数据类别，最后在目标候选区域图像上保留小目标，去除其他虚警区域，即得到最终的小目标检测结果;

所述步骤1包括如下步骤：

步骤1.1：制作多帧的红外小目标数据集，收集多帧红外小目标数据并标记小目标；

步骤1.2：对步骤1.1制作的数据集进行图像预处理，具体是指对所有的图像进行中值滤波处理，即将小目标图像中任意一像素点的值用该像素点的邻域里各像素点值排序后的中值代替;

所述步骤2包括如下步骤：

步骤2.1：对步骤1.2预处理后的图像，首先相邻两帧图像相减的绝对值从而得到两幅差分图像，对两幅差分图像取并集，对于当前帧像素点的灰度值为，记录它的前一帧像素点的灰度值和后一帧像素点的灰度值，计算下一帧与当前帧的像素值差分图像和当前帧与前一帧的像素值差分图像，然后)对差分图像进行与操作，即将两幅差分图像取并集，得到第i帧最后的差分图像，对整个图像序列都进行计算，得到差分图像序列；

(1)

(2)

(3)

其中，表示第i帧像素点的灰度值，表示第i-1帧像素点的灰度值，表示第i+1帧像素点的灰度值，表示与操作；

步骤2.2 对步骤2.1中得到的差分图像进行阈值分割，阈值分割具体操作为，首先指定大小的窗口，对图像进行从上到下，从左到右的滑窗计算，滑窗内的像素点的灰度值记为，分别计算滑窗内所有像素点的标准差和平均值，针对差分图像对其进行阈值分割，然后得到阈值分割后的图像，即目标候选区域；

(4)

(5)

(6)

其中，表示窗口内所有像素点的标准差，表示窗口内所有像素点的平均值，a、b是常数;

所述步骤3包括如下步骤：

步骤3.1：对步骤2.2中的得到的单帧的目标候选区域，分别给其编号，当前m帧的第i个目标候选区域在m+1帧的位置决定方式为：在m+1帧中将距离m帧中第i个目标候选区域原位置最靠近的区域作为第i个目标候选区域在m+1帧的位置，不断地向后选择，即可完成轨迹关联；

步骤3.2：对步骤3.1中得到的j个关联之后的候选区域，对每帧的候选区域提取平均亮度和相对每个序列第一帧的欧氏距离，设候选区域为,其中， 表示第i个候选区域内像素点的像素值，则候选区域内的灰度总和为，候选区域的像素点个数总和为，第i帧像素点(x,y)的横总坐标分别为、，则第m帧的第i个候选区域平均亮度和距离第一帧的欧氏距离的计算公式如下:

(7)

(8)

其中， 表示第i个候选区域内像素点的像素值，表示第i个候选区域，第i帧像素点(x,y)的横总坐标分别为、，表示候选区域的像素点个数总和，表示候选区域内的灰度总和；

步骤3.3：将步骤3.2中提取的基于多帧的平均亮度和相对每个序列第一帧的欧氏距离作为两个随时间变化的一维特征，根据步骤1.1中的标记给相对应的区域进行标记，创建对应的特征数据集，由于每个序列长度不一，数值不一样，需要对特征数据集中这两个特征，分别追条对数据进行归一化处理，并将小目标与虚警区域的特征数据集随机划分为训练集、验证集和测试集。