[发明专利]异物入侵识别方法、装置、设备和计算机可读存储介质

权利要求书

1.一种异物入侵识别方法，其特征在于，所述方法包括：

获取对变电站进行拍摄得到的第一变电站图和第二变电站图；所述第一变电站图是红外相机拍摄的；所述第二变电站图是可见光相机拍摄的；

根据所述红外相机对应的第一相机标定参数和所述可见光相机对应的第二相机标定参数，对所述第一变电站图和所述第二变电站图进行图像配准，得到空间对齐的第三变电站图和第四变电站图；

分别对所述第三变电站图和所述第四变电站图进行特征提取，得到所述第三变电站图对应的多种尺寸的第一红外特征图和所述第四变电站图对应的多种尺寸的第一可见光特征图；所述第一红外特征图包括所述第三变电站图的红外图像特征；所述第一可见光特征图包括所述第四变电站图的可见光图像特征；

对所述多种尺寸的第一红外特征图和所述多种尺寸的第一可见光特征图进行融合处理，得到双模态的目标融合特征图；

根据所述目标融合特征图确定入侵所述变电站的异物的位置和类别。

2.根据权利要求1所述的方法，其特征在于，所述对所述多种尺寸的第一红外特征图和所述多种尺寸的第一可见光特征图进行融合处理，得到双模态的目标融合特征图，包括：

对所述多种尺寸的第一红外特征图进行多尺寸融合处理，得到多尺寸融合的第二红外特征图；

对所述多种尺寸的第一可见光特征图进行多尺寸融合处理，得到多尺寸融合的第二可见光特征图；

对所述第二红外特征图和所述第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图。

3.根据权利要求2所述的方法，其特征在于，所述对所述第二红外特征图和所述第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图，包括：

对所述第二红外特征图进行上采样处理，得到与所述第二可见光特征图分辨率相同的第三红外特征图；

对所述第三红外特征图和所述第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图。

4.根据权利要求1所述的方法，其特征在于，所述第一红外特征图和所述第一可见光特征图是通过异物识别模型中的特征提取网络提取得到的；所述目标融合特征图是通过所述异物识别模型中的特征融合网络处理得到的；所述异物识别模型还包括检测头网络；

所述根据所述目标融合特征图确定入侵所述变电站的异物的位置和类别，包括：

将所述目标融合特征图输入至所述检测头网络，生成位置回归向量和相应的类别向量；所述相应的类别向量是指所述位置回归向量所指示的位置区域内的异物的类别向量；所述类别向量中包括多个候选的类别的分类置信度；

基于所述位置回归向量预测入侵所述变电站的异物的位置；

根据设定的分类置信度阈值，从所述多个候选的类别中筛选出所述异物的类别。

5.根据权利要求4所述的方法，其特征在于，所述异物识别模型是通过模型训练步骤训练得到的；所述模型训练步骤包括：

获取多个样本图像组；每个所述样本图像组包括使用红外相机针对变电站拍摄的第一变电站样本图和使用可见光相机针对变电站拍摄的第二变电站样本图；每个所述样本图像组具有对应的异物类别标记和异物位置标记；

将所述样本图像组输入至待训练的异物识别模型中孪生结构的特征提取网络中，以通过所述孪生结构的特征提取网络分别进行红外特征提取和可见光特征提取，通过所述待训练的异物识别模型中的特征融合网络对提取的红外特征和可见光特征进行融合，并通过所述待训练的异物识别模型中的检测头网络基于融合得到的特征预测入侵所述变电站的异物位置和异物类别；

基于预测的异物位置与相应所述异物位置标记之间的差异、以及预测的异物类别与相应所述异物类别标记之间的差异，对待训练的异物识别模型中的所述特征提取网络、所述特征融合网络以及所述检测头网络进行参数调整，以迭代进行模型训练，得到训练完毕的异物识别模型。